Advanced
Estimated Temperature Error Compensation for Wavelength-Band Conversion of Infrared Image
Estimated Temperature Error Compensation for Wavelength-Band Conversion of Infrared Image
Journal of Korea Multimedia Society. 2014. Nov, 17(11): 1270-1278
Copyright © 2014, Korea Multimedia Society
  • Received : August 05, 2014
  • Accepted : October 02, 2014
  • Published : November 30, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
영춘 김
Dept. of Information Communication & Security, Youngdong University
상호 안
Dept. of Electronic Engineering, Inje University
elecash@inje.ac.kr

Abstract
The modern infrared (IR) imaging systems use mainly one or more wavelength bands among short wavelength IR (SWIR), middle wavelength IR (MWIR), and long wavelength IR (LWIR) bands. In the process of IR image synthesis and modeling, IR image wavelength-band conversion which transforms arbitrary band image to other band one is required. The wavelength-band conversion procedure includes a temperature estimation process of an object surface. However, in this procedure, an approximated Planck’s radiation equation causes errors in estimated temperature. In this paper, we propose an estimation temperature error attenuation method in IR image band conversion procedure. The estimated temperature is corrected with a slope information of radiance according to it. The corrected temperature is used for generation of the other band IR image. The verification of proposed method is demonstrated through the simulation.
Keywords
1. 서 론
적외선영상시스템은 인간의 시각에서 감지할 수 없는 적외선 파장대역을 가시화할 수 있기 때문에 군사용, 의료용 및 산업용으로 많이 활용되고 있다 [1 , 2] . 최근에는 적외선을 이용한 시스템의 개발 및 성능평가를 목적으로 IR 시뮬레이터가 많이 활용되고 있다. 시뮬레이터는 적외선시스템개발에 있어 개념분석과 이론정립 그리고 시스템 동작의 성능평가에 있어 안전성과 비용절감 등의 이유로 그 필요성이 점차 증가되고 있다. 이와 같은 IR 시뮬레이터는 표적과 배경이 온도에 따른 밝기의 IR 시그너처(signature)로 적절히 모델링되어야 한다. IR 시그너처 모델링을 위한 방법은 복사이론, 열전달이론 및 대기전달특성 등과 같은 이론적 배경으로 지금까지 많이 연구되어 왔다 [3 - 7] . 적외선영상은 대기 전달특성에 의해 주로 근적외선(short wave IR: SWIR)대역, 중적외선(middle wave IR: MWIR)대역 및 원적외선(long wave IR: LWIR)대역을 사용한다. 미사일 방어를 위한 DIRCM(directed infrared counter measures)시스템의 경우에는 적외선유도미사일뿐만 아니라 항공기 관점의 시뮬레이션이 요구된다 [8 - 11] . 이와 같은 시뮬레이션을 위해서는 적외선 파장대역의 표적과 배경의 합성 [12] 이 필요하며, 3개 파장대역의 적외선영상이 모두 요구된다. 3개 파장대역의 IR영상을 획득하기 위해서는 각 파장대역의 열상장비가 요구되고, 동일한 대상을 동시에 획득하기에는 어려움이 따른다. 따라서 이들의 시뮬레이션을 위해서는 1개의 파장대역의 적외선영상으로부터 다른 파장대역의 적외선영상으로의 변환이 요구된다.
Ahn 등 [13] 은 3개의 파장대역 중 하나의 대역의 영상으로부터 나머지 2개 대역의 IR영상으로 변환하는 방법을 제안하였다. 적외선영상에 포함된 모든 물체는 방사율이 동일한 회색체(graybody)라고 가정하고, 회색준위가 최대와 최소인 화소에 해당하는 최대와 최소의 온도정보를 이용하여 파장대역의 변환함수를 유도하였다. 그러나 이 방법은 변환함수를 구하는 과정이 복잡하고 모든 물체가 동일한 방사율을 가지는 회색체라는 제한점을 가지고 있다. Kim 등 [14] 은 물체의 표면온도를 추정하여 파장대역을 변환하는 방법을 제안한다. 흑체의 복사이론으로부터 온도에 따른 파장대역별 복사휘도와 영상의 회색준위의 관계식이 유도되었다. 적외선영상으로부터 물체의 온도를 추정하기 위해 적분이 포함된 온도와 복사휘도의 관계식을 역변환이 가능하도록 근사화 하였다. 이 방법은 파장대역변환속도가 빠른 장점은 가지고 있지만 수식의 근사화로 인해 추정된 온도는 오차를 가진다.
본 논문에서는 적외선영상의 파장대역변환을 위해 표면온도의 추정오차를 감소시키는 방법을 제안하였다. 추정온도는 적분이 포함된 플랭크 복사휘도식을 근사화하여 구하고, 추정온도의 오차를 줄이기 위해 복사휘도의 기울기를 이용하여 보정한다. 보정된 온도는 원하는 파장대역의 적외선영상으로 재구성하는데 사용된다. 제안한 추정온도의 보상방법은 시뮬레이션을 통해 정량적으로 분석하였고, 타당성은 LWIR 적외선카메라로 획득한 영상에 대한 대역변환 실험을 통해 확인하였다.
2. 복사이론
흑체(blackbody)는 이상적인 IR 복사체로서 특정파장 λ 및 온도 T 에 대한 흑체의 분광복사휘도(spectral radiance) L (λ, T )는 플랭크(Planck) 복사법 칙에 의해는 플랭크(Planck) 복사법칙에 의해
PPT Slide
Lager Image
로 구할 수 있고, 여기서 복사상수 C 1 C 2
  • C1= 1.191 × 104[Wμm4/cm2sr]
  • C2= 1.428 × 104[μmK]
이다 [15 - 18] . 어떤 물체의 파장대역(λ 1 ∼ λ 2 )에서의 복사휘도는
PPT Slide
Lager Image
이다. 여기서 є (λ)는 물체의 분광방사율(spectral emissivity)이며 є (λ)=1이면 흑체(black body)이고 є (λ) < 1이면 회색체(gray body)이다. 그리고 λ 1 및 λ 2 는 파장대역의 범위이다. 적외선 파장대역에서의 복사에너지는 대기 중의 산소, 이산화탄소, 오존 및 수증기 등에 의해 흡수되어 특정 파장대역에서는 전달되지 못한다. 이의 대기투과특성에 따라 일반적으로 적외선 시스템에서 사용하는 파장대역 λ 1 ∼ λ 2 은 SWIR일 때 1.9 ∼ 2.9 μm , MWIR일 때 3 ∼ 5 μm 그리고 LWIR일 때 8 ∼ 12 μm 이다. Fig. 1 은 식 (1)의 플랭크복사법칙에 의해 구한 흑체의 온도에 따른 분광복사휘도를 나타낸다. 그리고 3개의 파장대역에 대해 식(2)로부터 구한 온도에 따른 복사휘도의 결과는 Fig. 2 와 같다.
PPT Slide
Lager Image
Spectral radiance of blackbody.
PPT Slide
Lager Image
Radiances of 3 wavelength bands according to temperature.
적외선 검출기에서 본 표적의 면적이 AP 이고, 표적에서 본 검출기의 입체각(solid angle)이 Ω 일 때, 검출기에 출력되는 전압 V det
PPT Slide
Lager Image
과 같다. 여기서 τamb (λ)와 τopt (λ)는 각각 대기와 광학계의 분광투과율(spectral transmissivity)이고 S (λ)는 검출기의 분광감응도(spectral responsivity)로 단위는 [ V/W ]이다. 만일 τamb (λ), τopt (λ) 및 S (λ)가 시불변계(time invariant system)이라면 이들의 파장대역 적분값은 일정한 값을 가지는 상수가 된다. 그리고 AP Ω 도 상수이다. 이는 검출기의 출력이 표적의 온도에 따른 복사휘도 L ( T )에 직접 비례한다는 것을 의미한다. 또한 식 (2)에서와 같이 L ( T )는 분광방사율 є (λ)의 함수이지만 물체가 흑체 또는 회색체이면 상수 є 가 되므로, L ( T )는 단지 온도 T 에 대한 함수가 된다. 검출기가 2차원의 영상검출기이면 IR영상의 회색준위(gray-level)는 검출기의 출력전압에도 비례한다. 따라서 물체의 온도 T 에 대한 특정 파장대역의 복사휘도 L ( T )는 IR영상의 회색준위와 비례한다고 간주할 수 있다.
3. 온도추정을 이용한 파장대역 변환 방법
임의 파장대역의 적외선영상을 다른 파장대역의 적외선영상으로 변환하기 위해 파장대역변환이 요구된다. Ahn 등 [14] 은 임의 파장대역의 적외선영상을 다른 파장대역의 적외선영상으로 변환하기 위해, 대역변환 전달함수를 만들고 이를 이용하여 적외선 영상의 대역을 변환시키는 방법을 제안하였다. 대역변환 전달함수를 이용한 방법은 전달함수를 구하는 과정이 다소 복잡하고, 물체가 회색체일 경우에만 사용할 수 있는 단점을 가진다. 이를 해결하기 위해 Kim 등 [15] 은 대역변환할 적외선영상으로부터 물체의 표면온도를 추정한 후 변환하고자 하는 파장대역의 적외선영상을 생성시키는 방법을 제안하였다.
온도와 복사휘도의 관계식인 식 (2)는 적분을 포함하고 있기 때문에 복사휘도로부터 온도를 역 추정하기가 어렵다. 따라서 Kim 등 [15] 은 식 (2)의 복사휘도 계산식을 다음과 같이 근사화하였다.
PPT Slide
Lager Image
여기서 є 는 방사율이며 파장대역내에서 균일한 특성을 가진다고 가정한 상수이다. 즉 물체가 파장대역내에서 회색체라고 가정하였다. Δλ은 특정 파장대역의 폭으로 Δλ = λ 2 - λ 1 이고, λ c 는 파장대역의 중간파장으로 λ c = (λ 1 + λ 2 )/2이다. 식 (4)는 적분연산이 없으므로 계산이 매우 간단하고, 복사휘도 L 로부터 온도 T
PPT Slide
Lager Image
과 같이 역변환으로 쉽게 계산될 수 있다. Fig. 3 은 온도에 따른 복사휘도와 적외선영상의 회색준위를 나타낸다. 복사휘도에 따른 회색준위의 변환함수 G ( L )은
PPT Slide
Lager Image
으로 표현할 수 있으며, 여기서 α 는 변환함수의 기울기로서
PPT Slide
Lager Image
이다. 또한 회색준위 G 로부터 복사휘도 L ( G )는
PPT Slide
Lager Image
과 같이 역으로 구할 수 있다.
PPT Slide
Lager Image
Relationship of radiance and gray-level according to temperature.
온도추정을 이용한 파장대역변환방법의 단계별 과정은 다음과 같다.
(1) 단계 1
변환하고자하는 적외선영상에서 최대 회색준위 G max 가 최대온도 T max 를 가지고, 최대 회색준위 G min 가 최소온도 T min 를 가진다고 가정할 때, 이들의 복사휘도 L ( T max ) 및 L ( T min ) 은 식 (4)를 이용하여 각각 구한다.
(2) 단계 2
IR영상 모든 화소의 회색준위 G 에 대한 복사휘도 L ( G )는 식 (8)을 이용하여 구한다. 또한 이에 대한 온도 T 는 식 (5)를 이용하여 구한다.
(3) 단계 3
모든 화소에 대해 변환하고자하는 다른 파장대역의 복사휘도는 온도 T 와 방사율 ϵ 을 이용하여 식(3)으로 구한다.
(4) 단계 4
모든 화소에 대해 구한 복사휘도로부터 회색준위 변환함수 G ( L )을 이용하여 다른 파장대역의 영상을 발생시킨다. 회색준위 변환함수는
PPT Slide
Lager Image
과 같이 사용할 수 있다. 여기서 0 ≺ g ≤ 1는 명암대비를 조절하는 상수이고, b 는 밝기조절 상수이다. g = 1이고 b = 0이면 회색준위는 0∼255까지 분포하게 된다.
4. 추정온도의 오차 분석 및 보상
물체 표면온도를 추정을 이용한 대역변환방법은 적분을 포함한 복사휘도 계산식인 식 (2)를 근사화한 식 (4)를 사용하므로 계산은 단순해졌지만 이로 인한 추정온도오차를 가진다. Fig. 4 는 200K∼600K 온도범위에서 3개 파장대역에 대해 식 (2)와 식 (4)로 구한 복사휘도를 나타낸다. Fig. 5 는 온도에 따른 온도 추정오차를 3개 파장대역에 대해 각각 나타낸다. 여기서 온도추정오차는 추정한 온도에서 정확한 온도를 뺀 값을 나타낸다. 그림에서 나타난 바와 같이 파장대역별 복사휘도 및 추정온도의 오차는 각기 다른 특성을 가진다.
PPT Slide
Lager Image
Radiances of 3 wavelength bands according to temperature.
PPT Slide
Lager Image
Temperature estimation errors of 3 wavelength bands according to temperature.
Fig. 6 은 임의의 온도에 따른 복사휘도를 나타낸 것으로, 적분을 포함한 식 (2)를 이용하여 정확히 구한 복사휘도 L * ( T )와 근사화한 식 (4)로 구한 복사휘도 L ( T )를 나타낸다.
PPT Slide
Lager Image
는 식 (5)를 이용하여 복사휘도 L (
PPT Slide
Lager Image
)로부터 추정한 온도이고,
PPT Slide
Lager Image
는 보정한 온도를 나타낸다. 추정한 온도로부터 정확한 온도를 반복법으로 구하기 위한 식은
PPT Slide
Lager Image
과 같으며,
PPT Slide
Lager Image
이고 μ 는 수렴인자이다. j 번째 보정온도
PPT Slide
Lager Image
는 추정온도오차
PPT Slide
Lager Image
와 최적복사휘도의 접선기울기를 이용하여 갱신되며, j + 1번째 보정온도
PPT Slide
Lager Image
와 차이가 없이 수렴될 때까지 반복 계산된다. 그러나 이 방법은 최적한 온도를 구할 수 있으나 반복연산이 필요하므로 계산량이 많은 단점을 가진다. 따라서
PPT Slide
Lager Image
에 대한 L * (
PPT Slide
Lager Image
)의 1차 접선기울기만을 이용하여 추정한 온도
PPT Slide
Lager Image
PPT Slide
Lager Image
과 같다. 여기서 L * (
PPT Slide
Lager Image
)는 추정온도에 대한 정확한 복사휘도값을 나타내고, Δ T 는 그림에서 A점에서의 접선기울기를 구하기 위한 미소 온도변위값을 나타낸다.
PPT Slide
Lager Image
Exact and approximation radiances according to temperature.
5. 시뮬레이션 결과 및 고찰
본 논문에서 제안한 추정온도 보상방법의 타당성을 조사하기 위해 시뮬레이션을 수행하였으며, Fig. 7 , Fig. 8 . 및 Fig. 9 는 각각의 파장대역에서 추정온도
PPT Slide
Lager Image
및 보상온도
PPT Slide
Lager Image
와 이들의 온도오차를 나타낸다. 여기서 온도오차는 추정한 온도에서 정확한 온도와의 차이이다. 보상온도
PPT Slide
Lager Image
는 식 (11)을 이용하여 구하였다. 근사추정 온도오차
PPT Slide
Lager Image
PPT Slide
Lager Image
이고, 보정한 온도오차
PPT Slide
Lager Image
PPT Slide
Lager Image
이다. SWIR의 경우는 Fig. 7 에서와 같이 200K에서 600K까지 근사한 추정온도가 보상한 온도보다 모두 높고, 낮은 온도에서는 오차가 크지만 온도로 증가할수록 오차가 감소하였다. 그리고 근사한 추정온도에 비해 보상한 온도가 크게 감소하였으나, 200K에서는 온도보상을 하여도 9K의 오차가 발생하였다. MWIR의 경우는 Fig. 8 에서와 같이 약 420K에서 근사추정 온도오차
PPT Slide
Lager Image
의 부호가 바뀌고, 보상후 온도오차가 크게 감소하였다. 200K에서는 온도보상을 하여도 3K의 오차가 발생하였다. LWIR의 경우는 Fig. 9 에서와 같이 약 410K에서 근사추정 온도오차
PPT Slide
Lager Image
의 부호가 바뀌고, 보상한 온도의 오차는 모든 온도에서 크게 감소하였다.
PPT Slide
Lager Image
(a) Estimated temperature and (b) temperature error of SWIR.
PPT Slide
Lager Image
(a) Estimated temperature and (b) temperature error of MWIR.
PPT Slide
Lager Image
(a) Estimated temperature and (b) temperature error of LWIR.
제안방식의 타당성을 입증하기 위해 적외선영상에 대한 파장대역변환 시뮬레이션을 수행하였다. 시뮬레이션에 사용한 적외선영상은 LWIR 적외선 카메라인 FLIR사 TAU640으로 획득되었으며, 획득한 ‘Car’ 및 ‘Cup’ 적외선영상은 Fig. 10 에서와 같다. ‘Car’ 영상에서 차량의 엔진부가 가장 밝은 회색준위(255)를 가지고 하늘배경부분이 가장 낮은 회색준위(0)를 가진다. 그리고 이의 온도는 각각 322K와 270K이며, 온도는 적외선온도계를 이용하여 측정하였다. ‘Cup’ 영상은 종이컵에 온도가 서로 다른 물을 채웠고, 좌측 하단의 컵에 얼음을 채워 획득된 것이다. 최대 밝기(255)와 최소 밝기(0)를 가지는 화소의 온도는 각각 340K 및 271K이다.
PPT Slide
Lager Image
LWIR images.
Fig. 11 Fig. 12 는 ‘Car’ 영상 및 ‘Cup' 영상에 대해 근사적으로 추정한 온도와 이를 보정한 온도의 의사칼라(pseudo color) 영상을 각각 나타낸다. LWIR의 경우에는 Fig. 9 에서와 같이 약 200K에서 400K까지의 온도범위에서는 근사적으로 추정한 온도가 보정한 온도보다 낮게 나타나므로 Fig. 11 (a)가 Fig. 11 (b)에 비해 의사칼라에서 더 푸른색을 가진다. Fig. 13 Fig. 14 는 ‘Car’ 영상 및 ‘Cup' 영상을 추정온도에 따라 MWIR 및 SWIR 적외선 영상으로 변환한 영상을 각각 나타낸다.
PPT Slide
Lager Image
Pseudo color ‘Car’ images of estimated temperature.
PPT Slide
Lager Image
Pseudo color ‘Cup’ images of estimated temperature.
PPT Slide
Lager Image
Wavelength-band converted images from LWIR ‘Car’ image.
PPT Slide
Lager Image
Wavelength-band converted images from LWIR ‘Cup’ image.
파장대역변환은 LWIR영상으로부터 MWIR과 SWIR으로 변환하는 것이 일반적이다. LWIR영상은 획득하기가 용이하고, 온도에 따른 영상의 회색준위가 다른 파장대역에 비해 선형에 가깝기 때문이다. 반면에 SWIR영상은 온도가 낮은 부분에서 복사휘도가 매우 작기 때문에 영상 밝기의 변화가 거의 없다. 이를 MWIR 및 LWIR과 같은 높은 파장대역으로 변환하여도 효과적인 변환이 될 수 없다. 따라서 파장대역변환을 위해 SWIR영상을 사용하는 것은 적절치 않다. MWIR영상으로부터 온도를 추정하고 보상하는 경우에는, Fig. 11 에서와 같이 매우 낮은 온도인 200K부근에서만 오차를 가지므로 약 260K이상에서 사용하는 것이 타당하다.
6. 결 론
본 논문에서는 적외선영상의 파장대역변환을 위해 필요한 표면온도의 추정오차를 감소시키는 방법을 제안하였다. 기존의 온도추정방법에서 발생하는 온도오차를 줄이기 위해 계산이 간단한 1차 접선기울기를 이용하였으며, 각 파장대역에 대해 보정하지 않았을 때와 보정했을 때의 온도오차는 정량적으로 분석하였다. 일반적으로 파장대역변환은 LWIR영상으로부터 MWIR 및 SWIR영상으로 변환하므로 LWIR영상에 대한 온도보정은 온도범위에 관계없이 매우 정확히 이루어졌다. SWIR영상으로부터 온도를 추정하는 것은 효율성이 낮아 일반적으로 사용되지 않고, MWIR영상의 경우에는 270K이상의 온도범위에서는 온도를 효과적으로 매우 정확히 추정할 수 있다. 따라서 제안방식은 적외선 영상으로부터의 온도 추정, 파장대역변환 및 적외선영상합성 등에 널리 활용될 수 있을 것으로 기대된다.
BIO
김 영 춘
1991년 2월 경북대학교 전자공학과(공학사)
1993년 2월 경북대학교 전자공학과(공학석사)
1997년 2월 경북대학교 전자공학과(공학박사)
1998년 2월∼현재 영동대학교 정보통신보안학과 교수
관심분야: 영상처리, 적외선 영상처리, 컴퓨터비전, IRCM
안 상 호
1986년 2월 경북대학교 전자공학과(공학사)
1988년 2월 경북대학교 전자공학과(공학석사)
1992년 8월 경북대학교 전자공학과(공학박사)
1993년 3월∼현재 인제대학교 전자공학과 교수
관심분야: 영상공학, 로봇비전, 적외선 영상처리, IRCM
References
Bae T.W. 2013 “Small Target Detection Using 3-dimensional Bilateral Filter," Journal of KMMS 16 (6) 746 - 755
Kim D.K. 2009 “Flame Detection using Region Expansions and On-line Variances in Infrared Image," Journal of KMMS 12 (11) 1547 - 1556
Pan C.X. , Zhang J.Z. , Shan Y. 2011 “Modeling and Analysis of Helicopter Thermal and Infrared Radiation,” Chinese Journal of Aeronautics 24 (5) 558 - 567    DOI : 10.1016/S1000-9361(11)60065-4
Lu J. , Wang Q. 2009 “Aircraft-skin Infrared Radiation Characteristics Modeling and Analysis,” Chinese Journal of Aeronautics 22 (5) 493 - 497    DOI : 10.1016/S1000-9361(08)60131-4
Dulski R. , Sosnowski T. , Polakowski H. 2011 “A Method for Modelling IR Image of Sky and Clouds,” Infrared Physics & Technology 54 (2) 53 - 60    DOI : 10.1016/j.infrared.2010.12.011
Willers M.S. , van den Bergh J.S.H. “Optronics Sensor Development using an Imaging Simulation System,” Electronics, Communications and Photonics Conference 2011 1 - 6
Baqar S. , Ph.D. Thesis of Cranfield University 2007 Low-cost PC-based High-fidelity Infrared Signature Modelling and Simulation Ph.D. Thesis of Cranfield University
Petersson M. 2004 “Real-time DIRCM System Modelling,” Proceeding of SPIE 5615 149 - 160
Birchenall R.P. , Richardson M.A. , Brian B. , Roy W. 2010 “Modelling an Infrared Man Portable Air Defence System,” Infrared Physics & Technology 53 (5) 372 - 380    DOI : 10.1016/j.infrared.2010.07.001
Cox L.J. , Batten M.A. , Carpenter S.R. , Saddleton P.A.B. 2004 “Modelling Counter-measures to Imaging Infrared Seekers,” Proceeding of SPIE 5615 112 - 119
Willers C.J. , Wheeler M.S. “The Validation of Models in an Imaging Infrared Simulation,” Proceeding of Microwave and Optoelectronics Conference 2007 250 - 254
Kim Y.C. , Bae T.W. , Kwon H.J. , Kim B.I. , Ahn S.H. 2014 “Infrared(IR) Image Synthesis Method of IR Real Background and Modeled IR Target,” Infrared Physics & Technology 63 54 - 61    DOI : 10.1016/j.infrared.2013.12.006
Ahn S.H. , Kim Y.C. 2012 “Wavelength Band Translation Method of Infrared Image,” Journal of KIIT 10 (7) 87 - 96
Kim Y.C. , Kwon H.J. , Ahn S.H. 2013 “Wavelength-band Translation Method of Infrared Image Using Temperature Estimation,” Journal of KIIT 11 (8) 35 - 43
Driggers R.G. , Cox P. , Edwards T. 1998 Introduction to Infrared and Electro-Optical Systems Artech House Massachusetts
Pollock D.H. 1993 Countermeasure Systems, The Infrared & Electro-Optical Systems Handbook, Vol 7 SPIE, Optical Engineering Press Washington
Jacobs R.A. 1996 Thermal Infrared Characterization of Ground Targets and Backgrounds SPIE, Optical Engineering Press Washington
Jha A.R. 2000 Infrared Technology: Applications to Electro-Optics, Photonic Devices, and Sensors John-Wiley & Sons New Jersey