Advanced
A Fire Detection Using Color and Movement of Flames
A Fire Detection Using Color and Movement of Flames
Journal of Korea Multimedia Society. 2014. Jan, 17(1): 8-14
Copyright © 2014, Korea Multimedia Society
  • Received : October 22, 2013
  • Accepted : November 18, 2013
  • Published : January 30, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
경래 조
준회원, 동명대학교 전기전자정보통신공학과
성호 배
정회원, 동명대학교 의용공학과

Abstract
본 논문에서는 비디오 영상에서 화염의 칼라와 움직임 특징을 이용한 새로운 화재 감지 방법을 제안한다. 색차로부터 휘도를 효율적으로 분리하기 위하여 RGB 칼라를 YCbCr 성분으로 변환한다. 제안한 방법은 인접 영상들 간의 휘도의 차를 누적하여 화염의 움직임 영역을 검출하고, 화염의 색을 이용하여 화염 후보영역을 생성한다. 최종적으로, 화염 후보 영역의 면적에 대한 시간적 변화를 이용하여 화염 영역을 결정한다. 실험 결과를 통하여 제안한 방법이 기존의 비디오 영상에서의 화재 감지 방법보다 화재 영역의 분류에 우수한 성능을 나타내는 것을 확인하였다.
Keywords
1. 서 론
최근 5년간 우리나라에서 발생한 화재 건수는 약 22만 건이며, 이로 인한 사망자와 부상자는 약 10,000여명이 넘고, 1조 5천억원 정도의 재산상 손실을 가져왔다 [1] . 그러므로 화재로 인한 인명과 재산 피해를 줄이기 이해서는 조기에 화재를 감지하는 시스템의 개발이 무엇보다 중요하다. 현재 화재 감지 시스템은 주로 화재 감지 센서(연기감지, 불꽃감지, 온도감지 센서)와 화재 감시 카메라로 구성되어 있다. 화재 감지 센서를 이용한 화재 감지일 경우에는 주변환경에 따라서 화재 오감지의 가능성이 크다. 예를 들어 연기감지 센서는 공기의 확산으로 인해 연기가 센서에 감지되지 않을 수도 있고, 열감지 센서의 경우에는 주변온도가 이미 높아진 상태에서는 감지되는 속도가 느릴 수도 있다. 또한 넓은 지역에 대한 화지 감지를 위해서는 센서들을 일정한 간격으로 여러 대를 설치해야 되는 비용적인 문제점도 존재한다 [2] . 반면에 영상을 이용한 시각적 화재 감지는 기존에 사용되고 있는 화재감지 센서들의 문제점들을 극복할 수 있으며, 기존에 설치되어 있는 CCTV 장치를 이용해 큰 비용 없이 화재 감지에 적용할 수 있다 [3] . 이런 이유들 때문에 최근 영상처리를 이용한 화재 감지 시스템의 활용이 많아지고 있으며, 이에 필요한 화재 검출 방법의 개발이 요구되고 있다.
기존 화염 검출 방법은 RGB 및 YCbCr 칼라 모델을 이용하는 방법 [2 , 3] 과 움직이는 영역과 화염 칼라 화소를 검출한 후 웨이블릿 변환을 이용하는 방법 [4 , 5] , 시간이 지남에 따라 화염의 강도가 변하는 정도를 이용한 방법 [6] , HSV칼라 모델과 시간-공간 영역에서 화염의 윤곽 모양 변화를 이용하는 방법 [7] , 적외선 영상을 이용한 방법 [8] 등이 있다. 칼라 모델 기반의 화염 검출 방법 [2 , 3] 은 화재 발생시 검출 속도가 빠르지만 화염과 비슷한 칼라의 물체가 있을 경우 오검출 비율이 높기 때문에 추가로 다른 특징들을 종합적으로 처리해 화재를 판단해야 하며, 카메라의 조도나 주변 환경에 영향을 많이 받는다. 이전 영상과 비교하여 화염의 특징을 이용해 SVM(Support Vector Machine)이나 뉴럴 네트워크를 사용하는 방법 [5] 은 화재 환경이나 물체에 대해 영향을 덜 받지만, 많은 화염 영상을 학습시켜야 하는 부담이 존재한다. 이는 실시간 처리를 해야 하는 화염 감지 시스템에서 큰 부담으로 작용한다.
본 논문에서는, CCTV 영상에서 화염의 칼라 및 움직임을 이용한 화염 검출 방법을 제안한다. 제안한 방법은 입력 영상을 YCbCr 칼라 공간으로 변환한 후, 비화염과 화염 영역을 분리하기 위하여 휘도 변화 누적 영상과 칼라 정보를 이용하여 화염후보 이진영상을 생성한다. 그리고 화염후보 이진 영상에 라벨링(labling) [9] 을 수행하여 각 영역으로 분리한 후, 영상을 블록으로 분할하고 블록에 포함된 화염 후보영역의 면적 변화가 지속적으로 발생한 블록을 화염 블록으로 분류하고, 블록내의 화염 후보 영역을 최종화염 영역으로 결정한다.
본 논문의 구성은 2장에서는 기존의 칼라 모델을 이용한 화재 감지 방법을, 3장에서는 제안한 화염 감지 방법을, 4장에서는 제안한 방법과 기존의 방법을 비교하여 성능을 평가 하였으며, 5장은 결론 순으로 구성된다.
2. 기존의 칼라 모델을 이용한 화재검지 방법
Celik 등 [2] 은 화염 화소 분류를 위해 YCbCr 칼라 공간에서의 규칙 기반 칼라 모델을 사용하였다. 이 방법은 휘도와 색차를 분리하는데 있어 식 (1)을 이용하여 RGB 칼라 공간을 YCbCr 칼라 공간으로 변환시키고, 식 (2)를 정의하여 변화하는 조도에서 발생하는 유해한 효과들을 제거하여 화염 화소를 분리하였다.
PPT Slide
Lager Image
PPT Slide
Lager Image
여기서 Y는 휘도를 나타내며, Cb와 Cr은 색차 값을, τ 는 ROC(Receiver Operating Characteristics)의 분석에 의하여 결정되는 상수이며, F ( x , y )가 1인 화소는 화염으로 정의된다. 화염은 연소되는 물질의 종류와 주변 환경, 카메라의 특성에 따라 칼라가 상당히 가변적이므로, 단순히 칼라 정보만 이용해서 화염 영역을 검출할 경우 많은 문제점을 가진다. 이를 해결하기 위하여 휘도 정보를 이용해 비화염 영역을 먼저 분리한 후에, 후보 화염 영역을 검출하는 방법이 필요하다. 영상에서 배경을 분리하는 일반적인 방법은 현재 입력 영상에서 이전 영상을 뺀 차영상을 이용하는 방법을 사용하여, 변화가 큰 화소를 화염으로 검출한다 [10 , 11] . 이는 잡음에 영향을 많이 받는 단점이 있으므로, 잡음에 강건한 화염 검출 방법이 필요하다.
3. 제안한 화염의 칼라와 움직임을 이용한 화재감지 방법
본 논문에서는, CCTV 영상에서 휘도 변화량과 화염의 칼라 및 움직임 특징을 이용해 화염을 검출하는 방법을 제안한다. 화염의 경우 주변 화소에 비해 휘도 변화량이 크기 때문에 연속 프레임 간의 휘도 차를 누적할 경우 큰 값을 가진다. 제안한 방법은 프레임간 휘도 차의 누적을 이용한 화염 분류와 기존의 칼라 정보만을 이용한 화염 분류 방법을 모두 적용하여 잡음 및 물체의 움직임에 강인한 화염 영역 분류 방법이다. 또한, 영상을 블록으로 분할하고, 블록내 화염 영역의 면적 변화가 지속적으로 발생할 경우에 최종 화염 영역으로 결정하여 화염의 오검출율을 현저히 감소시킨다.
CCTV에서 촬영된 영상은 RGB 영상으로 시스템에 입력되며, 본 논문에서는 휘도 Y와 색도를 분리하기 위하여, 식 (1)과 같이 입력 영상을 YCbCr 칼라 공간으로 변환하였다. 그리고 식 (3)과 같이 현재 영상의 휘도인 Y ( m , n ) t 과 이전 영상의 휘도인 Y ( m , n ) t-1 과의 화소별 휘도 차에 대한 절대값을 휘도 변화 누적영상 C 에 저장하여, 비화염과 화염을 분리한다. 이는 화재 동영상에서 화염 영역의 시간적 휘도 변화는 다른 영역에 비해 큰 특징을 이용한 것이다.
PPT Slide
Lager Image
조도 변화에 따른 잡음이나 사물의 움직임으로 인한 C ( m , n )의 증가는 화염의 오검출율을 높인다. 그러므로 화염 영역은 지속적으로 휘도 변화량이 증가하는 특성을 이용하여, 식 (4)와 같이 휘도 변화 누적 영상의 전체 평균값 Ymean 보다 작은 C ( m , n )은 0으로 초기화하여 잡음을 제거하고, 식 (5)와 같이 휘도 변화량이 임계치 δ 이상이면 화소를 1로 설정하여 1차 화염 후보 이진 영상 F 1 을 생성한다.
PPT Slide
Lager Image
PPT Slide
Lager Image
영상에서 분리되어진 각 영역에 고유한 번호를 부여하는 라벨링은 영상의 분할, 영역의 특징 추출 및 영상의 복원 등에 이용된다 [12] . 그림 1 은 이진 영상 F 1 에 영역 라벨링을 수행하고, 화염 후보 영역을 초록색 경계사각형으로 나타내었다. 그림 1 의 결과에서 잡음과 사람의 움직임으로 인해, 화염 영역과 비화염 영역이 같이 검출되는 것을 알 수 있다.
PPT Slide
Lager Image
화염 후보 영역 검출 라벨링 영상
그러므로, Celik 등 [2] 이 제안한 식 (2)의 조건을 적용해, 식 (6)과 같이 1차 화염 후보 화소들 중에서 Cb와 Cr의 차가 임계치 이상일 때 비화염 영역을 추가로 제거한 2차 화염 후보 이진 영상인 F 2 를 생성하고, 휘도 변화 누적 영상 C ( m , n )을 0으로 초기화 한다. 이는 칼라정보를 이용하여 비화염 화소를 제거한 것으로 오검출율을 감소시킨다.
PPT Slide
Lager Image
그림 2 는 화재가 있는 연속된 3개의 프레임에서 식 (5)와 (6)의 조건을 모두 만족하는 화소를 녹색으로 표시하고, 해당 영역을 녹색의 경계사각형으로 나타내었다. 그림 2 에서 화재가 진행됨에 따라 화염 화소로 판정된 화소의 면적이 변화하는 특징을 나타낸다.
PPT Slide
Lager Image
화염 영역의 면적 변화
그러므로 본 논문에서는, 영상을 32×32 크기의 블록으로 분할하고, 블록내 화염 후보 영역의 면적 변화의 지속성을 최종 화염 판단 기준으로 정한다. 제안한 방법에서는 분할된 블록에 포함된 k 번째 라벨을 가진 영역들의 중심점 Gk 와 면적 Ak 를 계산하고, 식 (7)과 같이 i 번째 블록에 포함된 화염 후보 영역의 면적을 블록별 누적면적 테이블 Di 에 저장한다.
PPT Slide
Lager Image
그림 3 은 1번째 블록 내에 2개의 영역과 해당 영역의 중심점 G 1 G 2 를 나타내며, 영역의 일부분이 2번째 블록에 존재하는 G 2 의 경우에는 2번째 블록의 면적에 포함시키지 않고, 중심점을 포함하고 있는 1번째 블록의 면적으로 계산한다.
PPT Slide
Lager Image
화염 후보영역의 중심점과 면적
블록에서의 화염 후보 영역 면적 변화량인 AVi 는 식 (8)과 같이 현재 영상의 Di ( t )와 이전 영상의 Di ( t -1)의 차로 정의한다.
PPT Slide
Lager Image
그림 4 는 프레임별 화염과 비화염 영역의 AVi 값의 누적을 그래프로 나타낸 것이다. 화염 영역일 경우 시간이 경과에 대해 AVi 누적 값이 지속적으로 증가하고, 일시적인 잡음이나 사물의 움직임으로 인한 비화염 영역은 누적면적이 변화가 없거나 지속적으로 증가하지 않는다. 이는 블록에 화염이 존재할 경우 Di 값이 지속적으로 증가하는 특징을 가진다는 것을 알 수 있다. 그러므로 변화량이 없거나 일시적인 변화만 있는 영역은 잡음 영역이므로 최종 화염 판단에서 제외시키고, 식 (10)과 같이 블록에 화염후보 영역의 면적변화가 λ 프레임 연속적으로 발생한 블록을 화염 블록으로 분류하고 블록내의 화염후보 영역을 최종 화염 영역으로 결정한다. 그림 5 는 제안한 방법의 전체적인 흐름도를 나타낸다.
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
화염 영역과 비화염 영역의 누적 면적 변화량 그래프
PPT Slide
Lager Image
제안한 방법의 전체 흐름도
4. 실험결과 및 고찰
본 논문에서 제안한 방법과 기존의 방법인 Celik 등 [2] 의 방법과의 성능 비교를 확인하기 위해 480×320의 크기의 초당 15, 24 프레임의 CCTV 영상을 실험에 사용하였다. 실험에서 는 식 (5)의 δ 값을 20, 식 (6)에서의 τ 값을 40, 식 (10)의 λ값을 2로 설정하였다. 성능 측정은 영상에서 화염으로 감지되는 영역과 육안으로 관찰한 부분들이 일치하는 정도를 기록하였다. 표 1 은 실험에서 사용된 영상 정보를 나타내며, Movie 1, 2, 3, 4, 5는 실제 화염이 발생한 영상이고, Movie 6은 화염이 발생하지 않는 일반 영상이다. 표 2 는 Celik 등의 방법과 제안한 방법의 화염 검출 성능을 비교한 실험 결과이다. 표 2 에서 화염 인식은 영상에서 화염으로 인식된 프레임 수를 뜻하고, 오인식은 화염인데도 불구하고 검출이 안된 프레임이나 화염이 아닌 부분도 화염으로 검출한 프레임 수를 나타낸다.
실험 영상 목록
PPT Slide
Lager Image
실험 영상 목록
제안하는 방법과 기존의 방법과 검출 성능 비교
PPT Slide
Lager Image
제안하는 방법과 기존의 방법과 검출 성능 비교
표 2 의 결과에서 알 수 있듯이 Celik 등의 방법은 화염 인식 성능이 뛰어난 편이지만, 오인식 비율도 제안한 방법에 비해 높은 편이다. 특히 Movie 1, 3, 5의 경우 제안한 방법에 비해 높은 오인식 비율을 보인다. 이는 Celik 등이 규정한 정규화된 칼라 모델에 포함되어있는 색을 가진 물체가 존재해 오인식율이 높아지는 단점을 가지고 있다.
표 2 의 실험 결과는 제안한 방법이 주변 환경 변화와 같은 잡음에 강하여 Celik 등의 방법보다 현저히 우수한 화염 인식률과 오인식율을 나타낸다. 그림 6 의 (a)와 (b)는 각각 제안한 방법과 Celik 등의 방법으로 화염을 감지한 실험 결과 영상이다. 화염 영역을 녹색으로 표시하였으며, 제안한 방법에서는 화염이 속한 블록을 적색의 테두리 블록으로 표시하였다. 제안한 방법이 화염이 속한 영역을 정확히 감지하였으나, Celik 등의 방법은 비화염 화소도 화염으로 인식하는 오인식 결과를 나타낸다.
PPT Slide
Lager Image
화염 검출 결과 영상 (a) 제안한 방법, (b) Celik 등의 방법
5. 결 론
영상처리 기반 화재 감지 시스템은 저비용, 빠른 응답성을 가지는 장점이 있으므로, 비디오 카메라를 이용한 화재 감지 시스템의 개발의 필요성이 대두되고 있는 실정이다.
본 논문에서는 화염일 경우 휘도 변화가 크다는 특징을 이용해 화염과 비화염 영역을 분리하고 화염의 칼라 정보를 이용하여 추가적으로 비화염 영역을 제거하였다. 또한 영상을 블록으로 분할하여 라벨링을 통해 분리된 화염 후보 영역들의 면적 변화가 지속적으로 발생할 경우에 최종적으로 화염 영역으로 결정하여 화염을 효과적으로 검출하였다. 실험을 통하여 제안한 방법이 기존의 칼라를 이용한 화염 검출 방법보다 화염 인식율과 오검출율이 현저히 향상되는 것을 확인 하였다.
제안한 방법은 CCTV의 위치가 고정되어야 하는 전제 조건과 화염 후보 결정 조건에 고정 임계치를 사용하는 문제점을 가진다. 향후 연구 방향으로는 고정된 CCTV에서 벗어나 팬-틸트를 지원하는 방법과 입력 영상에 따른 적응적 임계치 설정 방법에 대한 연구가 진행되어야 할 것이다.
BIO
조 경 래
2012년 8월 동명대학교 컴퓨터공학과 학사
2012년 9월~현재 동명대학교 전기전자정보통신공학과 석사과정
관심분야 : 영상처리, u-헬스케어
배 성 호
1991년 2월 경북대학교 전자공학과 학사
1993년 2월 경북대학교 전자공학과 석사
1997년 8월 경북대학교 전자공학과 박사
1998년 8월~1999년 8월 삼성전자 책임연구원
1999년 9월~현재 동명대학교 의용공학과 부교수
관심분야 : 영상처리, 신호처리, 컴퓨터비젼
References
소방 방재청 국가화재정보센터 2013
Celik Turgay , Demirel Hasan 2009 "Fire Detection in Video Sequences Using a Generic Color Model" Fire Safety Journal 44 (2) 147 - 158    DOI : 10.1016/j.firesaf.2008.05.005
도 용태 2012 Journal of Sensor Science and Technology 21 (3) 211 - 216    DOI : 10.5369/JSST.2012.21.3.211
Töreyin B.U. , Dedeoglu Y. , Gudukbay U. , Cetin A.E. 2006 “Computer Vision Based Method for Real-time Fire and Flame Detection” Pattern Recognition Letters 27 (1) 49 - 58    DOI : 10.1016/j.patrec.2005.06.015
Ko B.C. , Cheong K.H. , Nam J.Y. 2009 "Fire Detection Based on Vision Sensor and Support Vector Machines" Fire Safety Journal 41 (3) 322 - 329    DOI : 10.1016/j.firesaf.2008.07.006
Marbach Giuseppe , Loepfe Markus , Brupbacher Thomas 2006 "An Image Processing Technique for Fire Detection in Video Images" Fire Safety Journal 41 (4) 285 - 289    DOI : 10.1016/j.firesaf.2006.02.001
Yamagishi H. , Yamaguchi J. 1999 "Fire Flame Detection Algorithm Using a Color Camera" Proc. Int. Symp. Micromechatronics and Human Science 255 - 260
김 동근 2009 멀티미디어학회논문지 12 (1) 1547 - 1556
Sonka M. , Hlavac V. , Boyle R. 1999 Image Processing Analysis, and Machine Vision PWS Publishing Boston, Mass.
Sarazin M. , Roddier F. 1990 "The ESO Differential Image Motion Monitor" Astron. Astrophys 227 (1) 294 - 300
Harle. N , Xi Min 1996 "Robot Vision System Using Differential Image Information and Geometrical Relations of Moving Edges" Signal Processing and I ts Applications, Fourth International Symposium on Vol. 2 573 - 574
Gonzalez Rafael C. , Woods Richard E. 2004 Digital Image Processing Prentice Hall Upper Saddle River, New Jersey