Advanced
Correction of Error due to Camera Shaking when Vibration Measurement by Using Camera Image
Correction of Error due to Camera Shaking when Vibration Measurement by Using Camera Image
Transactions of the Korean Society for Noise and Vibration Engineering. 2014. Oct, 24(10): 817-824
Copyright © 2014, The Korean Society for Noise and Vibration Engineering
  • Received : August 29, 2014
  • Accepted : October 07, 2014
  • Published : October 20, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Article
Author
Metrics
Cited by
TagCloud
About the Authors
형 섭 전
Corresponding Author ; Member, SAE-AN ENGINEERING CO. E-mail :jhs200@sae-an.co.krTel : +82-02-2102-2838, Fax : +82-42-330-0344
기 성 손
Member, SAE-AN ENGINEERING CO.
순 우 한
Member, Korea Atomic Energy Research Institute
종 원 박
Chungnam National University

Abstract
Accelerometer and laser vibrometers are widely used to measure vibration of structures like a building or piping. Recently, the research measuring vibration by using camera image is introduced. However, this method has a disadvantage. If camera moves by the vibration cannot measure the vibration displacement of structure. We proposed the enhanced technique for measuring vibration using camera. This paper took the experiment for correction of error due to camera shaking. We verified through an experiment. And the accuracy of the method measuring the vibration displacement by using the camera images was analyzed.
Keywords
1. 서 론
건물이나 플랜트 배관의 구조물 진동을 측정하기 위해서는 가속도계나 레이저 측정기를 많이 사용하고 있다. 최근에는 고온이나 방사선 환경과 같은 기존 센서를 설치 및 사용하기 어려운 영역에서 카메라 영상을 이용하여 비 접촉 방식으로 진동을 측정할 수 있는 연구가 제시되고 있다. 카메라를 이용한 진동 측정 방법은 타겟을 이용한 진동 측정 방법 (1~3) 과 타겟 없이 진동을 측정하는 방법 (4~6) 으로 나눌 수 있다.
카메라 영상을 이용하면 한 번의 촬영으로 많은 영역의 진동을 동시에 측정 할 수 있고, 또한 진동 측정을 위하여 장비 설치가 쉬운 장점이 있다. 그러나 Fig. 1 에서와 같이 카메라를 이용하여 진동을 측정하기 위해서는 카메라를 삼각대 또는 팬틸트에 장착하여 사용하게 된다. 이러한 경우 삼각대나 팬틸트는 진동에 의하여 흔들림과 같은 구조적인 문제점을 가질 수 있다. 카메라 영상을 이용한 진동측정 방법은 카메라가 고정되어 있다는 조건을 가지고 있어야 한다. 그러나 카메라가 진동에 의하여 움직일 경우 영상을 이용하여 구조물의 진동을 측정하는 방법은 오차를 피할 수 없다.
PPT Slide
Lager Image
Camera mounted on a pen-tilt
카메라 진동 보정 방법으로는 카메라에 센서를 부착하여 진동을 보정하는 방법 (7) 과 카메라에서 취득한 영상을 이용하여 보정하는 방법 (8) 을 이용할 수 있다. 카메라에 센서를 부착하는 방법은 카메라 흔들림이 취득영상에 미치는 진동크기를 정확히 알 수 없다. 카메라와 측정 대상과의 거리에 따른 진동크기 환산이 어려운 단점이 있다. 취득 영상을 이용한 방법은 카메라의 흔들림이 연속영상의 흔들림으로 나타난다. 따라서 카메라의 진동을 분리할 수 있으면 측정 대상체의 진동 변위측정이 가능하다. 또한 별도의 센서가 필요하지 않고 기존에 설치 되어있는 카메라를 그대로 이용할 수 있는 장점을 가지고 있다.
따라서 이 논문은 카메라에서 취득한 영상을 이용한 방법을 제시한다. 카메라 진동을 보정하는 방법으로 진동이 없는 영역을 이용하여 측정 대상체의 진동을 분리하고 진동 변위 측정시 카메라 흔들림에 의한 오차를 보정하는 방법을 제안한다. 또한 제안된 방법을 검증하기 위하여 실험을 통하여 정확도를 확인한다.
2. 카메라 진동에 의한 영상 변화
카메라 영상을 이용한 구조물의 진동을 측정하기 위하여 카메라가 고정되어 있고 움직임이 없어야 한다. 그러나 진동이나 고정 결함으로 움직임이 발생할 경우 기존의 방법을 사용할 수 없는 문제점이 있다.
Fig. 1 과 같이 팬틸트에 카메라가 장착된 경우 수직이동과 수평이동의 움직임이 회전과 같은 움직임보다 많이 나타날 수 있는 구조적인 문제점을 가지고 있다. Fig. 2 와 같이 카메라가 수평이동, 수직이동 그리고 회전함에 따라 영상이 달라지는 경우 영상의 변위 오차를 구하여 보정하여야 한다.
PPT Slide
Lager Image
Image changes due to camera movement
3. 카메라 진동 보정 방법
카메라 진동을 보정하기 위한 기본적인 방법은 Fig. 3 과 같다.
카메라에서 취득한 영상을 이용하여 카메라 진동을 보정하기 위하여 Fig. 3(a) 의 기준 영상에서 ROI(region of interest) 영역인 Fig. 3(b) 를 선택한다. ROI선정은 가로 및 세로 방향으로의 직선 에지를 포함하며 진동의 영향을 받지 않는 영역을 선택한다. Fig. 3(b) 영상에서 실수형 에지 검출 방법을 이용하여 Fig. 3(c) 와 같이 에지를 검출한다. Fig. 3(c) 에서 검출한 가로 및 세로 방향의 에지를 커브 피팅(curve fitting)하여 Fig. 3(d) 와 같이 두 개의 직선을 구한다. 두 개의 직선을 이용하여 교차점과 직선의 기울기를 검출하면 Fig. 3(e) 와 같이 진동에 의한 카메라 상하 및 좌우 이동과 카메라 회전을 계산할 수 있다.
- 3.1 에지 검출 방법
앞에서 설명한 Fig. 3(c) 와 같이 모서리의 에지를 검출하는 방법으로 사용한 EEPD(expected value of edge probability distribution) 실수형 에지 검출방법을 설명한다 (9,10) .
PPT Slide
Lager Image
Correction of camera vibration. (a) Original image (b) ROI image (c) Edge detection (d) A straight line detection by using curve fitting (e) Detection of camera vibration
Fig. 4 에서 모서리 가로 방향 에지
PPT Slide
Lager Image
를 검출하기 위한 방법을 예를 들어, 영상에서 모서리 에지검출을 위한 영역으로 m × n 사이즈의 S ( m,n )을 Fig. 5 와 같이 설정한다.
PPT Slide
Lager Image
Edge detection by using EEPD
PPT Slide
Lager Image
Edge detection area for
설정된 S ( m,n )영역의 모서리 에지 검출 방법은 식 (1)과 같이 2차원 영상에서 x 방향 i 에서의 y 축 편미분 Sij 를 산출한 후 식 (2)를 통하여 x 방향 m 사이즈 각각에 대한 대표 값 F ( i )를 산출한다. 여기에서 산출된 F ( i )는 픽셀단위의 실수형 에지 좌표 값이 된다.
PPT Slide
Lager Image
PPT Slide
Lager Image
- 3.2 교차점 및 회전각 산출
3.1절의 에지 검출 방법을 이용하여 검출된 모서리의 가로방향 및 세로방향의 에지를 Fig. 6 과 같이 커브 피팅(curve fitting)을 이용하여
PPT Slide
Lager Image
,
PPT Slide
Lager Image
에 대한 직선방정식을 구한다. 이 두 직선을 이용하면 교차점 B ( x,y )와 직선
PPT Slide
Lager Image
θ 각을 산출하여 카메라의 진동을 구할 수 있다.
PPT Slide
Lager Image
Detection of intersection and rotation angle
실수형 에지 검출 방법을 이용하여 구한 모서리 에지를 직선으로 커브피팅하는 방법은 최소 자승법 (least square method)을 이용한다.
최소 자승법은 Fig. 7 에서와 같이 점과 직선과의 편차 제곱의 합이 최소가 되는 점들을 지나는 최적의 직선을 구한다.
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
Least square method
식 (4)의 S 가 최소가 될 때 식 (3)은 최적의 직선이 된다. 식 (4)를 a b 에 대하여 편미분하여 식 (5), (6)과 같이 a b 를 구한다.
PPT Slide
Lager Image
PPT Slide
Lager Image
따라서 최적의 직선을 구할 수 있다.
PPT Slide
Lager Image
PPT Slide
Lager Image
이와 같이 커브피팅을 이용하여 구한
PPT Slide
Lager Image
의 직선 방정식과
PPT Slide
Lager Image
의 직선 방정식인 식 (7), (8)을 이용하면
PPT Slide
Lager Image
PPT Slide
Lager Image
식 (9), (10)과 같이 두 직선의 교차점인 B ( x,y )를 산출 할 수 있다.
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
Fig. 6 에서 식 (13)을 이용하여 직선
PPT Slide
Lager Image
θ 각을 산출 할 수 있다. 교차점 B ( x,y )와
PPT Slide
Lager Image
θ 각을 이용하면 카메라의 상하 및 좌우 움직임과 회전을 산출 할 수 있다
- 3.3 카메라 진동 보정 방법
기준영상의 ROI영역에서 교차점 B ( x,y )와 θ 각을 알고 있으면, 기준영상 이후 취득한 영상에서의 교차점 B' ( x,y )와 θ ′각을 비교하여 카메라 회전에 의한 오차와 진동 변위량을 계산할 수 있다.
Fig. 8 에서는 실제 카메라를 이동 및 회전한 영상을 보여준다. 점선 사각형은 ROI영역을 나타낸다. 3.1장과 3.2장에서 설명한 방법을 이용하여 기준영상인 Fig. 8(a) 의 ROI영역에서 교차점 B ( x,y ), θ 각과 다음 프레임 영상인 Fig. 8(b) 의 ROI영역에서 교차점 B' ( x,y ), θ '각을 구할 수 있다. Fig. 9 는 교차점 B ( x,y ), B' ( x,y )와 θ , θ '을 이용하여 카메라 상하 및 좌우 움직임에 의한 오차와 카메라 회전에 의한 영상에서의 오차를 보정하는 식 (14), (15)를 설명한다.
PPT Slide
Lager Image
An image taken by camera
Fig. 9 에서 S 0 는 기준영상이고, Si 는 기준영상 이후의 영상이다. S 0 영상을 기준으로 다음 Si 영상의 교차점 B' ( x,y ), θ '각을 비교한다. 교차점 B ( x,y )와 B' ( x,y ) 일치하고, 회전각 θ θ '이 일치하면 카메라 진동 및 회전이 없음을 나타낸다. 그러나 교차점과 회전각이 일치하지 않는 경우 Fig. 9 와 같이 S 0 영상의 교차점 B ( x,y )좌표에 Si 영상의 교차점 B' ( x,y )의 좌표를 일치시킨 후 식 (14), (15)를 이용하여 오차를 보정한다.
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
Correction method of shaken image
식 (14), (15)의 dx dy 는 카메라 회전과 이동에 의한 x 방향 및 y 방향의 측정 변위 오차를 나타낸다. 카메라를 이용한 구조물의 진동변위 측정 시 카메라 진동에 의한 측정 변위 오차인 dx dy 를 적용하여 보정 할 수 있다.
4. 실험 및 검증
- 4.1 실험 환경
카메라 진동 보정 실험을 위하여 Fig. 10 과 같이 지름이 38.2 mm인 파이프에 가속도 센서를 설치한후 가진기를 이용하여 10 Hz로 가진 하였다. 카메라는 640×480의 해상도 이미지이며 촬영속도는 200 frame/sec로 영상을 취득하였다. 사용한 렌즈는 35~90 mm 줌렌즈를 사용하였고, 촬영거리는 1.0 m에서 촬영을 하였다.
PPT Slide
Lager Image
Experimental setup for measuring vibration displacement
- 4.2 카메라 진동 보정 전 실험
이 실험에서는 Fig. 10 과 같은 실험환경에서 카메라에 인위적인 충격을 주어 획득한 영상을 이용하였다.
Fig. 11 은 실제 실험을 통하여 촬영되어진 영상을 보여준다. 영상과 가속도 센서를 이용하여 측정한 신호의 주파수 분석 결과를 Fig. 12 에서 보여준다. 가속도 센서를 이용한 결과는 10 Hz의 주파수를 보여주고 있지만 영상을 이용한 결과는 10 Hz외에 6 Hz와 같은 여러 주파수가 나타난다. 이것은 카메라 진동에 의한 오차임을 알 수 있다. 이와 같이 카메라에 진동이 있을 경우 측정 오차가 발생함을 알 수 있다.
PPT Slide
Lager Image
An image taken by camera
PPT Slide
Lager Image
Auto power spectrum of camera vibration before correction
Fig. 13 Fig. 11 에서 측정한 배관 구조물의 진동 변위를 측정한 결과이다. 가속도 센서의 RMS는 0.22475 mm이고, 영상을 이용한 측정포인트의 RMS는 0.34063 mm이다. 0.11589 mm의 오차를 포함한 진동변위가 측정됨을 알 수 있다.
PPT Slide
Lager Image
Comparison of vibration displacements measured by sensor and camera
- 4.3 카메라 진동 보정을 위한 기준포인트 측정
4.2장에서는 카메라의 진동을 보정하지 않고 배관 구조물의 진동을 측정하였다. 따라서 진동 변위 오차에 의한 잘못된 진동 변위가 측정되었다. 따라서 본 논문에서 제안한 카메라의 진동 보정방법을 적용하기 위하여 기준 포인트를 선정하고 카메라의 진동 오차를 측정하였다.
Fig. 14 와 같이 진동 보정을 위하여 움직임이 없는 기준 포인트 영역을 선정하여 카메라 진동 오차를 측정하였다. Fig. 15 는 기준 포인트를 이용하여 측정한 카메라 진동 신호의 주파수 분석 결과로 6 Hz의 중심 주파수가 있음을 보여주며 이는 카메라 진동에 의한 오차이다. 따라서, 이 오차를 보상해 주면 정확한 구조물 진동 측정이 가능해 진다.
PPT Slide
Lager Image
An image taken by camera
PPT Slide
Lager Image
Auto power spectrum of camera vibration
Fig. 16 Fig. 17 은 카메라 진동에 의한 진동 변위와 회전각을 보여준다.
PPT Slide
Lager Image
Displacement of camera vibration
PPT Slide
Lager Image
Spectrum phase of camera vibration
- 4.4 카메라 진동 보정방법 검증
Fig. 18 은 배관 구조물의 진동 측정 시 카메라의 진동 보정을 위한 기준포인트 및 측정 포인트를 선정하여 실험한 영상을 보여준다.
PPT Slide
Lager Image
An image taken by camera
4.3절에서 실험한 카메라 진동 오차 측정값을 이용하여 카메라 진동을 보정하면 실제 배관 구조물의 진동을 측정할 수 있다. Fig. 19 는 카메라 진동 오차를 보정하여 실제 배관 구조물의 진동을 측정한 결과를 보여준다. 가속도 센서에서 측정한 결과와 영상을 이용하여 측정한 결과 모두 10 Hz의 주파수를 나타내고 있다.
PPT Slide
Lager Image
Auto power spectrum of camera vibration after correction
Fig. 20 은 배관 구조물의 진동 변위를 측정한 결과이다. 가속도 센서의 RMS는 0.22475 mm이고, 영상을 이용한 측정포인트의 RMS는 0.22554 mm이다. 따라서 0.00079 mm의 오차를 보여준다. 이 오차율은 0.35 %이다.
PPT Slide
Lager Image
Comparison of vibration displacements measured by sensor and camera
5. 결 론
카메라를 이용한 진동 변위 측정 시 카메라 흔들림에 의한 영향을 보상하기 위한 방법을 제안하였다. 고정된 구조물을 이용하여 카메라의 흔들림을 측정하였다. 제안된 방법의 검증을 위하여 실험을 수행하였으며 진동변위 측정 데이터에 포함된 카메라 진동에 의한 영향을 보상할 수 있음을 확인하였다. 따라서 카메라를 이용한 구조물의 진동 측정 방법에서 카메라 흔들림에 의한 진동이 제거되므로 진동 측정의 정확성을 높일 수 있을 것으로 기대된다.
기 호 설 명
S0 : 기준영상 Si : 비교영상 B(x,y) : S0의 ROI영역에서 두 직선의 교차점 θ : S0의 ROI영역에서 직선의 기울기 각 B’(x,y) : Si의 ROI영역에서 두 직선의 교차점 θ’ : Si의 ROI영역에서 직선의 기울기 각 dx : x방향의 측정 변위 오차 dy : y방향의 측정 변위 오차
Acknowledgements
이 연구는 2014년 산업통상자원부의 재원으로 한국에너지기술평가원(KETEP)의 지원을 받아 수행한 연구과제입니다(NO. 20131020102420).
BIO
Hyeong-Seop Jeon received the Ph.D. degree from Chungnam National University in 2011. He is also a principal researcher at the R&D institute of SAE-AN ENGINEERING CO.
References
Lee S. B. , Kwak M. K. 2000 Development of Vibration Measurement Technique Using the Image Processing Proceedings of the KSNVE Annual Autumn Conference 327 - 329
Kim K. Y. , Kwak M. K. 2005 Measurement of Large-amplitude and Low-frequency Vibrations of Structures Using the Image Processing Method Transactions of the Korean Society for Noise and Vibration Engineering 15 (3) 329 - 333
Wahbeh A. M. , Caffrey J. P. , Masri S. F. 2003 A Vision-based Approach for the Direct Measurement of Displacements in Vibrating Systems Smart Structures and Materials 12 785 - 794
Jeon H. S. , Choi Y. C. , Park J. W. 2008 Displacement Measurement of Multi-point Using a Pattern Recognition from Video Signal Transactions of the Korean Society for Noise and Vibration Engineering 18 (12) 1256 - 1261
Jeon H. S. , Choi Y. C. , Park J. W. 2009 Measurement Structural Vibration from Video Signal Using Curve Fitting Transactions of the Korean Society for Noise and Vibration Engineering 19 (9) 943 - 949
Jeon H. S. , Choi Y. C. , Park J. H. , Park J. W. 2010 Parameter Studies for Measuring Vibration by using Camera Transactions of the Korean Society for Noise and Vibration Engineering 20 (11) 1033 - 1037
Song M. G. , Son D. H. , Park N. C. , Park K. S. , Park Y. P. 2011 Improvement of Dynamic Characteristics of an Optical Image Stabilizer in a Compact Camera Transactions of the Korean Society for Noise and Vibration Engineering 21 (2) 178 - 185
Jeon H. S. , Son K. S. , Choi Y. C. , Park J. H. , Park J. W. 2011 Correction of Error due to Camera Shaking when Pipe Vibration Measurement by using Image Proceedings of the KSNVE Annual Spring Conference 134 - 135
Son K. S. , Joen H. S. , Park J. H. , Park J. W. 2013 A Technique for Measuring Vibration Displacement using Camera Image Transactions of the Korean Society for Noise and Vibration Engineering 23 (9) 789 - 796
Son K. S. , Joen H. S. , Park J. H. , Park J. W. 2014 A Technique for Vibration Measurement and Roundness Assessment of Rotating-axis using Camera Image Transactions of the Korean Society for Noise and Vibration Engineering 24 (2) 131 - 138