Advanced
A 3D measurement system based on a double frequency method using Fourier transform profilometry
A 3D measurement system based on a double frequency method using Fourier transform profilometry
Journal of the Korea Institute of Information and Communication Engineering. 2015. Jun, 19(6): 1485-1492
Copyright © 2015, The Korean Institute of Information and Commucation Engineering
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li-censes/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
  • Received : March 11, 2015
  • Accepted : April 15, 2015
  • Published : June 30, 2015
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
자명 구
Department of Computer Engineering, Korea University of Technology and Education, Cheonan Korea
태훈 조
Department of Computer Engineering, Korea University of Technology and Education, Cheonan, Korea
thcho@kut.ac.kr

Abstract
본 논문은 프린지 패턴 투영법으로 3차원 형상 측정에서의 FTP(Fourier Transform Profilometry)를 이용한 이중 파장법을 제안한다. 프린지 패턴 투영 방법은 프린지 패턴을 측정 대상물체에 투영한 후 변형된 프린지 패턴을 분석하여 측정 대상물체의 높이를 측정한다. PMP(Phase Measuring Profilometry)기반의 프린지 투영 방법은 측정 대상의 반사율과 배경의 영향에 강건하면서 측정 분해능이 높다. 하지만, 2π 모호성으로 측정 범위가 작다는 문제점이 있다. 이를 극복하기 위한 방법 중에 주기가 다른 이중 파장을 사용하는 방법은 측정 분해능을 유지하면서 측정 범위를 높일 수 있지만, 2배의 영상 수 획득으로 측정시간이 두 배 정도 더 소요된다. 본 논문에서 제안하는 FTP를 이용한 이중 파장법은 2π 모호성을 해결하기 위해 한 장만의 영상을 추가적으로 획득하여 FTP를 이용함으로써 기존의 이중 파장법과 동일한 정밀도를 유지하면서 측정에 소요되는 시간을 효과적으로 단축시킨다.
Keywords
Ⅰ. 서 론
최근 몇 년간 각종 센서, 카메라, 컴퓨터 연산속도의 발전으로 대량의 데이터를 획득하고 고속으로 처리가 가능해졌다. 이에 따라 3차원 형상 측정 기술은 반도체, 리버스-엔지니어링, 주형 주물 등 산업 환경뿐만 아니라 의학, 영화산업, 의류 디자인, 가상현실 등 다양한 분야에 적용되고 있다. 측정 대상도 반도체 분야에서의 BGA, Solder Paste 등 초소형에서부터 인체, MES 부품(2.5m x 4.5m) 등 대형까지 다양해지고 있다 [1 - 3] .
광학을 이용한 3차원 형상 측정 방법은 편리성과 측정대상에 손상을 입히지 않고, 복잡한 형상의 경우에도 측정이 용이하여 활발히 연구되어 산업화되고 있다. 광학을 이용한 방법 중 PMP(Phase Measuring Profilometry) [4] 는 측정범위가 제한적이지만, 대상물체의 반사율과 배경에 강건하고 조밀한 3차원 데이터를 정밀하게 얻을 수 있어서 검사 시스템에 많이 사용되고 있다. PMP의 낮은 측정 범위를 극복하기위한 방법으로 주기가 다른 이중 파장법 [5] 이 많이 사용되고 있다. 이중 파장법은 측정 분해능을 유지하면서 측정 범위를 높일 수 있지만, 프린지 패턴 영상을 2배로 획득해야 하므로 측정시간이 두 배 정도 더 소요된다.
본 논문에서는 푸리에 변환으로 위상을 계산하는 FTP(Fourier Transform Profilometry) [6] 를 이용한 이중파장법을 제안한다. 제안하는 FTP를 이용한 이중 파장법은 기존 이중 파장법과 동일한 측정 분해능을 유지하면서 소요 시간을 효과적으로 단축한다.
본 논문의 구성은 다음과 같다. 2장에서 배경지식인 PMP, FTP원리와 2π모호성, 이중 파장법에 대해서 설명하고, 3장에서 FTP를 이용한 이중 파장법을 제안한다. 4장에서는 BLU의 3차원 형상을 측정하여 제안하는이중 파장법의 성능평가를 하고, 5장에서 결론 및 기대효과를 논한다.
Ⅱ. 배경지식
- 2.1. PMP 원리
PMP를 이용한 3차원 형상 측정의 기하학은 그림 1 처럼 프린지 패턴을 투영하는 프로젝터와 투영된 영상을 획득하는 카메라 그리고 대상물체로 구성되어 있다.
PPT Slide
Lager Image
차원 측정 시스템의 기하학 Fig. 1 Optical geometry of 3D measurement system
정현파 프린지 패턴이 투영된 영상은 식(1)처럼 표현된다. a ( x,y ) 는 배경(background intensity), b ( x,y )는 프린지 변조(fringe modulation)이다. ϕ ( x,y ) 는 위상 값으로 대상물체의 높이정보에 해당한다.
PPT Slide
Lager Image
PMP에서 위상 계산 방법은 정현파 프린지 패턴의 위상이 등 간격으로 이동된 여러 장을 이용한다. 2π/N만큼 위상이 이동된 정현파 프린지 패턴 N개를 투영하고 이때 획득된 영상이 I1, I2, ..., IN이면, 위상은 식(2) 처럼 계산된다.
PPT Slide
Lager Image
기준면과 대상물체에 대해서 식(2)를 이용하여 위상을 계산하고, 식(3)처럼 기준면과 대상물체의 위상차를 계산한다. ϕ ref ( x,y )는 기준면의 위상 분포를, ϕ obj ( x,y )는 대상물체의 위상 분포를 나타낸다.
PPT Slide
Lager Image
위상차는 식(4)를 이용하여 대상물체의 높이로 변환된다. h ( x,y ) 는 대상물체의 높이 분포, p 0 는 정현파 프린지 패턴이 투영된 주기, θp 는 정현파 프린지 패턴이 투영된 각도를 나타낸다.
PPT Slide
Lager Image
- 2.2. FTP 원리
정현파 프린지 패턴이 투영된 영상을 나타내는 식(1)은 식(5)와 같이 표현될 수 있으며, f 0 는 반송 주파수(carrier frequency)이다.
PPT Slide
Lager Image
(5)를 오일러 공식을 이용하면 식(6)과 같이 표현된다. *는 복소 켤레(complex conjugate)이다.
PPT Slide
Lager Image
식(6)을 x방향에 대해서 1-D FFT(Fast Fourier Transform) 알고리즘을 이용하여 푸리에 변환을 하면 식(7)과 같다. 대문자는 푸리에 스펙트럼(Fourier spectrum)을 나타내며 f 는 x방향으로의 공간 주파수를 나타낸다.
PPT Slide
Lager Image
식(5)에서 a ( x,y ), b ( x,y ) , ϕ ( x,y ) 는 반송주파수 f 0 에 비해 천천히 변하고 이는 그림 2 와 같은 특성을 나타낸다. 배경 정보는 제거하고 위상 정보를 포함하는 c ( x,y ) 를 얻기 위해 C ( f - f 0 , y )만을 선택하도록 필터링하여 역 푸리에 변환(inverse FFT)을 한다.
PPT Slide
Lager Image
3정현파 프린지 패턴의 푸리에 스펙트럼 Fig. 2 Fourier spectrum of sinusoidal fringe pattern
역 푸리에 변환결과를 이용하여 식(8)처럼 위상은 계산할 수 있다. Im [ c ( x,y )], Re [ c ( x,y )]는 각각 c ( x,y )의 허수와 실수를 나타낸다.
PPT Slide
Lager Image
위의 방법대로 기준면과 대상물체의 위상을 각각 계산한다. 그 이후에는 PMP와 동일하게 식(3)을 이용해 위상차를 계산하고, 식(4)를 통해 대상물체의 높이 분포를 계산한다.
- 2.3. 2π 모호성(2π ambiguity)
프린지 패턴 투영법을 이용한 3차원 형상 측정법의단점은 "2π 모호성"이라 불리는 요인 때문에 측정 범위가 제한적이다. 측정되는 위상은 불연속적으로 측정되어 2π 모호성이 발생한다. 그림 3 은 2π 모호성을 보여주며, S1, S2, S3는 대상물체를 나타내고, C1, C2, C3는 A지점에서 카메라가 바라보는 대상물체에 위치를 나타낸다. C1, C2, C3의 위치에서 기준면과 위상차 Δ ϕ c1 ϕ c2 , Δ ϕ c3 은 arctangent의 범위로 인하여 -π ~ π사이의 위상 값을 가진다. C1, C2, C3에 해당하는 대상물체의 높이는 서로 다르지만 위상 Δ ϕ c1 ϕ c2 , Δ ϕ c3 은 서로 같게 계산되어 정확한 높이를 측정할 수 없게 된다.
PPT Slide
Lager Image
2π 모호성 Fig. 3 2π ambiguity
- 2.4. 이중 파장법
측정 대상의 형상이 급격하게 변하거나 불연속적인 경우 2π 모호성을 제거하는 것은 매우 어려운 문제이다. 단일 파장이나 단일 측정 방법으로는 거의 불가능하며 이를 극복하기 위해 주기가 다른 이중 파장을 이용하는 방법이 있다. 이중 파장법은 디지털 프로젝터를 사용하는 시스템에서 큰 변경 없이 간단한 방법으로 측정 분해능을 유지하면서 2π 모호성을 정확히 제거할 수 있다.
주기가 작은 프린지 패턴은 측정 분해능은 높지만, 측정 범위가 작고, 주기가 큰 프린지 패턴은 측정 범위가 넓지만, 측정 분해능이 떨어진다. 이러한 특징을 이용한 이중 파장법은 작은 주기의 높은 측정 분해능을 유지하면서, 큰 주기의 넓은 측정 범위를 이용하여 2π 모호성을 해결한다.
그림 4 는 큰 주기가 작은 주기의 2배일 경우에 서로 위상의 관계를 보여준다. 주기가 2배 커지면, 위상의 변화율이 2배 낮아지기 때문에 A위치에서 주기가 2 p 인 경우 위상이 ϕ A 이라면, 주기가 p 인 경우에는 위상이2 ϕ A 의 값을 가진다.
PPT Slide
Lager Image
주기가 다른 위상의 관계 Fig. 4 Phase relationship to different period
두 프린지 패턴의 주기가 각각 p 0 , p 1 이고, p 0 < p 0 이면 두 프린지 패턴의 위상차는 식(9)와 같은 관계를 가진다. 식(9)를 만족하는 정수 n ( x,y ) 을 찾고, 이를 이용하여 2π 모호성이 제거된 실제 위상차는 식(10)처럼 계산한다.
PPT Slide
Lager Image
PPT Slide
Lager Image
Ⅲ. FTP를 이용한 이중 파장법
PMP에서 이중 파장법은 반복 정밀도 및 정확도를 유지하면서 2π 모호성을 제거할 수 있지만, 정현파 프린지 패턴을 투영하는 시간과 카메라로 영상을 획득하는 시간이 단일 파장보다 두 배 소요되는 단점이 있다. FTP는 급격하게 바뀌는 구간에서 측정이 힘들고, 측정 분해능이 낮지만, 한 장의 영상으로 대상물체의 위상을 계산할 수 있어 측정시간이 빠르다.
본 논문에서는 큰 주기의 정현파 프린지 패턴 여러장을 투영하여 PMP방법으로 위상을 계산하는 이중 파장법 대신, 그림 5 처럼 추가적으로 한 장의 영상을 투영하고 획득하여 FTP로 위상을 계산하는 이중 파장법을 제안한다. 기존 이중 파장법은 N-Bucket 알고리즘시, 2π 모호성을 해결하기 위해 추가적으로 N개의 영상을 투영하고 획득해야한다. 이로 인해 측정이 시간이 약 2배 정도 증가하게 된다. 본 논문에서 제안하는 FTP를 이용한 이중 파장법에서는 2π 모호성을 해결하기 위해 추가적으로 단 1장의 영상만을 투영하고 획득한다. 즉 2N의 영상을 투영하고 촬상하는 시간이 N+1로 감소된다.
PPT Slide
Lager Image
FTP를 이용한 이중파장법의 순서도 Fig. 5 Flow chart of double frequency using FTP
Ⅳ. 실험 환경
- 4.1. 3차원 형상 측정 시스템 구성
실험을 하기 위한 3D 형상 측정 시스템은 그림 6 와 같고, CCD 카메라, 피코 프로젝터, 기준면으로 구성되어 있다. 시스템에 사용된 자세한 사양은 표 1 과 같다. 피코 프로젝터의 광축과 기준면과의 각도는 70도 정도이다. 카메라의 FOV(Field of View)는 23mm x 17mm, 피코 프로젝터의 투사 면적(projection area)은 카메라의 FOV보다 3배 정도 더 큰 면적으로 75mm x 50~60mm이다. 피코 프로젝터의 가장 짧은 투사 거리(projection distance)는 0.2m로 투사 면적을 더 작게 하기 위해 투사 거리를 좁히면, 초점이 흐려져 정확한 정현파 프린지 패턴 영상의 투영이 어렵다. 기준면은 FOTOWAND사의 화이트 보드(white board)를 이용하였다. 시스템 캘리브레이션을 위해 Mitutoyo사의 게이지 블록(gauge block) Grade 0(±0.12um)를 사용하였다.
PPT Slide
Lager Image
구현된 3D 형상 측정 시스템 Fig. 6 Implemented 3D measurement system
3D 형상 측정 시스템의 사양Table. 1 Specifications of 3D measurement system
PPT Slide
Lager Image
3D 형상 측정 시스템의 사양 Table. 1 Specifications of 3D measurement system
- 4.2. 시스템 캘리브레이션
2장에서 설명한 정현파 프린지 패턴이 투영되는 각도, 주기는 시스템의 비선형적인 요소로 인하여, 실험적인 방법을 통해 시스템 파라미터(system parameter)를 계산한다.
게이지 블록을 기준면 아래에 놓아 알고 있는 높이 h 1 , h 2 , ..., h N 만큼 기준면을 이동하여 이 때의 위상차 Δ ϕ h1 ( x,y ), Δ ϕ h2 ( x,y ), ..., Δ ϕhN ( x,y )를 측정한다. 측정된 위상차들을 이용하여 Guo [7] 방법으로 시스템파라미터 m ( x,y ), n ( x,y )를 계산한다. 본 논문에서는 1, 1.5, 2, 2.5, 3(mm)의 게이지 블록을 사용하였다. 최종적으로 위상과 높이의 관계는 식 (11)과 같다.
PPT Slide
Lager Image
Ⅴ. 실험 결과
- 5.1. BLU(Back Light Unit)의 3차원 형상 측정
FTP를 이용한 이중 파장법을 검증하기 위하여 그림 7 과 같은 BLU를 3차원 형상 측정하였다.
PPT Slide
Lager Image
측정 대상인 BLU Fig. 7 BLU for measurement
BLU에 정현파 프린지 패턴을 투영하여 카메라로 획득된 영상은 그림 8 과 같다. 정현파 프린지 패턴의 투영된 작은 주기는 0.8mm, 큰 주기는 1.5mm이며, 측정 범위는 3.5mm정도이다. 실험에 사용된 위상 이동횟수는 π/2씩 5번을 이동시켜 계산하는 4-Bucket + 1 알고리즘 [8] 을 사용하였고 식 (12)와 같다. 또한, 배경의 간섭을 최소화 하면서 첫 번째 컴포넌트를 선택하기 위해 대각선으로 큰 주기의 정현파 프린지 패턴을 투영하였다 [9] .
PPT Slide
Lager Image
PPT Slide
Lager Image
(a) 작은 주기의 패턴이 투영된 영상 (b) 큰 주기의 패턴이 투영된 영상 Fig. 8 (a) captured images of short period pattern (b) captured image of long period pattern
FTP방법으로 위상을 측정하기 위해 그림 8 (b)의 영상을 푸리에 변환하여 공간 영역을 주파수 영역으로 변환하였고, 그 결과는 그림 9 (a)와 같다.
PPT Slide
Lager Image
(a) 푸리에 변환 결과 영상 (b)첫 번째 컴포넌트만 통과된 영상 Fig. 9 (a) Result image of Fourier transform (b) Result image of Butterworth band-pass filter
가운데 영역은 배경이고, 대각선은 첫 번째 컴포넌트(first component)로 위상의 데이터를 가지고 있는 영역이다. 그림 9 (b)는 버터워스 대역 통과 필터(Butterworth band-pass filter)를 이용하여 첫 번째 컴포넌트만 통과된 결과이다.
주파수 영역에서 필터링된 결과를 다시 역 푸리에 변환하여 식(7)처럼 위상을 계산할 수 있다. 그림 10 은 역푸리에 결과 영상으로 정현파에 대한 영역만 선택되고 배경 부분은 제거된 것을 확인할 수 있다.
PPT Slide
Lager Image
역 푸리에 변환 결과 영상 Fig. 10 Result image of inverse Fourier transform
그림 11 (a)는 작은 주기의 프린지 패턴 영상을 PMP방법으로 위상을 계산하여 기준면과의 위상차에 대한 결과이다. 그림 11 (b)는 큰 주기의 프린지 패턴 영상을 FTP방법으로 위상을 계산하여 기준면과의 위상차에 대한 결과이다. 그림 11 (a)는 세밀하게 측정되었지만, 2π모호성이 발생하여 BLU Bar의 높이 변화가 없는 것처럼 측정되었다. 그림 11 (b)는 2π모호성은 없지만, 전체적인 형태정도만 측정된 것을 확인할 수 있다.
PPT Slide
Lager Image
(a) PMP를 이용하여 계산한 위상차 (b) FTP를 이용 하여 계산한 위상차 Fig. 11 (a) Phase difference by PMP (b) Phase difference by FTP
FTP방법으로 계산된 위상차로 식(9), (10)을 이용하여 2π 모호성이 제거된 위상차의 결과는 그림 12 과 같다.
PPT Slide
Lager Image
FTP를 이용한 이중 파장법 결과 위상차 Fig. 12 Phase difference by double frequency method using FTP
최종적으로 FTP를 이용한 이중 파장법으로 계산된 위상차를 식(11)를 이용하여 높이로 변환한 결과는 그림 13 와 같다.
PPT Slide
Lager Image
BLU의 3D 형상 측정 결과 Fig. 13 3D measurement result of BLU
- 5.2. 성능 비교
측정 정밀도의 성능을 비교하기 기준면을 1.5mm로 올려 각각의 방법으로 측정하였다. 이 때 작은 주기의 패턴 영상은 동일하고 큰 주기의 패턴 영상만이 서로 다르다. 표 2 는 그 결과이고 성능이 동일한 것을 확인할 수 있다. 또한, 기존 이중 파장법을 사용하여 BLU를 측정하였다. 그림 14 (a)는 큰 주기의 프린지 패턴이 투영된 영상이다. 그림 14 (b)는 최종적으로 기존 이중 파장법으로 측정된 BLU이다. FTP를 이용한 이중 파장법과 동일하게 측정된 것을 확인할 수 있다.
측정 정밀도 비교(단위 : mm)Table. 2 Comparison of accuracy & repeatability(unit: mm)
PPT Slide
Lager Image
측정 정밀도 비교(단위 : mm) Table. 2 Comparison of accuracy & repeatability(unit: mm)
PPT Slide
Lager Image
(a) 큰 주기의 패턴이 투영된 영상 (b) 기존 이중 파장법으로 측정된 결과 Fig. 14 (a) Captured images of long period pattern (b) 3D measurement result by typical double frequency method
표 3 는 기존 이중 파장법과 FTP를 이용한 이중 파장법의 측정 시간을 나타낸다. 촬상 시간에서 기존 이중파장법은 10장의 영상을 FTP를 이용한 이중 파장법은 6장의 영상을 촬상한 시간이다.
측정 시간 비교(단위 : ms)Table. 3 Comparison of measurement time(unit : ms)
PPT Slide
Lager Image
측정 시간 비교(단위 : ms) Table. 3 Comparison of measurement time(unit : ms)
계산 시간에서 CPU는 Intel i7을 사용하였고, 푸리에 변환시 FFTW [10] 라이브러리를 사용하였다. 총 측정시간이 FTP를 이용한 이중 파장법이 약 1.8배정도 빠른 것을 확인할 수 있다.
Ⅵ. 결 론
본 논문에서 FTP를 이용한 이중 파장법을 제안하고 실험을 통해 성능을 검증하였다. 여러 장의 영상을 추가적으로 획득하여 이용하는 기존의 이중 파장법에서 한 장의 영상만을 추가적으로 획득하여 이용하는 FTP를 이용한 이중 파장법은 측정 소요시간을 단축하면서 같은 성능을 보였다. 실시간으로 정밀한 3D 형상 측정에서 활용 가능할 것으로 보인다.
BIO
구자명(Ja-myoung Koo)
한국기술교육대학교 컴퓨터 공학과 학사
한국기술교육대학교 대학원 전기전자공학과 석사
※관심분야 : 영상처리, 컴퓨터 비전, 3D 형상 측정
조태훈(Tai-hoon Cho)
서울대학교 전자공학과 학사
한국과학기술원 전기 및 전자 공학과 석사
Virginia Polytechnic Institute & State University 박사
LG산전 연구소 수석 연구원
한국기술교육대학교 컴퓨터공학부 교수
※관심분야 : 영상처리, 컴퓨터 비전, 3D 형상 측정
References
Gorthi S.S. , Rastogi P. 2010 “Fringe projection techniques: Whither we are?,” Optics and lasers in engineering 48 (2) 133 - 140    DOI : 10.1016/j.optlaseng.2009.09.001
Chen L. , Huang c. 2005 "Miniaturized 3D surface profilometer using digital fringe projection," Measurement Science and Technology 16 (5) 1061 - 1068    DOI : 10.1088/0957-0233/16/5/003
Burke J. , Bothe T. , Osten W. , Hess C. 2002 "Reverse engineering by fringe projection," International Symposium on Optical Science and Technology 4778 312 - 324
Srinivasan V. , Liu H. C. , Halioua M. 1984 “Automated phase-measuring profilometry of 3-D diffuse objects,” Applied optics 23 (18) 3105 - 3108    DOI : 10.1364/AO.23.003105
Zhao H. , Chen W. , Tan Y. 1994 "Phase-unwrapping algorithm for the measurement of three-dimensional object shapes," Applied optics 33 (20) 4497 - 4500    DOI : 10.1364/AO.33.004497
Takeda M. , Ina H. , Kobayashi S. 1982 “Fourier-transform method of fringe-pattern analysis for computer-based topography and interferometry,” Journal of the Optical Society of America 72 (1) 156 -    DOI : 10.1364/JOSA.72.000156
Guo H. , Chen M. , Zheng P. 2006 "Least-squares fitting of carrier phase distribution by using a rational function in profi lometry fringe projection," Optics letters 31 (24) 3588 - 3590    DOI : 10.1364/OL.31.003588
Hariharan P. , Oreb B. F. , Eiju T. 1987 “Digital phaseshifting interferometry: A simple error-compensating phase calculation algorithm,” Applied optics 26 2504 - 2506    DOI : 10.1364/AO.26.002504
Chen L.C. , Ho H.W. , Shu , Nguyen X.L. "High-speed 3-D Machine Vision Employing Fourier Transform Profilometry with Digital Tilting-Fringe Projection," Proceedings of IEEE Workshop on Advanced Robotics and its Social Impact 2008 23 - 25
Matteo Frigo , Johnson Steven G. A C subroutine library for computing the discrete Fourier transform (FFTW) Available