Advanced
Crosstalk Reduction of Glasses-free 3D Displays using Multiview Image Processing
Crosstalk Reduction of Glasses-free 3D Displays using Multiview Image Processing
Journal of Broadcast Engineering. 2016. Jan, 21(1): 66-75
Copyright © 2016, The Korean Society of Broadcast Engineers
  • Received : November 04, 2015
  • Accepted : January 04, 2016
  • Published : January 30, 2016
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
성 열 김
진 성 이
jinsung7.lee@samsung.com
상 미 최

Abstract
본 논문은 다시점 영상처리 기술을 이용하여 무안경 3차원 디스플레이의 크로스톡(Crosstalk)을 저감하는 새로운 방법을 제안한다. 크로스톡은 현 시점 영상 정보를 주변 시점 영상 정보와 섞여 보이게 하여 출력 3차원 영상을 매우 흐리게 만든다. 무안경 3차원 디스플레이의 크로스톡을 저감하기 위해, 제안한 방법은 다시점 영상에 적응적 깊이 재배치와 시점 미분값 기반 크로스톡 역보상 필터를 적용한다. 또한, 제안한 방법은 에피폴라 영상 화소 보간법을 이용하여 넘침 및 아래 넘침 화소를 보상하여 영상 왜곡을 최소화한다. 실험 결과는 제안한 방법이 기존 방법보다 3차원 영상 품질을 향상시키면서 크로스톡을 효율적으로 저감함을 보여준다.
Keywords
I. 서 론
디지털 정보화 시대를 맞이하여 초고속 네트워크가 널리 사용되고 3차원 디스플레이 기술이 급속히 발달함에 따라, 3차원 비디오 콘텐츠를 이용한 다양한 응용들이 출현하고 있다. 특히, 무안경 3차원 디스플레이 [1] 는 안경을 쓰지 않고 3차원 영상을 시청할 수 있다는 점에서 차세대 영상 디스플레이로 각광 받고 있다. 무안경 3차원 디스플레이는 다시점 영상을 입력 받아 광학적으로 영상을 분리하여 개별 시점 위치에 표현한다. 따라서, 사용자가 임의의 시점 위치에서 광학적으로 분리된 영상을 시청하면 영상 시차에 의한 3차원 효과를 경험하게 된다. 다시점 영상은 여러 시점에서 카메라로 촬영하거나 가상 모델링으로 획득한 다수 영상의 집합이다. 다시점 영상을 생성하는 방법으로 스테레오 영상으로부터 추출한 깊이 정보를 이용한 깊이 영상 기반 렌더링 기술 [2] 이 있다. 깊이 영상 기반 렌더링 기술은 자동적으로 기존의 안경식 스테레오 비디오를 무안경 다시점 비디오로 변환하는 것을 가능하게 한다.
무안경 3차원 디스플레이 기술 개발 동향을 살펴보면, 2008년에 LG전자는 HD 영상 기반의 9시점 디스플레이를 출시한 바 있으며, Philips도 다시점 디스플레이를 상용 출시하였다. 최근에는 삼성전자, LG전자, SONY, Dolby, Dimenco 등 세계 주요 가전사에서 4K UHD 영상을 기반으로 해상도를 높이고, 2차원/3차원 모드 변환이 가능한 무안경 3차원 TV 및 디스플레이 시제품을 발표하였다. 2015년에 삼성전자는 미국 라스베가스에서 열린 가전박람회에서 8K 영상을 기반으로 한 무안경 3D TV을 전시하여 전세계적인 관심을 받았다.
일반적으로 무안경 3차원 디스플레이는 경사 렌티큘라 렌즈 방식 혹은 경사 패러녹스 베리어 방식으로 설계한다. 경사 구조로 설계하는 이유는 모아레(Morie) 현상을 제거하면서 수평 수직 방향의 3차원 해상도 차이를 최소화하기 위함이다. 그러나, 그림 1 (a)에서 보듯이, 이러한 경사 구조는 사용자가 온전히 해당 시점 위치의 영상 정보를 보는 것이 아닌 주변 시점 위치의 영상 정보를 섞어 보는 크로스톡(crosstalk)를 유발한다. 크로스톡은 주변 시점 영상 정보의 간섭으로 인해 심각한 3차원 영상 흐림(blur) 현상을 일으킨다. 그림 1 (b)와 그림 1 (c)는 원 2차원 영상과 무안경 3차원 영상을 보여준다. 두 영상을 비교해 보면, 영상내의 글자나 선이 뭉개지거나 흐릿해짐을 확인할 수 있다. 따라서, 무안경 3차원 디스플레이를 이용한 응용개발에 있어 크로스톡 저감 기술 개발은 매우 중요하다.
PPT Slide
Lager Image
영상 흐림 및 왜곡. (a) 경사 구조, (b) 원 2차원 영상, (c) 무안경 3차원 영상, 및 (d) CIF의 영상 왜곡 Fig. 1. Image blur and artifacts in an autostereoscopic display. (a) slanted structure, (b) 2D image, (c) 3차원 image, and (d) visual artifacts of CIF
크로스톡 저감 기술은 크게 하드웨어 기반 저감 방법 [3 , 4 , 14 , 15] 과 소프트웨어 기반 저감 방법 [5 , 6 , 7] 으로 나눈다. 하드웨어 기반 저감 방법은 디스플레이에 새로운 장비를 추가하여 물리적으로 크로스톡을 줄인다. 하드웨어 방식은 장비 설계 및 구축에 많은 비용이 든다. 반면에 소프트웨어 기반 저감 방법은 크로스톡 문제를 영상 복원 문제로 정의하고 영상처리 기술을 이용하여 해결한다. 따라서, 소프트웨어 방식은 하드웨어 방식에 비해 저비용으로 개발 가능하며 크로스톡도 효과적으로 줄일 수 있다.
소프트웨어 방식 중 대표적인 방법은 크로스톡 역보상 필터링(crosstalk inverse filtering, CIF) [5] 이다. CIF는 각 시점의 크로스톡 양을 크로스톡 행렬로 모델링한다. 그런 다음, 입력 다시점 영상 정보와 크로스톡 역행렬을 곱하여 새로운 입력 다시점 영상 정보를 계산한다. 사용자는 크로스톡을 역보상한 다시점 영상을 무안경 3차원 디스플레이를 통해 보게 되어 깨끗한 3차원 영상을 시청한다. 그러나, 필터링 과정에서 영상 곱셈 연산에 의한 넘침(overflow)와 아래 넘침(underflow) 화소가 빈번히 발생하여 무안경 3차원 영상이 왜곡된다. 결과적으로 그림 1 (d)에서 보듯이, CIF 방법은 크로스톡에 의한 영상 흐림은 해결하지만, 원으로 표시한 부분처럼 넘침과 아래 넘침에 의한 영상 왜곡으로 3차원 영상 가시성을 심각하게 저하시킨다.
소프트웨어 방식의 다른 접근 방법으로 깊이 재배치(depth retargeting, DR) [8] 기술이 있다. DR은 콘스윗 효과(Cornsweet effect) [9] 에 기반하여 깊이 정보를 변형한다. 콘스윗 효과란, 깊이 영상에서 국부적으로 다른 시차 대조비를 갖도록 표현하여, 사람이 원래의 깊이감과 다른 깊이감을 느끼게 하는 착시 효과이다. 객체 내부에 깊이값이 낮더라도 객체 경계 영역의 깊이값이 높으면, 해당 객체의 전체적인 깊이감은 높게 보인다. DR은 객체 내부의 깊이 정보를 감소시켜 인지적으로 객체 내부의 크로스톡을 저감하여 영상 선명도를 향상시킨다.
본 논문은 DR와 CIF를 결합하여 무안경 3차원 디스플레이의 크로스톡을 효과적으로 저감하는 새로운 방법을 제안한다. 제안한 방법은 스테레오 영상으로부터 추출한 깊이 정보에 DR을 적용하여 재배치하고, 재배치한 깊이 정보를 기반으로 다시점 영상을 생성한다. 그런 다음, 제안한 방법은 시점 미분값 기반 CIF를 다시점 영상에 적용하여 크로스톡을 보상한 새로운 다시점 영상 정보를 계산한다. 제안한 시점 미분값 기반 CIF은 넘침과 아래 넘침 화소 발생을 최대한으로 줄이면서 크로스톡 문제를 효과적으로 해결한다.
본 논문의 구성은 다음과 같다. II장에서는 기존의 크로스톡 역보상 필터링과 깊이 재배치 기술을 소개한다. III장에서는 제안하는 방법인 적응적 깊이 재배치와 시점 미분 값을 이용한 크로스톡 역보상 필터링을 설명한다. IV장에서 실험결과를 분석한 후, V장에서 결론을 맺는다.
II. 관련 기술
본 장에서는 소프트웨어 기반으로 크로스톡을 줄이기 위한 대표적인 방법인 크로스톡 역보상 필터(Crosstalk Inverse Filter, CIF)와 깊이 재배치 방법(Depth Retargeting, DR)의 기본 원리를 설명한다. 우선 CIF는 2010년에 발표한 Chang방법 [5] 을 토대로 설명한다. 기본적으로 CIF는 입력 화소값을 크로스톡 양에 따라 미리 더해주거나 빼줌으로써 실제 무안경 3차원 디스플레이에서 변경된 입력 화소 값이 원 입력 화소값으로 보상한다. 무안경 3차원 디스플레이의 크로스톡은 식 (1)과 같이 크로스톡 행렬 X 로 모델링 할 수 있다.
PPT Slide
Lager Image
여기서, x, y 는 영상 수평 수직 좌표이다. Vj j 번째 시점의 입력 화소값이고, Uj j 번째 시점에서 사용자가 보는 출력 화소값이다. K 는 무안경 3차원 디스플레이의 광학 시점 수를 나타내며, X 는 대각 행렬값이 1인 K × K 대칭행렬이다.
CIF는 X 의 역행렬인 크로스톡 역행렬 X' 를 계산한 후, 식 (2)와 같이 새로운 입력 화소값 V' 을 얻는다.
PPT Slide
Lager Image
따라서, 식 (1)과 식 (2)에 의해서 사용자가 보는 새로운 출력 영상 Ū 은 식 (3)과 같다.
PPT Slide
Lager Image
식 (3)과 같이, CIF를 통해 크로스톡을 보상한 출력 영상 Ū 는 입력 영상 Vj 과 동일하게 되어 크로스톡 문제를 해결한다. 그러나, 영상 화소값은 할당 비트에 따라 유효 화소값 범위 내로 한정된다. 예로 8비트 영상인 경우 유효 화소값 범위는 0~255이다. 이와 같이, 유효 화소값으로 한정된 영상 화소값과 음의 값을 포함하는 X' 의 행렬의 곱셈 연산으로 넘침과 아래 넘침 화소가 빈번히 발생한다. 앞서 그림 1 (d)에서 보듯이, 넘침 및 아래 넘침 화소는 영상에 시각적 왜곡을 발생시켜 3차원 영상 품질을 저하시킨다.
다른 소프트웨어 기반 크로스톡 저감 방법인 DR 기술은 2010년에 발표된 Lang 방법 [8] 을 토대로 설명한다. 기본적으로 DR 콘스윗 효과에 기반하여 객체 내부의 깊이 영상 정보를 변경하는 방법이다. DR은 콘스윗 프로파일 생성 단계와 콘스윗 프로파일 결합 단계로 이루어진다. 콘스윗 프로파일은 생성하기 위해, 원 깊이 영상 DI 의 깊이 정보를 감소시켜 새로운 깊이 영상 DS 를 생성한다. 그런 다음, 콘스윗 프로파일 C 를 측정하기 위해, DI 로부터 가우시안 피라미드를 구성하고, 인접한 두 밴드 간 차를 식 (4)와 같이계산한다.
PPT Slide
Lager Image
여기서 Ci 는 피라미드 i 번째 밴드의 콘스윗 프로파일 값을 의미하고, DiI 는 피라미드 i 번째 밴드의 시차 값을 의미한다. 최종 C 는 상위 밴드부터 각 밴드의 프로파일 차를 하위 밴드의 프로파일과 합산하여 생성한다. 콘스윗 프로파일 결합 단계는 C DS 를 합하여 최종 깊이 영상 DF 를 생성한다. 그림 2 는 DR의 과정을 도시화하여 보여준다.
PPT Slide
Lager Image
콘스윗 효과를 이용한 DR 방법 Fig. 2 Depth retargeting using Cornsweet effect
III. 제안한 크로스톡 저감 방법
- 1. 전체 흐림도
그림 3 은 제안한 크로스톡 저감 방법의 전체 흐름도를 보여준다. 입력 영상은 2차원 영상과 깊이 영상이다. 제안한 방법의 흐름도는 다음과 같다. 1) 깊이 영상을 깊이 정보의 크기와 영 시차를 기준으로 DR를 적용하여 변경한다. 2) 깊이 영상 기반 렌더링 기법을 이용하여 다시점 영상을 생성한다. 3) 다시점 영상으로부터 에피폴라 영상(Epipolar Image, EPI) [10] 을 생성한다. 4) 시점 미분값에 따라 X' 의 행렬값을 변경하면서 CIF를 수행한다. 5) 넘침 및 아래 넘침 화소는 EPI 도메인에서 영상 보간한다. 마지막으로, 무안경 3차원 디스플레이 환경변수에 따라 EPI로부터 무안경 3차원 입력 영상을 생성한다.
PPT Slide
Lager Image
제안한 크로스톡 저감 방법의 전체 흐림도 Fig. 3. Overall flow of the proposed crosstalk reduction method
- 2. 적응적 깊이 재배치
본 논문은 무안경 3차원 디스플레이 환경에 적합한 적응적 DR 방법을 소개한다. 우선 원 깊이 영상 DI 의 깊이 정보를 감소시켜 새로운 깊이 영상 DS 를 생성한다. 문헌은 콘스윗 효과로 최대 40%까지 인지 깊이감 증가를 기대하지만, 경험적으로 실제 무안경 3차원 디스플레이 환경에서는 약 20% 정도이다. 따라서 실험에서는 DS 의 깊이 정보를 DI 의 깊이 정보의 80%로 정한다.
제안하는 적응적 DR은 무안경 3차원 디스플레이 특성에 맞도록 식 (4)의 C를 변경하여 새로운 콘스윗 프로파일 C' 계산한다. DI ( x, y )의 2차 미분값을 DI' ( x, y )라 할 때, DI' ( x, y )가 0보다 크면 C' ( x, y )를 0으로 한다. 그 이유는 다시점 영상 생성 단계에서 깊이 영상의 에지(edge) 영역의 C가 역전 되지 않게 하기 위함이다. 깊이 정보의 경계 역전 현상은 객체 경계 주변에서 다시점 영상 왜곡시킨다. 그림 4 는 제안한 적응적 DR 방법을 보여준다. 그림 4 에서 보듯이, 제안한 DR 방법은 2차 미분값에 따라 C' 를 0으로 치환하여 영상 경계 부분의 왜곡을 줄인다. 최종 깊이 영상 DF 는 식 (5)와 같이 C' DS 를 합하여 정한다.
PPT Slide
Lager Image
PPT Slide
Lager Image
무안경 3차원 디스플레이의 적응적DR 방법 Fig. 4. Adaptive depth retargeting of autostereoscopic 3차원 displays
여기서, μ C' 의 가중치를 조절하는 변수이다. 다시점 영상은 DF 와 입력 색상 영상을 입력으로 하여 깊이 영상 기반 렌더링하여 생성한다.
- 3. 시점 미분값 기반 CIF
DR 적용 후 생성한 다시점 영상은 EPI로 표현한다. EPI는 3차원 공간의 점과 그 점을 2차원 영상에 투영한 점 사이의 관계를 나타낸다. EPI는 다시점 영상이 수직 시차가 없다는 가정하에 각 시점 영상의 동일 위치 주사선을 영상 버퍼에 쌓아서 생성한다. 따라서, 그림 3 에서 보듯이, K 시점 영상의 각 시점 영상 해상도가 W × H 이면, 각 주사선에 상응하는 EPI 해상도는 W × K 이고, EPI 전체 해상도는 W × K × H 이다.
그런 다음, EPI 공간상에서 시점 미분값 기반 CIF 방법을 적용하여 크로스톡을 보상한다. 제안한 방법은 크로스톡 역행렬 X' 로부터 획득한 CIF 필터 가중치를 시점간 미분값에 따라 적응적으로 조절한다. CIF 필터 가중치 A ={ a1 , a2 ,⋯, aK }이고, EPI 수직 화소인 시점 화소 집합 P ={ p1 , p2 ,⋯, pK }라 하자, 시점 미분값 집합 G ={ g1 , g2 ,⋯, gK }는 식 (6)에 의해 구한다.
PPT Slide
Lager Image
여기서, pi gi 는 각각 i번째 시점 화소값과 미분값을 의미하고, λ1 은 미분값 크기 조절 변수이다. 변경된 CIF 필터 가중치 A' ={ a'1 , a'2 ,⋯, a'K }는 식 (7)와 같이 계산한다.
PPT Slide
Lager Image
여기서, βi 는 사용자가 정의한 i 번째 최소 계수 가중치 값이고, λ2 는 가중치크기 조절 변수이다. βi 는 0.5× ai 로 정하고, 경험적 수치 λ1 λ2 는 각각 1과 32이다. 따라서 변경된 크로스톡 역행렬 X" 은 식 (8)과 같이 표현된다.
PPT Slide
Lager Image
결과적으로 X" 를 이용한 시점 미분값 기반 CIF는 식 (9)과 같다.
PPT Slide
Lager Image
그림 5 K 가 7인 경우, 제안한 시점 미분값 기반 CIF의 필터 가중치의 변화를 도시화하여 보여준다. 시점 미분값이 클수록 넘침 및 아래 넘침 화소가 발생할 가능성이 크기 때문에 제안한 방법은 필터 가중치를 줄여준다. 반대로 시점 미분값이 작을수록 필터 가중치를 원 CIF 필터 가중치와 같게 한다. 따라서, 제안한 시점 미분값 기반 CIF는 넘침 및 아래 넘침 화소를 최소화하여 화소 역전현상과 같은 영상 왜곡이 일어나지 않도록 한다.
PPT Slide
Lager Image
시점 미분값 기반 CIF 필터 가중치 조절. (a) 기존 방법 및 (b) 제안한 방법 Fig. 5. View gradient-based CIF weight control. (a) the previous method and (b) the proposed method
- 4. EPI 화소 보간법
제안한 시점 미분값 기반 CIF 방법은 넘침 및 아래 넘침 화소의 발생 확률을 효율적으로 줄인다. 그럼에도 불구하고, 큰 미분값를 갖는 화소의 경우 여전히 넘침 및 아래 넘침 화소로 나타날 경우가 있다. 이러한 왜곡 화소를 보정하기 위해, 본 논문은 EPI 화소 보간법을 제안한다. EPI 화소 보간법은 두 단계로 나눈다. 첫 번째 단계는 왜곡 화소 마스킹(masking)이고, 두 번째 단계는 부분적 EPI 양측 필터링(partial EPI bilateral filtering)이다. 왜곡 화소 마스킹 단계는 현 화소가 넘침 침 아래 넘침 화소일 경우 마스크를 1로 정하고, 그렇지 않을 경우 마스크를 0으로 정하여, 현 화소가 왜곡 화소인지를 표시한다. 부분적 EPI 양측 필터링 단계는 마스크 1로 표시한 화소를 주변의 마스크 0으로 표시한 화소를 이용하여 보간한다. 부분적 EPI 양측 필터링은 식 (10)과 같이 수행한다.
PPT Slide
Lager Image
여기서, FS FC 는 각각 공간 가중치 함수와 색상 가중치 함수이다. S C FS FC 의 공간 및 색상 평탄화 인수이다. Q 는 국부 윈도우이다.
이전의 양측 필터링 [11] 과 차이점은 FS FC 를 CIF 적용 전 EPI 영상에서 계산하고, 필터링 도메인은 CIF 적용 후 EPI 영상이다. 즉, px pn 은 원 EPI 화소이며, p'n 는 CIF 적용 후의 EPI 화소이다. 또한, p'n 이 마스크 1로 표시된 왜곡 화소인 경우 FC 에 작은 값(예: 0.001)을 할당하여 넘침 및 아래 넘침 화소가 제안한 양측 필터 결과에 영향을 주지 않게 한다. 마지막으로, 시점 미분값 기반 CIF와 EPI 화소 보간법을 이용하여 크로스톡 보상한 EPI 영상을 무안경 3차원 영상으로 변환한다. 무안경 3차원 영상 변환을 위해 무안경 3차원 디스플레이의 환경인수인 렌티큘라 경사각 및 폭을 입력으로 받는다.
IV. 실험 결과
제안한 방법은 렌티큘라 렌즈 경사구조로 이루어진 광학 7시점 55인치 무안경 3차원 디스플레이 환경에서 실험하였다. 실험 무안경 3차원 디스플레이의 크로스톡 양은 86%이고 광학 프로파일 분석을 통해 측정하였다. 제안한 방법의 성능 평가를 위해 총 15개의 실험 동영상을 사용하였다. 모든 실험 동영상의 해상도는 1920x1080이고 스테레오 영상이다. 스테레오 영상으로부터 깊이 정보를 추출하고 깊이 영상 기반 렌더링 기술을 적용하여 광학 7시점 영상으로 변환하였다. 제안한 방법은 기존의 광학 화소 기반 크로스톡 저감 방법 [5 , 13] 및 부화소 기반 크로스톡 저감 방법 [16 , 17] 과 비교하였다. 부화소 기반 크로스톡 저감 방법은 광학 화소를 부화소 단위로 세부적으로 나눠 처리하는 방법이다.
그림 6 는 실험 영상에 대한 결과를 보여준다. 그림 6 (a)는 원 2차원 입력 영상이고, 그림 6 (b)는 크로스톡 저감 적용 전이며, 그림 6 (c)는 Chang 방법, 그림 6 (d)는 부호화 기반 Wang 방법, 그림 6 (e)는 제안한 방법의 결과이다. 그림 6 (b)부터 그림 6 (e)는 무안경 3차원 디스플레이에 실험 영상을 3차원 재생 후 DSLR 카메라로 촬영하여 획득하였다. 그림 6 (b)에서 보듯이, 크로스톡 저감 기술을 적용하지 않으면 영상 흐림이 발생한다. 반면에, 그림 6 (c), 그림 6 (d), 그림 6 (e)에서 보듯이 크로스톡 저감 기술을 적용하면 영상의 선명도가 증가함을 확인하였다. 그러나, 기존 방법들은 원으로 표시한 영역과 같이 넘침 및 아래 넘침 화소를 화소 표현 범위 최대값 및 최소값으로 클리핑하여 영상 왜곡을 발생시켰다. 반면에, 제안한 방법은 다시점 영상과 깊이 영상 특성에 따라 DR 적용과 CIF 필터 가중치를 조절하여 무안경 3차원 영상의 선명도를 증가하면서 넘침 및 아래 넘침 화소로 인한 영상 왜곡을 최소화하였다.
PPT Slide
Lager Image
실험 영상 결과. (a) 원본 2차원 영상, (b) 크로스톡 저감 적용 전, (c) Chang 방법, 및 (d) Wang 방법, (e) 제안한 방법 Fig. 6. Results of test data. (a) original 2D image, (b) Before crosstalk reduction, (c) Chang’s method, and (d) Wang’s method, (e) the proposed method
3차원 영상 선명도를 객관적으로 평가하기 위해, 무참조 화질 평가인 블러 메트릭(blur metric, BM) [12] 을 이용하였다. BM은 영상의 에지의 시작점과 끝점을 찾고, 그 폭을 측정하여 영상의 흐림 정도를 측정한다. 본 논문은 입력 2차원 영상과의 상대적 선명도를 계산하기 위해 BM율을 식 (11)와 같이 계산한다.
PPT Slide
Lager Image
여기서, BM2D 는 입력 2차원 영상의 BM 측정치이고, BM3D 제안한 방법을 현상 실험하여 얻은 3차원 영상의 BM 측정치이다. BM 측정치가 100%에 가까우면 가까울수록 출력 3차원 영상의 선명도가 입력 2차원 영상의 선명도와 유사하다. 표 1 은 크로스톡 저감 전과 제안한 방법으로 크로스톡 저감 후의 결과에 대한 BM율을 보여준다. 표 1 에서 보듯이, 크로스톡 저감 전의 평균 BM율은 76.8%, Chang 방법은 80.5%이었고, 제안한 방법의 평균 BM율은 90.2%이였다. BM율의 수치적 향상은 크로스톡 저감 전보다 13.4%, Chang 방법 대비 9.7%이다. 현재 상용화된 안경식 3차원 기술의 경우 크로스톡이 5% 이내로 매우 낮아 BM율이 99.9%이다. 선명도 관점에서 제안한 무안경 3차원 기술은 안경식 3차원 기술에 비해 선명도가 여전히 떨어지지만 상당 부분 개선되었다.
BM율을 통한 영상 선명도 비고Table 1. Image sharpness comparison via blur metric ratio
PPT Slide
Lager Image
BM율을 통한 영상 선명도 비고 Table 1. Image sharpness comparison via blur metric ratio
V. 결 론
본 논문은 다시점 영상처리 기술을 이용하여 무안경 3차원 디스플레이의 크로스톡을 효율적으로 저감하는 방법을 제안하였다. 제안한 방법은 깊이 영상 특성에 따라 깊이 정보를 적응적으로 변경하고, 크로스톡 역보상 필터의 가중치를 효과적으로 조절하여 3차원 영상의 선명도를 회복하였다. 15개의 동영상을 이용한 실험 결과에서 보듯이, 기존 방법에 비해 제안한 방법은 3차원 영상의 화질 열화를 최소화하면서 크로스톡을 줄였다. 또한, 제안한 방법의 BM율은 90.5%로 크로스톡 저감 전보다 약 13.4%, 기존 방법보다 약 9.7% 높았다.
BIO
김 성 열
- 2001년 : 강원대학교 정보통신공학과 학사
- 2003년 : 광주과학기술원 정보통신공학과 석사
- 2008년 : 광주과학기술원 정보통신공학과 박사
- 2009년 ~ 2011년 : University of Tennessee 전기공학과 박사후연구원
- 2012년 ~ 현재 : 삼성전자 VD사업부 책임연구원
- ORCID : http://orcid.org/0000-0003-3214-0641
- 주관심분야 : 3D 영상신호처리 및 실감방송 기술
이 진 성
- 1998년 : 한국과학기술원 전기 및 전자공학과 학사
- 2000년 : 한국과학기술원 전기 및 전자공학과 석사
- 2008년 : 한국과학기술원 전기 및 전자공학과 박사
- 2008년 ~ 현재 : 삼성전자 DMC연구소 수석연구원
- ORCID : http://orcid.org/0000-0002-9466-2958
- 주관심분야 : 3D 영상신호처리 및 컴퓨터 비전
최 상 미
- 1984년 : 상명대학교 학사
- 2003년 : 아주대학교 IT 경영전략 석사
- 2015년 ~ 현재 : 광운대학교 홀로그래피 3D 컨텐츠학과 박사과정
- 2002년 ~ 2009년 : 로제타넷 코리아 CIO
- 1985년 ~ 현재 : 한국전자정보통신산업진흥회 산업진흥 본부장
- 2009년 ~ 현재 : 3D융합산업협회 사무국장
- ORCID : http://orcid.org/0000-0002-1931-4742
- 주관심분야 : 실감미디어,다시점 영상처리, 3D 디스플레이, 디지털 홀로그래피, 3D 융합기술
References
Dodgson N. A. 2005 “Autostereoscopic 3D displays,” Computer 8 31 - 36    DOI : 10.1109/MC.2005.252
Kauff P. , Atzpadin N. , Fehn C. , Müller M. , Schreer O. , Smolic A. , Tanger R. 2007 “Depth map creation and image-based rendering for advanced 3DTV services providing interoperability and scalability,” Signal Processing Image Communication 22 (2) 217 - 234    DOI : 10.1016/j.image.2006.11.013
Hui H.H. , Kuo M.H. , Huang H.H. , Chuang S. C. , Chen C. H. , Tsai C. H. 2008 “High resolution autostereoscopic 3D display with proximity projector array." SID Symposium Digest of Technical Papers 39 (1) 760 - 763    DOI : 10.1889/1.3069779
Kim S. S. , You B. H. , Choi H. , Berkeley B. H. , Kim D. G. , Kim N. D. 2009 “World's first 240Hz TFT‐LCD technology for Full‐HD LCD ‐TV and its application to 3D display." SID Symposium Digest of Technical Papers 40 (1) 424 - 427    DOI : 10.1889/1.3256805
Chang Y. C. , Ma C. Y. , Huang Y. P. 2010 “Crosstalk suppression by image processing in 3D display,” SID Symposium Digest of Technical Papers 41 124 - 127    DOI : 10.1889/1.3499894
Lipscomb J. S. , Wooten W. L. “Reducing crosstalk between stereoscopic views,” IS&T/SPIE 1994 International Symposium on Electronic Imaging: Science and Technology 1994 92 - 96
Hong H. 2012 “Reduction of spatially non-uniform 3D crosstalk for stereoscopic display using shutter glasses,” Displays 33 (3) 136 - 141    DOI : 10.1016/j.displa.2012.05.003
Lang M. , Hornung A. , Wang O. , Poulakos S. , Smolic A. , Gross M. 2010 “Nonlinear disparity mapping for stereoscopic 3D,” ACM Trans. on Graphics 29 (4) 75 -    DOI : 10.1145/1778765.1778812
Didyk P. , Ritschel T. , Eisemann E. , Myszkowski K. , Seidel H.P. 2011 “A perceptual model for disparity,” ACM Trans. on Graphics 30 (4) 96 -    DOI : 10.1145/2010324.1964991
Chai J. X. , Tong X. , Chan S. C. , Shum H. Y. “Plenoptic sampling,” Proc. of the 27th annual conference on Computer graphics and interactive techniques 2000 307 - 318
Elad M. 2002 “On the origin of the bilateral filter and ways to improve it,” IEEE Trans. on Image Processing 11 (10) 1141 - 1150    DOI : 10.1109/TIP.2002.801126
Marziliano P. , Dufaux F. , Winkler S. , Ebrahimi T. 2004 “Perceptual blur and ringing metrics: application to JPEG2000,” Signal processing Image communication 19 (2) 163 - 172    DOI : 10.1016/j.image.2003.08.003
Ma C. Y. , Chang Y. C. , Huang Y. P. 2014 “Multi-zone digital crosstalk reduction by image processing in 3D display,” Journal of Display Technology 10 (6) 488 - 493    DOI : 10.1109/JDT.2014.2304678
Zhou M. , Wang H. , Li W. , Jiao S. , Hong T. , Wang S. , Sun X , Wang X. , Kim J. Y. , Nam D. 2014 “A unified method for crosstalk reduction in Multiview displays,” Journal of Display Technology 10 (6) 500 - 507    DOI : 10.1109/JDT.2014.2305995
Park J. , Nam D. , Sung G. , Kim Y. , Park D. , Kim C. 2011 “Active crosstalk reduction on multi-view displays using eye detection,” SID Symposium Digest of Technical Papers 42 920 - 923    DOI : 10.1889/1.3621487
Wang Q. H. , Li X. F. , Zhou L. , Wang A. H. , Li D. H. 2011 “Crosstalk reduction by correcting the subpixel position in a Multiview autostereoscopic three-dimensional display based on a lenticular sheet,” Applied Optics 50 (7) B1 - B5    DOI : 10.1364/AO.50.0000B1
Kang J. , Lee H. “Autostereoscopic 3D image enhancement via sub-view based crosstalk inverse compensation,” Proc. Of Global 3D Tech Forum 2015 1 - 2