차세대 영상압축 표준인 HEVC(High Efficiency Video Coding)에 적용 가능한 무손실 인트라 예측 방법 CR-DPCM(Cross-Residual Difference Pulse Code Modulation)을 제안한다. HEVC는 공간상의 중복성을 줄이기 위해 다양한 방향의 예측을 하도록 만들어졌으며, 이를 위해 부호화 하려는 블록의 주변 화소들을 사용하고 있다. 본 논문에서 제안하는 HEVC 적용 가능한 무손실 인트라 예측 방법은, 예측을 위해 화소 단위 DPCM을 수행하면서도 잔차 변환과, 잔차 변환의 결과로 얻어지는 잔차 신호에 대해 2차로 진행하는 잔차 변환을 예측 방향에 맞추어 교차시키는 CR-DPCM 방법을 사용하며, 이는 기존 제안한 방법인 제 2차 잔차 변환(Secondary Residual Transform)보다 높은 성능 향상을 가진다. 제안하는 무손실 인트라 코딩 방식인 CR-DPCM 방법은 기존의 HEVC 표준 방법과 비교 하였을 때 bit-rate 평균 약 8.43%정도 감소시키며, JPEG2000 무손실 압축 방법과 비교해서도 높은 성능 향상을 가진다. 고효율 비디오 코딩 HEVC(High Efficiency Video Coding) [1] 는 ITU-T VCEG과 ISO/IEC MPEG이 JCT-VC(Joint Collaborative Team on Video Coding)를 2010년 1월 팀을 조직, 2010년 4월 독일 드레스덴에서 열린 제 1회 JCT-VC 회의를 시작으로 표준화를 진행 중에 있다. 2013년 1월 25일, ITU는 스위스 제네바에서 HEVC를 차세대 최종 표준안으로 승인하였고 메인 프로파일(Main profile)의 내용은 확정, 이를 기반으로 크기 가변적 비디오 코딩(Scalable Video coding)과 3D 비디오 코딩 기술이 각각 표준화 진행 중에 있다. HEVC는 압축 효율 향상을 위해 CU(Coding Unit), PU(Prediction Unit), TU (Transform Unit)을 포함하는 계층적 블록 구조 [5] [6] [7] 를 가진다. CU는 그림 1 (a)와 같이 깊이에 따른 계층적 분리 구조를 갖는 기본적인 코딩 단위로, 최대 깊이 4인 64x64 크기의 LCU부터 깊이 1의 8x8 CU까지 정의 되어있다. 이는 인터/인트라 예측 방법에 그림 1 (b)와 같이 나뉘며 예측을 수행하는 단위인 PU는 인트라 예측에서 CU의 크기를 기준으로 2Nx2N과 NxN의 형태를 가지고, NxN PU의 경우 8x8 CU에서만 적용이 된다. 변환과 양자화의 기준이 되는 TU는 정의된 깊이에 따라 분리가 되며 32x32부터 4x4까지의 크기를 갖는다. 이 구조에 따라, 인트라 코딩에서도 예측 블록을 형성하기 위해 이미 복원된 주위의 블록으로부터 참조 화소를 구하게 된다. 이는 화소 간의 거리를 고려하지 않고 방향성만을 고려하기 때문에 공간적 중복성 제거에 어려움이 있을 수 있다. 이 문제를 해결하기위해 현재 블록 내 화소 또한 참조 화소로 이용하는 화소 단위 DPCM을 사용할 수 있다. 기존 제안한 방법은 인접한 화소를 이용하면서도 블록 단위 처리가 가능한 잔차 변환(Residual DPCM) [17] 과 제 2차 잔차 변환을 하는 방법(Secondary Residual Transform) [20] 을 제안하여 무손실 압축의 성능향상을 가져왔다. 본 논문에서는 기존 제안한 방법을 개선한 방법으로 예측 방향에 따라 잔차 신호를 교차시키는 CR-DPCM 방법을 추가하여 성능 개선을 가져오는 방법을 제시한다. 본 논문의 구성은, 2장에서는 기존 HEVC에서의 인트라 예측 방식에 대해 설명하고 그에 따른 개선 방향을 알아보며, 3장에서는 기존에 제안되었던 방법인 제 2차 잔차 변환(Secondary Residual Transform)을 설명하고 이를 개선한 CR-DPCM 방법을 제안하며, 4장에서는 제안하는 방식의 성능 측정을 보이며, 마지막 5장에서는 결론을 기술한다. HEVC에서는 부호화 단위를 CU(Coding Unit)으로 정의하며 깊이에 따라 64x64, 32x32, 16x16, 8x8의 크기를 가질 수 있다. 각 CU에 따라 인트라 예측을 수행하기 위해 PU(Prediction Unit)를 가지게 되는데, CU 크기와 동일한 2Nx2N의 크기의 PU를 가지며 8x8 CU에 대해서는 예외적으로 NxN크기의 PU, 즉 4x4크기의 PU를 가질 수 있다. HEVC에서는 블록 크기와 상관없이 예측을 위해 그림 2 와 같이 방향성에 따라 다양한 형태의 모드를 지원하는데, Luma 성분에서는 35가지의 모드를 지원하며, Chroma 성분에서는 6가지의 모드를 지원한다 [8 - 13] . 그림 2 에서 표현된 방향에 따른 모드 외에도 Luma, Chroma 성분에 공통적으로 적용되는 planar 모드와 DC 모드, Chroma 성분에만 적용되는 LM 모드 (Intra_fromLuma)가 있다. 0번 인덱스를 가지는 planar 모드는 참조영역 우측 상단의 인접화소와 참조 영역 좌측 하단의 인접화소를 각각 참조영역 좌측 화소들과 상단 화소들에 보간을 하여서 예측 값을 얻고, 예측값들의 평균을 구하여 최종 예측 화소로 활용되는 예측 방식이다. 1번 인덱스의 DC 모드는 종전의 H.264/AVC [14] 에서 사용하였던 것과 마찬가지로 참조영역 상단과 좌측 화소들의 평균값을 구하여 예측 샘플로 활용하는 방식이다. Chroma 성분에서만 사용 되는 LM 모드(intra_fromLuma)는 Chroma 성분과 Luma 성분의 상관관계를 활용하여 이미 복원된 주변의 Luma 성분과 Choma 성분의 관계로 매개변수를 추출하여 현재 PU 내의 Luma 성분에 반영하여 Chroma 성분을 예측하는 방식이다. Luma 성분과 다르게 Chroma 성분의 경우는 그림 2 에 나타낸 모든 방향성을 사용하지 않으며 planar 모드, DC 모드, 수평 방향, 수직 방향, LM 모드, DM 모드 (현재 PU 내의 Luma 성분과 동일한 모드를 사용) 만을 예측에 사용한다. 방향성을 가지는 (2~34번 모드) 예측에 대한 예시로 수직 방향 (모드 26)에서의 예측을 보면, 현재 블록과 인접한 상단, 우측 상단, 좌측, 좌측 하단의 화소를 참조 화소로 가지게 되며 모드의 방향성을 고려하면 현재 블록의 상단 인접 화소를 참조하게 된다. 현재 블록 내의 화소와 상단 인접 화소와의 차를 구하여 잔차 신호를 구하게 되는데 그림 2 를 참조하여 첫 번째 열의 잔차 신호 생성 식을 보면 다음과 같다. 내의 화소와 상단 인접 화소와의 차를 구하여 잔차 신호를 구하게 되는데 그림 3 를 참조하여 첫 번째 열의 잔차 신호 생성 식을 보면 다음과 같다. 식 (1)에서의 잔차 신호 r은 무손실 동영상 압축 시, 변환과 양자화를 거치지 않고 엔트로피 코딩을 거쳐서 디코더로 전송이 되게 되며, 디코더 측에서는 전송받은 잔차 신호를 이용하여 블록 단위의 처리 구조로 복원을 하게 된다. 그림 2 에서 보이는 다른 모드들도 역시 유사한 방식으로 예측이 수행되게 되며 이러한 과정의 특성에 따라 참조 화소와 현재 블록 내의 화소간의 거리는 고려되지 않는다. 이로 인하여 특히 무손실 동영상 압축에서는 변환과 양자화를 거치지 않기 때문에 잔차 신호의 크기가 압축 효율에 큰 영향을 미친다. 기존 제안했던 방법은 크게 2가지로 나뉘며 잔차 변환(Residual DPCM)과 2차 잔차 변환(Secondary Residual Transform)으로 나뉜다. 이는 기존의 방법에서 개선한 방법으로 성능 향상을 가져온 방법으로 CR-DPCM 방법을 사용한 것으로 충분한 설명을 위해 간략하게 설명한다. 기존의 공간적 예측 방식은 참조 화소와 현재 블록 내의 화소의 거리에 관계없이 수행된다. 따라서 참조 화소와 현재 블록 내의 화소간의 거리가 멀어질수록 유사성이 떨어지면서 잔차 신호가 커질 확률이 높아지게 된다. 이러한 문제점을 해결하기 위해 현재 블록 내의 인접화소를 참조하면서 블록 단위 코딩을 해치지 않는 잔차 변환(residual transform)을 사용할 수 있다 [15 - 18] . 여기서 제안된 방법은 코딩의 효율과 복잡도를 고려하여, 정수 단위 화소를 참조하면서 모드 선택 확률이 높은 수평 방향 (모드 10)과 수직 방향 (모드 26)만을 잔차 변환에서 활용하며, 두 방향에 대해서는 기존 HEVC의 예측 방식만 사용하는 방법은 적용되지 않는다. 수평 방향 (모드 10)과 수직 방향 (모드 26)을 제외한 방향성을 지닌 나머지 모드들의 경우, 다양한 크기의 예측 블락에 대해 항상 정수 단위의 화소만 참조하지 않아 정확한 화소 단위 예측을 위해서는 예측시마다 보간과정을 거치기 때문에 복잡도가 크게 증가하게 된다. 예시는 수평 방향(모드 26) 예측에서의 잔차 변환에 대해서만 설명하며 수평방향(모드 10)인 경우 수평과 수직의 방향의 변경 외에는 동일한 과정을 가진다. 식 (1)로 표현되는 HEVC에서의 수직 방향(모드 26) 예측과 다르게, 수직 방향에서의 NxN블록의 첫 번째 열에 대한 화소 단위 DPCM은 다음과 같이 계산 될 수 있다. 식 (2)에서의 r′ 0,0, r′ 1,0, r′ 2,0과 r′ N-1,0는 화소 단위 DPCM을 수행하여 결과로 얻어진 잔차 신호를 뜻하며, 인코더에서 위 잔차 신호를 블록 단위로 전송을 하게 된다. 디코더 측에서는 전송받은 잔차 신호를 식 (2)와 동일하게 계산을 하여 복원을 적용할 수 있지만, 화소 단위 DPCM의 특성상 이전 화소의 복원이 이루어져야 현재 화소의 복원이 진행이 되어 블록 단위 처리 구조를 해치게 된다. 예를 들면, 식 (2)와 같이 수직 방향에서 p2,0을 복원하기 위해서는 p1,0이 복원되어야 하고, p1,0이 복원되기 위해서는 p0,0이 복원되어야 한다. 블록 단위 처리 구조가 되지 않는 디코더 측에서의 문제를 해결하기 위해, 우리는 디코더에서 잔차 변환을 적용하였으며, 잔차 변환은 아래와 같이 전송 받은 잔차 신호를 이용하여 구할 수 있다. 또한 위의 식 (3)을 일반화 하여, 아래와 같은 NxN 블록 첫 번째 열의 관계식을 얻을 수 있다. 위와 같은 과정을 통해 인코더와 디코더의 잔차 신호의 DPCM 과정을 가로방향과 세로방향인 모드 10번과 모드 26번에 적용하는 방법이 잔차 변환(Residual DPCM)이다. 잔차 변환의 경우, 현재 화소와 인접한 화소 값의 차이가 크지 않다는 공간적 중복의 특성을 이용하는 방법이다. 이러한 공간적 특성에 대해 더 관찰해 본 결과, 현재 블록 내에서 예측 방향을 따라 인접한 화소 간의 값의 차이가 일정하게 증가하거나 감소하는 경우를 발견하였다. 일반적으로 말해서, 현재 블록 내 화소 간의 값이 등차수열과 유사한 형태를 보이는 것이다. 이에 따라, 등차수열의 형태를 보이는 블록에 대해서 잔차 변환을 수행 후, 재차 동일한 방법의 잔차 변환(Secondary Residual Transform)을 수행할 경우 코딩효율을 약간 향상 시킬 수 있었다. 기존의 예측과 같이 수평 방향 혹은 수직 방향에 대해 기존 HEVC의 예측을 수행 한 후, 잔차 변환을 수행하여 얻은 잔차 신호로 이루어진 잔차 블록에 대해 한번을 더 잔차 변환을 수행하여 잔차 신호를 얻어 내는 것이 제2차 잔차 변환(Secondary Residual Transform)이며 첫 번째 열에 대한 제 2차 잔차 변환은 식 (2)를 기반으로 다음과 같은 식으로 표현할 수 있다. 식 (7)에서 r"0,0, r"1,0, .... r"N-1,0는 잔차 변환을 한번 수행하여 얻어낸 r’0,0, r’1,0, .... r’N-1,0로 구성된 잔차 변환에 한번을 더 잔차 변환을 적용하고, 즉 2차 잔차 변환을 수행하여 얻어낸 잔차 신호이다. 이와 같이 잔차 변환을 수행한 결과를 다시 잔차 신호로 재 생성하는 방법이 제 2차 잔차 변환(SR-DPCM)이다. 이는 인코더와 디코더가 동일한 과정을 통해서 양쪽에 동일한 값을 얻을 수 있는 무손실 압축 방법이다. 제안하는 CR-DPCM 방법은 2차 잔차 변환을 개선한 방법으로 2차 잔차 변환을 할 때 방향을 달리 하는 방법이다. 즉, 2차 변환과정에서와 같이 동일한 방향의 변환이 아닌 잔차 변환 이후의 변환인 경우 다른 방향의 변환 방향을 가지는 방법이다. 그림 4 에서와 같이 잔차 신호의 생성에서 2차로 진행되는 잔차 신호 생성에 있어서 가로 방향의 DPCM인 경우는 2차 잔차 신호의 경우 세로 방향의 잔차 신호를 생성하는 과정을 거친다. 이와 같은 과정을 통해 2차 잔차 신호 생성 방법인 SR-DPCM 방법보다 잔차 신호가 더욱 줄어드는 성능 향상을 가져온다. 아래 그림 4 와 같은 예와 같은 경우 성능 향상을 가져오는 것을 볼 수 있다. 그림 5 와 그림 6 은 제안하는 방법의 인코더/디코더의 순서도이다. 그림과 같이 CR-DPCM의 경우 DPCM과 비교하여 성능 향상을 가져오는 경우 1비트의 flag 비트를 전송하는 과정을 거친다. 이 과정에서 수평방향의 모드 10과 수직 방향의 모드 26번을 제외한 모든 모드의 경우는 모두 기존 HEVC와 동일한 인트라 예측 방법을 사용한다. 수직방향 혹은 수평방향의 모드가 결정되는 경우는 그림 4 와 같은 과정을 거치고 수평인 경우는 수평 DPCM 후 수직 방향의 CR-DPCM과정, 수직인 경우는 수직 DPCM 후 수평 방향의 CR-DPCM 과정을 거쳐서 DPCM만 한 경우와 CRDPCM을 하지 않은 한 경우를 비교 잔차 신호가 적은 과정을 선택적으로 사용한다. 여기서 선택한 경우를 알기위한 flag 비트 1비트가 사용된다. 제안하는 방법은 이와 같이 기존의 DPCM 방법과 SR-DPCM 방법을 추가적으로 응용하여 성능 향상을 가져온 방법으로 최적의 잔차 신호의 양을 찾는 방법을 선택적으로 사용하여 전체 인코더와 디코더의 부호화 성능을 향상시키는 방법이다. 본 논문에서 제안하는 CR-DPCM 무손실 압축 방법은 HEVC 참조 소프트웨어인 HM 7.0에서 구현되었으며, HEVC의 공통 실험조건 [19] 에 맞추어 실행하였다. 실험 결과의 비교를 위하여 기존에 제안했던 방법인 잔차 변환(DPCM) 방법 [15] 과 제 2차 잔차 변환(SR-DPCM) [20] 및 제안하는 방법(CR-DPCM)과의 결과를 비교하고, 추가적으로 JPEG2000과의 압축률을 함께 비교한다. 코딩 구조는 Allintra로 설정 되었으며 무손실 동영상 압축을 위해 QP는 0, LosslessCuEnabled를 1로 설정하여 변환과 양자화를 수행하지 않는 lossless mode로 설정하였다. 공통 실험조건에 명시된 영상의 분류는 영상의 해상도에 따라 클래스로 구분되며 클래스 A는 2560x1600, 클래스 B는 1920x1080, 클래스 C는 832x480, 클래스 D는 416x240, 클래스 E와 F는 1280x720의 해상도를 가진다. 각 클래스의 영상과 영상의 총 프레임 수, 초당 프레임 수는 표 1 에 명시하였다. 실험결과에서 무손실 압축에서는 변환 및 양자화를 수행하지 않기 때문에 HM 7.0과 제안된 기술 모두 RQT의 depth는 1로 설정되며 bit rate를 기준으로 압축 효율을 나타내었다. 표 2 는 각 영상 클래스 별로 bit rate를 합하여 기존의 방식과 제안하는 방식의 bit rate가 감소된 비율로 비교를 한 것이다. 표 2 에서는 실험 결과를 나타낸다. 실험 결과는 잔차 변환(DPCM)방법과 2차 잔차 변환 방법(SR-DPCM) 및 제안하는 방법(CR-DPCM)과의 실험 결과를 모두 비교 한다. 첫 번째 방법인 잔차 변환 방법에서는 평균 6.12%의 압축효율을 보였으며, 2차 잔차 변환 방법에서는 6.45%로 조금의 성능 향상을 보이고, 본 논문에서 제안하는 방법인 CR-DPCM 방법은 평균 8.43%의 압축 효율을 보이며 기존에 제안한 방법들 보다 더욱 좋은 성능을 보였다. 특히 Class A에서는 11.3%, Class F에서는 10.11%로 영상의 가장 높은 성능을 가진다. 표 3 의 실험 결과는 기존에 널리 알려진 무손실 압축 방법인 JPEG2000의 기술과 제안하는 방법과의 압축률을 비교한 것으로 평균 압축률로 JPEG2000에서는 2.70 제안하는 방법은 2.78의 압축률을 나타내며 조금 더 좋은 성능을 보인다. 실험 결과에 따른 인코딩 시간인 경우 17%가 증가하였으나, 이는 현재 HM의 참조소프트웨어의 구현상 RD-cost 비교 과정을 추가로 진행하기 때문에 증가하는 복잡도이며, RD-cost 비교 과정의 후보군을 줄임으로써 향후 복잡도 감소가 가능하다. 또한, 평균 디코딩 시간의 경우 HM 대비 9%가 줄었는데, 이는 인트라 예측 시, 정수 화소를 참조하여 따로 화소간의 보간 방법을 하지 않아도 되는 수평 방향과 수직 방향의 선택비율이 증가함에 따라 복잡도가 감소한다. 잔차 변환(RDPCM)과 제 2차 잔차 변환(SR-DPCM)을 개선한 방법으로 교차 변환 방법인 CR-DPCM 방법을 통한 무손실 예측 방법을 제안하였다. 제안하는 예측 방법은 기존 HEVC의 블록 단위 처리 구조를 해하지 않으면서 성능 향상을 가질 수 있다. HEVC에서 제안하는 CR-DPCM 방법을 적용하면 평균 약 8.43%의 성능 향상을 보이며, 이는 기존의 방법인 제 2차 잔차 변환 방법의 성능 결과인 6.45%보다 약 2%의 추가 성능 향상을 가진다. 홍 성 욱 - 2009년 2월 : 세종대학교 인터넷공학과 (학사) - 2011년 2월 : 세종대학교 컴퓨터공학과 (석사) - 2011년 3월 ~ 현재 : 세종대학교 컴퓨터공학과 (박사과정) - 주관심분야 : HEVC(High Efficiency Video Coding), H.264/AVC, Image compression, Image processing 이 영 렬 - 1985년 2월 : 서강대학교 전자공학과 (학사) - 1987년 2월 : 서강대학교 전자공학과 (석사) - 1999년 2월 : 한국과학기술원 전기·전자공학과 (박사) - 1987년 1월 ∼ 1994년 2월 : 삼성전자 R&D 센터 Digital Media Lab. - 1999년 3월 ∼ 2001년 8월 : 삼성전자 R&D 센터 Digital Media Lab. 수석연구원 - 2001년 9월 ∼ 현재 : 세종대학교 전자정보대학 컴퓨터공학부 컴퓨터공학과 교수 - 주관심분야 : HEVC(High Efficiency Video Coding), Scalable Video Coding(SVC), Multi-view video coding(MVC), MPEG video compression, Multimedia(MPEG) systems, H.264/AVC, Image compression, Frame rate up-conversion, Multimedia data(A/V/System) over IP, Embeded system for A/V transport, Transcoding