Full RDO를 사용하는 HEVC 하드웨어를 위한 Rate Control 알고리듬의 개선과 구현

학위논문 (박사)-- 서울대학교 대학원 : 전기·컴퓨터공학부, 2015. 2. 채수익.HM 인코더에서 적용된 coding tree unit (CTU) 수준의 rate control을 적용하면, rate control을 적용하지 않았을 경우에 비해서 코딩 효율이 나빠져 Bjøntegaard-delta rate (BD rate)가 약 4.14 % 증가한다. 그리고 HM 인코더에서는 rate control 알고리듬이 floating point로 구현되어 있어 HW 구현에 적합하지 않다. 그래서 이 논문은 HEVC의 reference SW인 HM 인코더에 적용되어 있는 rate control 알고리듬의 코딩 효율을 개선한 내용과, HW 구현에 적합하게 수정하고 내용을 설명한 후에, 수정된 rate control 알고리듬의 HW 구현에 대해서 기술한다. 이 논문의 기여는 picture 수준의 bit 할당 방법 개선, HW 구현에 적합한 full RD cost의 사용, log를 취한 log R-log λ model의 도입, 그리고 개선한 rate control 알고리듬의 HW 구현이다. HM 인코더의 rate control에서 picture 수준의 bit 할당은 이미지 시퀀스에 따라서 이미지 후반부에 bit rate이 부족하여 picture의 peak signal-to-noise ratio (PSNR)이 급격히 떨어지는 현상을 보인다. 이 현상을 완화하기 위하여 전체 이미지 시퀀스에서 target bit 할당을 이미지 초반부에 bit을 조금 덜 할당하여 이미지 시퀀스 후반부에 좀 더 bit을 할당하여 이미지 시퀀스 후반에 PSNR이 떨어지는 현상을 완화시키도록 picture 수준 bit 할당을 위한 수정된 알고리듬을 제안한다. 그리고 transform & full RDO & reconstruction을 위한 pipeline stage에서 full RD cost를 이용한 rate distortion optimization (RDO)을 사용한다고 가정한다. 이 pipeline stage에서 full RD cost 계산하는 HW 구현을 위하여 두 가지 기법을 사용했다. 첫째로 rate control의 코딩 효율을 높이기 위해서, CTU별 λ가 아닌 picture의 평균 λ를 이용하여 인코딩을 수행하였다. 둘째로 full RD cost 계산의 HW 복잡도를 줄이기 위해서 quantization step size (Qstep)의 제곱으로 나눈 normalized full RD cost를 사용하여 full RD cost의 dynamic range를 크게 줄였다. HM 인코더에서 rate control의 R-λ model은 floating point로 구현이 되어 있고 지수 연산을 이용하기 때문에 HW 구현에 적합하지 않다. 그래서 R-λ model을, 선형 연산을 이용할 수 있고 HW 구현에 적합하도록, log를 취하여 log R-log λ model로 변형하였다. HM 인코더에서 사용하는 R-D model인 hyperbolic model의 parameter update할 때 log를 취한 model parameter의 update의 근사이기 때문에 log R-log λ model을 이용하였을 때 코딩 효율이 오히려 조금 좋아졌다. 그리고 rate과 관련된 변수들의 log domain과 real domain에서의 값 변환을 위해서 look-up table (LUT)을 이용한 log2와 anti-log2를 구현하였다. 또한 나눗셈 연산도 LUT을 이용하여 HW의 복잡도를 줄여 구현하였다. 제안하는 rate control 방법의 효용성을 5개의 1080p 이미지 시퀀스 Kimono, ParkScene, Cactus, BasketballDrive, BQTerrace에 대하여 인코딩 결과로 판단했다. 인코딩 환경은 common test condition의 random access (RA) configuration으로 TU split을 지원하지 않도록 하여 maximum TU depth를 1로 설정하였다. Rate control의 target rate은 rate control을 사용하지 않고 QP 22, 27, 32, 37로 인코딩한 경우에 발생한 rate들로 정하였다. 이 조건에서 개선한 rate control 알고리듬은 HM 인코더에 적용된 CTU-level rate control의 Y-BD rate 4.14 %를 1.99 %로 감소시킨다. 그리고 후반에 PSNR이 떨어지는 현상을 줄여서 minimum PSNR을 평균 0.11 dB 향상 시켰고 특히 ParkScene 이미지 시퀀스에서는 최대 1.58 dB까지 향상시켰다. 제안한 rate control algorithm을 HW로 GOP, picture, CTU level을 모두 지원하도록 구현했는데, 그 전체 복잡도는 27.5 kgate이고 추가로 32 KB의 메모리가 필요하다. Rate control의 수행에 필요한 cycle budget은 CTU당 4 cycle로 4K 30 fps를 400 MHz에 수행한다고 하였을 경우에 0.06 %의 overhead에 해당하며 전체 인코딩 과정의 영향을 거의 주지 않는 수준이다.제 1 장 서 론 1 1.1 연구의 배경 2 1.2 관련 연구 7 1.3 전체 논문의 구성 12 제 2 장 HEVC HW 인코더의 pipeline 구성 13 2.1 가정하는 HEVC HW 인코더의 pipeline 구성 13 2.2 가정하는 HW 구조의 코딩 효율 저하 17 2.3 Full RD cost 예측기 HW 구현의 개요 20 제 3 장 HEVC의 CTU-level Rate control의 알고리듬 설명 23 3.1 HM 인코더의 CTU-level rate control 전체 과정 23 3.2 Target bit allocation 25 3.3 λ and QP calculation 32 3.4 Encoding 35 3.5 Model parameter update 35 제 4 장 HEVC의 CTU-level Rate control의 알고리듬의 코딩 효율 개선 39 4.1 Rate control의 실험 환경과 HM 인코더의 실험 결과 39 4.2 Bit saving을 이용한 Picture-level bit allocation 43 4.3 Picture의 평균 λ를 이용한 rate control의 코딩 효율 개선 50 4.4 Full RDO에서 이용하는 normalized RD cost 51 제 5 장 HEVC의 CTU-level Rate control의 HW 구현 57 5.1 HW 구현을 위한 log를 취한 log R-log λ model 58 5.2 HW 구현을 위한 GOP의 picture별 target rate 계산 방법 62 5.3 HW 구현을 위한 model parameter update 68 5.4 Rate control의 HW 구현을 위한 fixed point 연산과 LUT 사용 70 5.5 Rate control의 HW 구현과 HW 인코더에서의 rate control의 동작 75 제 6 장 결 론 81 참고 문헌 83 Abstract 87Docto

Design of microprocessor-based hardware for number theoretic transform implementation

Number Theoretic Transforms (NTTs) are defined in a finite ring of integers Z (_M), where M is the modulus. All the arithmetic operations are carried out modulo M. NTTs are similar in structure to DFTs, hence fast FFT type algorithms may be used to compute NTTs efficiently. A major advantage of the NTT is that it can be used to compute error free convolutions, unlike the FFT it is not subject to round off and truncation errors. In 1976 Winograd proposed a set of short length DFT algorithms using a fewer number of multiplications and approximately the same number of additions as the Cooley-Tukey FFT algorithm. This saving is accomplished at the expense of increased algorithm complexity. These short length DFT algorithms may be combined to perform longer transforms. The Winograd Fourier Transform Algorithm (WFTA) was implemented on a TMS9900 microprocessor to compute NTTs. Since multiplication conducted modulo M is very time consuming a special purpose external hardware modular multiplier was designed, constructed and interfaced with the TMS9900 microprocessor. This external hardware modular multiplier allowed an improvement in the transform execution time. Computation time may further be reduced by employing several microprocessors. Taking advantage of the inherent parallelism of the WFTA, a dedicated parallel microprocessor system was designed and constructed to implement a 15-point WFTA in parallel. Benchmark programs were written to choose a suitable microprocessor for the parallel microprocessor system. A master or a host microprocessor is used to control the parallel microprocessor system and provides an interface to the outside world. An analogue to digital (A/D) and a digital to analogue (D/A) converter allows real time digital signal processing