Algorithms & implementation of advanced video coding standards

Advanced video coding standards have become widely deployed coding techniques used in numerous products, such as broadcast, video conference, mobile television and blu-ray disc, etc. New compression techniques are gradually included in video coding standards so that a 50% compression rate reduction is achievable every five years. However, the trend also has brought many problems, such as, dramatically increased computational complexity, co-existing multiple standards and gradually increased development time. To solve the above problems, this thesis intends to investigate efficient algorithms for the latest video coding standard, H.264/AVC. Two aspects of H.264/AVC standard are inspected in this thesis: (1) Speeding up intra4x4 prediction with parallel architecture. (2) Applying an efficient rate control algorithm based on deviation measure to intra frame. Another aim of this thesis is to work on low-complexity algorithms for MPEG-2 to H.264/AVC transcoder. Three main mapping algorithms and a computational complexity reduction algorithm are focused by this thesis: motion vector mapping, block mapping, field-frame mapping and efficient modes ranking algorithms. Finally, a new video coding framework methodology to reduce development time is examined. This thesis explores the implementation of MPEG-4 simple profile with the RVC framework. A key technique of automatically generating variable length decoder table is solved in this thesis. Moreover, another important video coding standard, DV/DVCPRO, is further modeled by RVC framework. Consequently, besides the available MPEG-4 simple profile and China audio/video standard, a new member is therefore added into the RVC framework family. A part of the research work presented in this thesis is targeted algorithms and implementation of video coding standards. In the wide topic, three main problems are investigated. The results show that the methodologies presented in this thesis are efficient and encourage

Architectures for Adaptive Low-Power Embedded Multimedia Systems

This Ph.D. thesis describes novel hardware/software architectures for adaptive low-power embedded multimedia systems. Novel techniques for run-time adaptive energy management are proposed, such that both HW & SW adapt together to react to the unpredictable scenarios. A complete power-aware H.264 video encoder was developed. Comparison with state-of-the-art demonstrates significant energy savings while meeting the performance constraint and keeping the video quality degradation unnoticeable

System-on-Chip design of a high performance low power full hardware cabac encoder in H.264/AVC

Ph.DDOCTOR OF PHILOSOPH

Full RDO를 사용하는 HEVC 하드웨어를 위한 Rate Control 알고리듬의 개선과 구현

학위논문 (박사)-- 서울대학교 대학원 : 전기·컴퓨터공학부, 2015. 2. 채수익.HM 인코더에서 적용된 coding tree unit (CTU) 수준의 rate control을 적용하면, rate control을 적용하지 않았을 경우에 비해서 코딩 효율이 나빠져 Bjøntegaard-delta rate (BD rate)가 약 4.14 % 증가한다. 그리고 HM 인코더에서는 rate control 알고리듬이 floating point로 구현되어 있어 HW 구현에 적합하지 않다. 그래서 이 논문은 HEVC의 reference SW인 HM 인코더에 적용되어 있는 rate control 알고리듬의 코딩 효율을 개선한 내용과, HW 구현에 적합하게 수정하고 내용을 설명한 후에, 수정된 rate control 알고리듬의 HW 구현에 대해서 기술한다. 이 논문의 기여는 picture 수준의 bit 할당 방법 개선, HW 구현에 적합한 full RD cost의 사용, log를 취한 log R-log λ model의 도입, 그리고 개선한 rate control 알고리듬의 HW 구현이다. HM 인코더의 rate control에서 picture 수준의 bit 할당은 이미지 시퀀스에 따라서 이미지 후반부에 bit rate이 부족하여 picture의 peak signal-to-noise ratio (PSNR)이 급격히 떨어지는 현상을 보인다. 이 현상을 완화하기 위하여 전체 이미지 시퀀스에서 target bit 할당을 이미지 초반부에 bit을 조금 덜 할당하여 이미지 시퀀스 후반부에 좀 더 bit을 할당하여 이미지 시퀀스 후반에 PSNR이 떨어지는 현상을 완화시키도록 picture 수준 bit 할당을 위한 수정된 알고리듬을 제안한다. 그리고 transform & full RDO & reconstruction을 위한 pipeline stage에서 full RD cost를 이용한 rate distortion optimization (RDO)을 사용한다고 가정한다. 이 pipeline stage에서 full RD cost 계산하는 HW 구현을 위하여 두 가지 기법을 사용했다. 첫째로 rate control의 코딩 효율을 높이기 위해서, CTU별 λ가 아닌 picture의 평균 λ를 이용하여 인코딩을 수행하였다. 둘째로 full RD cost 계산의 HW 복잡도를 줄이기 위해서 quantization step size (Qstep)의 제곱으로 나눈 normalized full RD cost를 사용하여 full RD cost의 dynamic range를 크게 줄였다. HM 인코더에서 rate control의 R-λ model은 floating point로 구현이 되어 있고 지수 연산을 이용하기 때문에 HW 구현에 적합하지 않다. 그래서 R-λ model을, 선형 연산을 이용할 수 있고 HW 구현에 적합하도록, log를 취하여 log R-log λ model로 변형하였다. HM 인코더에서 사용하는 R-D model인 hyperbolic model의 parameter update할 때 log를 취한 model parameter의 update의 근사이기 때문에 log R-log λ model을 이용하였을 때 코딩 효율이 오히려 조금 좋아졌다. 그리고 rate과 관련된 변수들의 log domain과 real domain에서의 값 변환을 위해서 look-up table (LUT)을 이용한 log2와 anti-log2를 구현하였다. 또한 나눗셈 연산도 LUT을 이용하여 HW의 복잡도를 줄여 구현하였다. 제안하는 rate control 방법의 효용성을 5개의 1080p 이미지 시퀀스 Kimono, ParkScene, Cactus, BasketballDrive, BQTerrace에 대하여 인코딩 결과로 판단했다. 인코딩 환경은 common test condition의 random access (RA) configuration으로 TU split을 지원하지 않도록 하여 maximum TU depth를 1로 설정하였다. Rate control의 target rate은 rate control을 사용하지 않고 QP 22, 27, 32, 37로 인코딩한 경우에 발생한 rate들로 정하였다. 이 조건에서 개선한 rate control 알고리듬은 HM 인코더에 적용된 CTU-level rate control의 Y-BD rate 4.14 %를 1.99 %로 감소시킨다. 그리고 후반에 PSNR이 떨어지는 현상을 줄여서 minimum PSNR을 평균 0.11 dB 향상 시켰고 특히 ParkScene 이미지 시퀀스에서는 최대 1.58 dB까지 향상시켰다. 제안한 rate control algorithm을 HW로 GOP, picture, CTU level을 모두 지원하도록 구현했는데, 그 전체 복잡도는 27.5 kgate이고 추가로 32 KB의 메모리가 필요하다. Rate control의 수행에 필요한 cycle budget은 CTU당 4 cycle로 4K 30 fps를 400 MHz에 수행한다고 하였을 경우에 0.06 %의 overhead에 해당하며 전체 인코딩 과정의 영향을 거의 주지 않는 수준이다.제 1 장 서 론 1 1.1 연구의 배경 2 1.2 관련 연구 7 1.3 전체 논문의 구성 12 제 2 장 HEVC HW 인코더의 pipeline 구성 13 2.1 가정하는 HEVC HW 인코더의 pipeline 구성 13 2.2 가정하는 HW 구조의 코딩 효율 저하 17 2.3 Full RD cost 예측기 HW 구현의 개요 20 제 3 장 HEVC의 CTU-level Rate control의 알고리듬 설명 23 3.1 HM 인코더의 CTU-level rate control 전체 과정 23 3.2 Target bit allocation 25 3.3 λ and QP calculation 32 3.4 Encoding 35 3.5 Model parameter update 35 제 4 장 HEVC의 CTU-level Rate control의 알고리듬의 코딩 효율 개선 39 4.1 Rate control의 실험 환경과 HM 인코더의 실험 결과 39 4.2 Bit saving을 이용한 Picture-level bit allocation 43 4.3 Picture의 평균 λ를 이용한 rate control의 코딩 효율 개선 50 4.4 Full RDO에서 이용하는 normalized RD cost 51 제 5 장 HEVC의 CTU-level Rate control의 HW 구현 57 5.1 HW 구현을 위한 log를 취한 log R-log λ model 58 5.2 HW 구현을 위한 GOP의 picture별 target rate 계산 방법 62 5.3 HW 구현을 위한 model parameter update 68 5.4 Rate control의 HW 구현을 위한 fixed point 연산과 LUT 사용 70 5.5 Rate control의 HW 구현과 HW 인코더에서의 rate control의 동작 75 제 6 장 결 론 81 참고 문헌 83 Abstract 87Docto

IMPLEMENTASI HEVC CODEC PADA PLATFORM BERBASIS FPGA

High Efficiency Video Coding (HEVC) telah di desain sebagai standar baru untuk beberapa aplikasi video dan memiliki peningkatan performa dibanding dengan standar sebelumnya. Meskipun HEVC mencapai efisiensi coding yang tinggi, namun HEVC memiliki kekurangan pada beban pemrosesan tinggi dan loading yang berat ketika melakukan proses encoding video. Untuk meningkatkan performa encoder, kami bertujuan untuk mengimplementasikan HEVC codec pada Zynq 7000 AP SoC. Kami mencoba mengimplementasikan HEVC menggunakan tiga desain sistem. Pertama, HEVC codec di implementasikan pada Zynq PS. Kedua, encoder HEVC di implementasikan dengan hardware/software co-design. Ketiga, mengimplementasikan sebagian dari encoder HEVC pada Zynq PL. Pada implementasi kami menggunakan Xilinx Vivado HLS untuk mengembangkan codec. Hasil menunjukkan bahwa HEVC codec dapat di implementasikan pada Zynq PS. Codec dapat mengurangi ukuran video dibanding ukuran asli video pada format H.264. Kualitas video hampir sama dengan format H.264. Sayangnya, kami tidak dapat menyelesaikan desain dengan hardware/software co-design karena kompleksitas coding untuk validasi kode C pada Vivado HLS. Hasil lain, sebagian dari encoder HEVC dapat di implementasikan pada Zynq PL, yaitu HEVC 2D IDCT. Dari implementasi kami dapat mengoptimalkan fungsi loop pada HEVC 2D dan 1D IDCT menggunakan pipelining. Perbandingan hasil antara pipelining inner-loop dan outer-loop menunjukkan bahwa pipelining di outer-loop dapat meningkatkan performa dilihat dari nilai latency

Algoritmo de estimação de movimento e sua arquitetura de hardware para HEVC

Doutoramento em Engenharia EletrotécnicaVideo coding has been used in applications like video surveillance, video conferencing, video streaming, video broadcasting and video storage. In a typical video coding standard, many algorithms are combined to compress a video. However, one of those algorithms, the motion estimation is the most complex task. Hence, it is necessary to implement this task in real time by using appropriate VLSI architectures. This thesis proposes a new fast motion estimation algorithm and its implementation in real time. The results show that the proposed algorithm and its motion estimation hardware architecture out performs the state of the art. The proposed architecture operates at a maximum operating frequency of 241.6 MHz and is able to process 1080p@60Hz with all possible variables block sizes specified in HEVC standard as well as with motion vector search range of up to ±64 pixels.A codificação de vídeo tem sido usada em aplicações tais como, vídeovigilância, vídeo-conferência, video streaming e armazenamento de vídeo. Numa norma de codificação de vídeo, diversos algoritmos são combinados para comprimir o vídeo. Contudo, um desses algoritmos, a estimação de movimento é a tarefa mais complexa. Por isso, é necessário implementar esta tarefa em tempo real usando arquiteturas de hardware apropriadas. Esta tese propõe um algoritmo de estimação de movimento rápido bem como a sua implementação em tempo real. Os resultados mostram que o algoritmo e a arquitetura de hardware propostos têm melhor desempenho que os existentes. A arquitetura proposta opera a uma frequência máxima de 241.6 MHz e é capaz de processar imagens de resolução 1080p@60Hz, com todos os tamanhos de blocos especificados na norma HEVC, bem como um domínio de pesquisa de vetores de movimento até ±64 pixels