Intra Coding Strategy for Video Error Resiliency: Behavioral Analysis

One challenge in video transmission is to deal with packet loss. Since the compressed video streams are sensitive to data loss, the error resiliency of the encoded video becomes important. When video data is lost and retransmission is not possible, the missed data should be concealed. But loss concealment causes distortion in the lossy frame which also propagates into the next frames even if their data are received correctly. One promising solution to mitigate this error propagation is intra coding. There are three approaches for intra coding: intra coding of a number of blocks selected randomly or regularly, intra coding of some specific blocks selected by an appropriate cost function, or intra coding of a whole frame. But Intra coding reduces the compression ratio; therefore, there exists a trade-off between bitrate and error resiliency achieved by intra coding. In this paper, we study and show the best strategy for getting the best rate-distortion performance. Considering the error propagation, an objective function is formulated, and with some approximations, this objective function is simplified and solved. The solution demonstrates that periodical I-frame coding is preferred over coding only a number of blocks as intra mode in P-frames. Through examination of various test sequences, it is shown that the best intra frame period depends on the coding bitrate as well as the packet loss rate. We then propose a scheme to estimate this period from curve fitting of the experimental results, and show that our proposed scheme outperforms other methods of intra coding especially for higher loss rates and coding bitrates

Fading 채널의 오류율에 따라 오류 강건 기능을 선택하는 방법에 관한 연구

학위논문 (석사)-- 서울대학교 대학원 : 공과대학 전기·정보공학부, 2018. 2. 채수익.본 논문은 bit error rate가 큰 무선망을 통하여 영상 데이터를 전송할 때, 전송 도중 오류가 발생하면 손상된 packet에서 오류가 없는 부분의 데이터를 최대로 복원하고, 복원이 불가능한 부분은 오류 은닉 알고리즘을 적용하도록 수정된 HEVC (High Efficiency Video Coding) 알고리즘을 제안한다. 제안한 코딩 알고리즘은 데이터 오류를 복원하기 위하여 3가지 방법을 사용한다. 첫 번째는 HEVC에서 slice body에 내장된 모션 벡터 정보를 slice header로 옮겨, error correct 코딩 방식으로 모션 벡터 정보에 오류가 발생하여 확산될 확률을 줄였다. 두 번째, 하나의 slice에서 오류가 발생한 경우에 해당 slice 전체가 아닌 오류가 발생한 일부분만을 버리기 위하여 각 slice를 k개의 sub-slice로 분할한 후, 오류가 발생한 부분은 국한하고 오류가 없는 부분은 복원하도록 하였다. 마지막으로, 하나의 sub-slice 안에서 CTU 단위의 오류 검출 및 은닉 과정을 수행하기 위하여 SAO bin부터 terminating bin 전까지의 bin 수에 대한 modulo-k를 전송하고, 해당 값을 확인하여 오류 발생 여부를 검출하도록 하였다. 실험은 HEVC test sequence ClassB (BasketballDrive, BQTerrace, Cactus, Kimono, ParkScene)에 대하여 압축률 10:1과 100:1 (QP 17, 37), Low delay-B 환경에서 수행하였으며, HM-SCM 코드를 기준으로 성능을 측정하였다. 이 때, 화면에서 CTU 한 줄을 하나의 slice로 가정하였으며, sub-slice 분할 방식과 modulo의 전송은 모션 벡터 protection을 기반으로 구현하였다. 실험 결과, 압축률 10:1, 64x64 CTU를 기준으로 slice 당 오류가 약 0.0023개보다 적다면 모션 벡터 정보를 protect하지 않고 오류 은닉도 수행하지 않은 경우의 화질이 가장 좋았고, 0.0023개에서 0.01개 사이로 발생하는 경우에는 sub-slice 분할 없이 modulo-4하여 전송하는 것이 가장 효과적이었다. Slice 당 오류가 약 0.02개에서 0.1개 사이로 발생하였을 때는 slice를 5개로 분할하며 modulo-8을 하여 전송하는 것이 가장 좋았으며, 0.2개보다 많이 발생하는 경우에는 slice를 5개로 분할하고 modulo-16하는 방식이 화질 개선 측면에서 가장 효과가 있었다.제 1 장 서 론 1 1.1 연구의 배경 1 1.2 관련 연구 2 1.2.1 오류 복원 알고리즘 2 1.2.2 오류 은닉 알고리즘 3 1.3 논문의 구성 5 제 2 장 Wireless Network 6 2.1 Wireless Network 채널과 Fading 현상 6 2.2 Packet의 개념과 Packet Loss 7 제 3 장 모션 벡터 정보의 Protection 10 3.1 Exponential-Golomb 코딩 방식 10 3.2 Parity bit의 개념 11 3.3 구현 방식 12 3.4 모션 벡터 정보를 이용한 오류 은닉 13 제 4 장 오류 복원 알고리즘 15 4.1 Sub-slice 분할 15 4.1.1 Error Localization 15 4.1.2 Sync marker 구현 16 4.1.3 Emulation Prevention bit 구현 18 4.2 CTU 단위 오류 은닉 및 복원 19 4.2.1 CTU 내 bin 수 비교를 통한 오류 검출 19 4.2.2 CTU 단위 오류 은닉 20 제 5 장 실험 결과 22 제 6 장 결 론 42Maste

Block based SNR-scalable coding for deep fading channels

학위논문 (석사)-- 서울대학교 대학원 공과대학 전기·정보공학부, 2017. 8. 채수익.본 논문은 새로운 multiple-layer SNR-scalable coding을 제안하고, 무선통신망에서 fading 때문에 채널 용량이 급격하게 변하는 경우에도 비디오 영상을 끊김 없이 전송하기 위하여 제안한 video encoding을 최적화하는 문제를 다룬다. 그리고 제안한 multi-layer SNR-scalable coding 알고리즘은 블록단위로 동작하도록 HEVC 표준을 수정 확장하여 H/W구현에 적합하다. 실험에 이용한 시나리오에서는 fading 채널 용량의 변화를 구현하기 위해 이를 결정하는 3가지 파라미터(평균 SNR과 line-of-sight(K) 비중, maximum Doppler shift)를 조절하였다. 각 시나리오에서는 level cross rate(LCR), average fade duration(AFD), average inter-fade duration(AIFD)를 측정하였다. 본 논문에서는 시가변 채널의 SNR 정보를 일정한 지연시간 후에 매 packet마다 feedback 받지만, 구현은 picture 단위로 MCS 적용하였다. 채널 용량은 slice, picture, 2-GOP 단위마다 추정하였다. 이를 이용하여 coding layer 수를 결정하고, decoding distortion 기반 cost을 최소화하도록 각 layer별 평균 target bitrate을 정하였다. Coding layer 수는 2-GOP 단위로 fading이 일어나는 횟수와 fading depth를 이용하여 채널 상태를 추정한 후, 이전 2-GOP 단위에서의 전송 layer 수 (K)의 평균 값에 이 추정 결과를 활용하여 결정하였다. Picture 단위 bit allocation에서는 decoding distortion 기반 cost를 최소화하도록 모든 경우의 bit allocation을 비교해 layer별 target rate를 할당하였다. 마지막으로, 전송 layer 수 K는 인코딩 결과 실제 사용된 layer별 bitrate을 예측한 채널 용량으로 나눈 값을 이용하여 결정하였다. 이 때 각 layer별로 계산된 값을 본 논문에서 이용한 MCS code rate의 최대값인 13/16과 비교하여, 이 값보다 작은 값을 가지는 layer까지 전송할 수 있는 것으로 가정하였다. 실험에는 2초 분량의 Ricean 채널을 이용하였다. 실험 시나리오는 송신단과 수신단이 2m 떨어진 상황에서 수신단이 송신단으로부터 1m/s로 멀어지며, 1초에서 1.5초 사이에 Ricean factor 값이 0.1인 장애물이 출현하는 상황을 가정하였다. 실험은 coding layer 수를 4개로 고정하고, bit을 layer별로 동일하게 할당한 것을 anchor로 사용하였다. 실험 결과, 수신단에서 측정한 Y-PSNR은 본 논문 실험 환경에서 평균 0.768dB 개선된 것을 확인하였다.제 1 장 서 론 1 1.1 연구의 배경 1 1.2 관련 연구 3 1.3 논문의 구성 4 제 2 장 Rate control 알고리즘과 IEEE 802.11ad 프로토콜 설명 5 2.1 Rate control 알고리즘 5 2.1.1 기존 HM의 rate control 알고리즘 6 2.1.1.1 Picture / CTU bit allocation 7 2.1.1.2 λ estimation 9 2.1.1.3 QP refinement 11 2.1.2 제안하는 rate control 알고리즘 12 2.1.2.1 제안하는 picture bit allocation 12 2.1.2.2 제안하는 누적 rate model 12 2.2 IEEE 802.11ad 프로토콜 설명 19 2.2.1 Preamble 20 2.2.2 Header / Data 20 2.2.3 Low Density Parity Check(LDPC) 23 제 3 장 SNR-scalable coding 알고리즘 설명 24 3.1 블록(CTU) 단위 동작 25 3.2 Prediction 단계에 적용된 fast 알고리즘 25 3.3 Layer selector를 위한 bitstream에서의 layer 구분 27 3.4 Decoding 성능을 높이기 위한 error concealment 알고리즘 28 제 4 장 Wireless 채널 용량 모델 30 4.1 Fading 채널 모델을 이용한 feedback 채널 정보의 추정 31 4.2 Slice/picture 정보를 이용한 picture/2-GOP 단위 채널 용량 추정 36 4.3 SNR과 packet error rate의 관계 37 제 5 장 Layer 수 결정과 layer별 bit allocation 38 5.1 k-GOP 단위 평균 layer bit 할당과 코딩 layer 수 결정 38 5.2 Picture 단위 layer별 bit 할당 40 5.3 Picture 단위 전송 layer 수 결정 43 5.4 Slice 단위 layer별 bit 할당 45 5.5 MCS index 결정 47 제 6 장 Fading channel 환경의 실험 결과 48 6.1 채널 용량 추정 관련 실험 48 6.1.1 Fading channel 시나리오 구성 48 6.1.2 채널 특성 파라미터 측정 54 6.1.3 Regression을 이용한 채널 용량 추정 56 6.2 Layer 수 결정 및 layer별 bit allocation 관련 실험 60 6.2.1 Coding layer 수와 전송 layer 수의 비교 60 6.2.2 Allocation에 따른 성능 평가 63 제 7 장 결 론 67Maste

Error resilience and concealment techniques for high-efficiency video coding

This thesis investigates the problem of robust coding and error concealment in High Efficiency Video Coding (HEVC). After a review of the current state of the art, a simulation study about error robustness, revealed that the HEVC has weak protection against network losses with significant impact on video quality degradation. Based on this evidence, the first contribution of this work is a new method to reduce the temporal dependencies between motion vectors, by improving the decoded video quality without compromising the compression efficiency. The second contribution of this thesis is a two-stage approach for reducing the mismatch of temporal predictions in case of video streams received with errors or lost data. At the encoding stage, the reference pictures are dynamically distributed based on a constrained Lagrangian rate-distortion optimization to reduce the number of predictions from a single reference. At the streaming stage, a prioritization algorithm, based on spatial dependencies, selects a reduced set of motion vectors to be transmitted, as side information, to reduce mismatched motion predictions at the decoder. The problem of error concealment-aware video coding is also investigated to enhance the overall error robustness. A new approach based on scalable coding and optimally error concealment selection is proposed, where the optimal error concealment modes are found by simulating transmission losses, followed by a saliency-weighted optimisation. Moreover, recovery residual information is encoded using a rate-controlled enhancement layer. Both are transmitted to the decoder to be used in case of data loss. Finally, an adaptive error resilience scheme is proposed to dynamically predict the video stream that achieves the highest decoded quality for a particular loss case. A neural network selects among the various video streams, encoded with different levels of compression efficiency and error protection, based on information from the video signal, the coded stream and the transmission network. Overall, the new robust video coding methods investigated in this thesis yield consistent quality gains in comparison with other existing methods and also the ones implemented in the HEVC reference software. Furthermore, the trade-off between coding efficiency and error robustness is also better in the proposed methods