Codeur vidéo scalable haute-fidélité SHVC modulable et parallèle

After entering the digital era, video consumption evolved and defined new trends. Video contents can now be accessed with many platforms (television, computer, tablet, smartphones ... ) and from many medias such as mobile network or satellite network or terrestrial network or Internet or local storage on Blu-ray disc for instance. In the meantime, users experience improves thanks to new video format such as Ultra High Definition (UHD) or High Dynamic Range (HOR) or High Frame Rate (HFR). These formats respectively enhance quality through resolution, dynamic range and frequency. New consumption trends and new video formats define new constraints that have to be resolved by currents and futures video encoders. In this context, we propose a video coding solution able to answer constraints such as multi-formats coding, multi­destinations coding, coding speed and coding efficiency in terms of video compression. This solution relies on the scalable extension of the standard « High Efficiency Video Coding » (HEVC) defined in 2014 also called SHVC. This extension enables scalable video coding by producing a single bitstream on several layers built from a common video at different scales of resolution, frequency, quality, bit depth per pixel or even colour gamut. SHVC coding enhance HEVC coding thanks to an inter-layer prediction that use coding information from lower layers. In this PhD thesis, the proposed solution is based on a professional video encoder, developed by Ateme company, able to perform parallelism on several levels (inter-frames, intra-frames, inter-blocks, inter-operations) thanks to a pipelined architecture. Two instances of this encoder run in parallel and are synchronised at pipeline level to enable inter-layer predictions. Some trade-off between complexity and coding efficiency are proposed on inter-layer prediction at slice and prediction tools levels. For instance, in a broadcast configuration, inter-layer prediction is processed on reconstructed pictures only for half the frames of the bitstream. In a constant quality configuration, it enables to save 18.5% of the coding bitrate for only 2% loss in terms of coding speed compared to equivalent HEVC coding. The proposed architecture is also able to perform all kinds of scalability supported in the SHVC extension. Moreover, in spatial scalability, we propose a down-sampling filter processed on the base layer that optimized global coding bitrate. We propose several quality modes with parallelism on several levels and low-level optimization that enable real-time video coding on UHD sequences. The proposed solution was integrated in a video broadcast chain and showed in several professional shows, conferences and at ATSC 3.0 meetings.Après l'entrée dans l'ère du numérique, la consommation vidéo a évolué définissant de nouvelles tendances. Les contenus vidéo sont désormais accessibles sur de nombreuses plateformes (télévision, ordinateur, tablette, smartphone ... ) et par de nombreux moyens, comme les réseaux mobiles, les réseaux satellites, les réseaux terrestres, Internet ou le stockage Blu-ray par exemple. Parallèlement, l'expérience utilisateur s'améliore grâce à la définition de nouveaux formats comme l'Ultra Haute Définition (UHD), le « High Dynamic Range » (HDR) ou le « High Frame Rate » (HFR). Ces formats considèrent une augmentation respectivement de la résolution, de la dynamique des couleurs et de la fréquence d'image. Les nouvelles tendances de consommation et les améliorations des formats imposent de nouvelles contraintes auxquelles doivent répondre les codeurs vidéo actuels et futurs. Dans ce contexte, nous proposons une solution de codage vidéo permettant de répondre à des contraintes de codage multi-formats, multi-destinations, rapide et efficace en termes de compression. Cette solution s'appuie sur l'extension Scalable du standard de compression vidéo « High Efficiency Video Coding » (HEVC) définie en fin d'année 2014, aussi appelée SHVC. Elle permet de réaliser des codages scalables en produisant un unique bitstream à partir d'un codage sur plusieurs couches construites à partir d'une même vidéo à différentes échelles de résolutions, fréquences, niveaux de qualité, profondeurs des pixels ou espaces de couleur. Le codage SHVC améliore l'efficacité du codage HEVC grâce à une prédiction inter-couches qui consistent à employer les informations de codage issues des couches les plus basses. La solution proposée dans cette thèse s'appuie sur un codeur HEVC professionnel développé par la société Ateme qui intègre plusieurs niveaux de parallélisme (inter-images, intra-images, inter-blocs et inter-opérations) grâce à une architecture en pipeline. Deux instances parallèles de ce codeur sont synchronisées via un décalage inter-pipelines afin de réaliser une prédiction inter-couches. Des compromis entre complexité et efficacité de codage sont effectués au sein de cette prédiction au niveau des types d'image et des outils de prédiction. Dans un cadre de diffusion, par exemple, la prédiction inter-couches est effectuée sur les textures pour une image sur deux. A qualité constante, ceci permet d'économiser 18.5% du débit pour une perte de seulement 2% de la vitesse par rapport à un codage HEVC. L'architecture employée permet alors de réaliser tous les types de scalabilité supportés par l'extension SHVC. De plus, pour une scalabilité en résolution, nous proposons un filtre de sous-échantillonnage, effectué sur la couche de base, qui optimise le coût en débit global. Nous proposons des modes de qualité intégrant plusieurs niveaux de parallélisme et optimisations à bas niveau qui permettent de réaliser des codages en temps-réel sur des formats UHD. La solution proposée a été intégrée dans une chaîne de diffusion vidéo temps-réel et montrée lors de plusieurs salons, conférences et meetinqs ATSC 3.0

Modulr and parallel scalable high efficiency SHVC video encoder

Après l'entrée dans l'ère du numérique, la consommation vidéo a évolué définissant de nouvelles tendances. Les contenus vidéo sont désormais accessibles sur de nombreuses plateformes (télévision, ordinateur, tablette, smartphone ... ) et par de nombreux moyens, comme les réseaux mobiles, les réseaux satellites, les réseaux terrestres, Internet ou le stockage Blu-ray par exemple. Parallèlement, l'expérience utilisateur s'améliore grâce à la définition de nouveaux formats comme l'Ultra Haute Définition (UHD), le « High Dynamic Range » (HDR) ou le « High Frame Rate » (HFR). Ces formats considèrent une augmentation respectivement de la résolution, de la dynamique des couleurs et de la fréquence d'image. Les nouvelles tendances de consommation et les améliorations des formats imposent de nouvelles contraintes auxquelles doivent répondre les codeurs vidéo actuels et futurs. Dans ce contexte, nous proposons une solution de codage vidéo permettant de répondre à des contraintes de codage multi-formats, multi-destinations, rapide et efficace en termes de compression. Cette solution s'appuie sur l'extension Scalable du standard de compression vidéo « High Efficiency Video Coding » (HEVC) définie en fin d'année 2014, aussi appelée SHVC. Elle permet de réaliser des codages scalables en produisant un unique bitstream à partir d'un codage sur plusieurs couches construites à partir d'une même vidéo à différentes échelles de résolutions, fréquences, niveaux de qualité, profondeurs des pixels ou espaces de couleur. Le codage SHVC améliore l'efficacité du codage HEVC grâce à une prédiction inter-couches qui consistent à employer les informations de codage issues des couches les plus basses. La solution proposée dans cette thèse s'appuie sur un codeur HEVC professionnel développé par la société Ateme qui intègre plusieurs niveaux de parallélisme (inter-images, intra-images, inter-blocs et inter-opérations) grâce à une architecture en pipeline. Deux instances parallèles de ce codeur sont synchronisées via un décalage inter-pipelines afin de réaliser une prédiction inter-couches. Des compromis entre complexité et efficacité de codage sont effectués au sein de cette prédiction au niveau des types d'image et des outils de prédiction. Dans un cadre de diffusion, par exemple, la prédiction inter-couches est effectuée sur les textures pour une image sur deux. A qualité constante, ceci permet d'économiser 18.5% du débit pour une perte de seulement 2% de la vitesse par rapport à un codage HEVC. L'architecture employée permet alors de réaliser tous les types de scalabilité supportés par l'extension SHVC. De plus, pour une scalabilité en résolution, nous proposons un filtre de sous-échantillonnage, effectué sur la couche de base, qui optimise le coût en débit global. Nous proposons des modes de qualité intégrant plusieurs niveaux de parallélisme et optimisations à bas niveau qui permettent de réaliser des codages en temps-réel sur des formats UHD. La solution proposée a été intégrée dans une chaîne de diffusion vidéo temps-réel et montrée lors de plusieurs salons, conférences et meetinqs ATSC 3.0.After entering the digital era, video consumption evolved and defined new trends. Video contents can now be accessed with many platforms (television, computer, tablet, smartphones ... ) and from many medias such as mobile network or satellite network or terrestrial network or Internet or local storage on Blu-ray disc for instance. In the meantime, users experience improves thanks to new video format such as Ultra High Definition (UHD) or High Dynamic Range (HOR) or High Frame Rate (HFR). These formats respectively enhance quality through resolution, dynamic range and frequency. New consumption trends and new video formats define new constraints that have to be resolved by currents and futures video encoders. In this context, we propose a video coding solution able to answer constraints such as multi-formats coding, multi­destinations coding, coding speed and coding efficiency in terms of video compression. This solution relies on the scalable extension of the standard « High Efficiency Video Coding » (HEVC) defined in 2014 also called SHVC. This extension enables scalable video coding by producing a single bitstream on several layers built from a common video at different scales of resolution, frequency, quality, bit depth per pixel or even colour gamut. SHVC coding enhance HEVC coding thanks to an inter-layer prediction that use coding information from lower layers. In this PhD thesis, the proposed solution is based on a professional video encoder, developed by Ateme company, able to perform parallelism on several levels (inter-frames, intra-frames, inter-blocks, inter-operations) thanks to a pipelined architecture. Two instances of this encoder run in parallel and are synchronised at pipeline level to enable inter-layer predictions. Some trade-off between complexity and coding efficiency are proposed on inter-layer prediction at slice and prediction tools levels. For instance, in a broadcast configuration, inter-layer prediction is processed on reconstructed pictures only for half the frames of the bitstream. In a constant quality configuration, it enables to save 18.5% of the coding bitrate for only 2% loss in terms of coding speed compared to equivalent HEVC coding. The proposed architecture is also able to perform all kinds of scalability supported in the SHVC extension. Moreover, in spatial scalability, we propose a down-sampling filter processed on the base layer that optimized global coding bitrate. We propose several quality modes with parallelism on several levels and low-level optimization that enable real-time video coding on UHD sequences. The proposed solution was integrated in a video broadcast chain and showed in several professional shows, conferences and at ATSC 3.0 meetings

Efficient parallel architecture for a real-time UHD scalable HEVC encoder

International audienc

Real-time UHD Scalable multi-layer HEVC encoder architecture

International audienc

4K Real Time Software Solution of Scalable HEVC for Broadcast Video Application

International audienceScalable High efficiency Video Coding (SHVC) is the scalable extension of the High Efficiency Video Coding (HEVC) standard. SHVC enables spatial, quality, bit-depth, color gamut and codec scalability. The architecture of the SHVC encoder is based on multiple instances of the HEVC encoder where each instance encodes one video layer. This architecture offers several advantages of being modular and close to the native HEVC coding block scheme. However, the close-loop SHVC architecture requires the complete decoding of the reference lower-layer frames to decode a higher quality layer, which considerably increases the complexity of both encoder and decoder processes. In this paper, we propose an end-to-end 4K real time SHVC solution, including both software encoder and decoder, for video broadcast applications. The SHVC codec relies on low level optimizations for specific Intel x86 platform and parallel processing to speed-up the encoding and decoding processes. The proposed encoder enables a real time processing of 4Kp30 video in 2x spatial scalability on the 4x10-cores Intel Xeon processor (E5-4627V3) running at 2.6 GHz. In addition, the SHVC decoder enables to decode, respectively, the lower quality layer in full HD (1920x1080p30) resolution, on ARM Neon mobile platform, and the enhancement layer in UHD (3840x2160p30), on a laptop fitted, with 4 cores Intel i7 processor running at 2.7 GHz. Finally, experimental results have shown that the proposed solution can reach a high rate-distortion performance close to the reference SHVC reference software Model (SHM) with a speed-up of 37 and 66 in Intra and Inter coding configurations