Débruitage et dématriçage conjoint de vidéo avec des réseaux de neurones convolutifs et récurrents

Abstract

International audienceDenoising and demosaicing are two critical components of the image/video processing pipeline. While historically these two tasks have mainly been considered separately, current neural network approaches allow to obtain state of-the-art results by treating them jointly. However, most existing research focuses in single image or burst joint denoising and demosaicing (JDD). Although related to burst JDD, video JDD deserves its own treatment. In this work we present an empirical exploration of different design aspects of video joint denoising and demosaicing using neural networks. We compare recurrent and non-recurrent approaches and explore aspects such as type of propagated information in recurrent networks, motion compensation, video stabilization, and network architecture. We found that recurrent networks with motion compensation achieve best results. Our work should serve as a strong baseline for future research in video JDD.Le débruitage et le dématriçage sont deux composantes importantes de la chaîne de traitement des images et des vidéos. Tandis que traditionnellement, ces deux tâches ont largement été appliquées séparément, les approches actuelles basées sur les réseaux de neurones permettent d'atteindre des résultats état de l'art en les traitant conjointement. Cependant, la plupart des recherches en débruitage et dématriçage conjoint (DDC) ne considèrent uniquement que le cas des images ou alors des séries d'images. Bien que lié au DDC de série d'image, le DDC de vidéos mérite son propre traitement. Dans cet article, nous présentons une exploration empirique de différentes conceptions de débruitage et dématriçage conjoint de vidéos en utilisant des réseaux de neurones. Nous y comparons les approches récurrentes et non récurrentes et nous explorons différents aspects tels que le type d'information à propager dans un réseau récurrent, la compensation de mouvement, la stabilization du mouvement des vidéos et l'architecture des réseaux. Nous avons trouvé que les meilleurs résultats sont atteints avec des réseaux récurrents avec compensation du mouvement. Notre travail servira de référence solide pour les futurs travaux en débruitage et dématriçage conjoint de vidéos