EXAMPLAR-BASED VIDEO INPAINTING WITH MOTION-COMPENSATED NEIGHBOR EMBEDDING

This paper describes a video inpainting algorithm based on motion-compensated neighbor embedding. The unknown pixels are estimated as a linear combination of the K closest patches using motion-compensated neighbor embedding. The algorithm is first assessed by assuming the motion information of the masked pixels to be known. This assumption is not realistic in video editing (object removal) applications. It however helps isolating the various problems for the sake of analysis. Different approaches are then assessed in the context where the motion information of missing pixels is unknown. Experiments on several videos show the benefits of the proposed approach which lead to natural looking videos with less annoying artefacts than when using a template matching technique. 1

Approches de remplissage automatique de trous à l'intérieur d'images et de séquences vidéo

À notre époque, les images et les séquences vidéo destinées au cinéma ou à la télévision sont fréquemment altérées durant l’étape de postproduction afin d’effectuer le remplissage de régions indésirables. Par exemple, les graffitis à caractères haineux présents dans une image sont supprimés. Pour produire un résultat de qualité, il est important que le remplissage ait une apparence réaliste et qu’il présente des signes d’usure. Les méthodes actuelles traitant de ce problème ne sont pas adaptées puisqu’elles utilisent des paramètres peu intuitifs et qu’elles traitent généralement d’un seul effet de détérioration. Le remplissage peut aussi se faire sur une séquence vidéo dans laquelle la perche de son a malencontreusement été filmée. Le remplissage de régions manquantes dans une séquence vidéo pose des défis additionnels, comme la cohérence spatio-temporelle et la grande quantité d’information à traiter, et les approches actuelles sont inadaptées. En effet, la plupart des méthodes, dont celles basées sur les champs aléatoires de Markov, ne peuvent traiter directement la haute résolution dans un délai raisonnable. De plus, les méthodes actuelles sont limitées par le type de mouvement de caméra, la taille des régions indésirables et la variation de l’intensité lumineuse. Un objectif de cette thèse est de développer un système de remplissage qui permet la génération d’effets de détérioration basé sur une image échantillon contenant un exemple de l’effet voulu. Pour y arriver, une approche de synthèse de textures par remplissage de trous qui ne comporte aucun paramètre complexe à manipuler par l’artiste et qui permet de reproduire de nouveaux effets similaires est introduite. Un deuxième objectif est l’élaboration d’un système de remplissage de régions manquantes de séquences vidéo de haute définition. Un algorithme de synthèse de textures par remplissage de trous est adapté en tirant profit du principe de la cohérence et d’une recherche locale. De plus, le dernier volet de la thèse présente une approche de remplissage basée sur le suivi de caractéristiques invariantes permettant de compléter de très grandes régions manquantes provenant de séquences vidéo filmées avec des mouvements de caméra non-triviaux. Les résultats obtenus à partir des différentes contributions du projet de recherche montrent un réalisme accru lors du remplissage de régions manquantes d’images et de séquences vidéo. Les différentes méthodes sont faciles d’utilisation et intuitives puisqu’elles ne possèdent aucun paramètre complexe à spécifier par l’artiste. De plus, elles s’intègrent bien dans le processus itératif de création de ce dernier. Finalement, les petits temps de calculs rendent faciles leur intégration dans le pipeline de production des studios