Estimation du champ dense de mouvement pour la génération semi-automatique de cartes de profondeur

Avec la recrudescence de la popularité du cinéma 3D, la demande pour la production de contenu de projection 3D est en croissance. Les options actuelles pour générer du contenu sont souvent très coûteuses, car elles requièrent de l’équipement spécialisé pour filmer directement en 3D ou un effort considérable pour convertir du contenu originellement en 2D en ajoutant la profondeur estimée aux images originelles. Le but de cette recherche est de trouver une technique semi-automatique qui permet de sauver beaucoup de temps à ajouter la profondeur sur des images 2D. Pour y arriver la recherche tente de parvenir, à partir de seulement quelques annotations sur une image clé dans une séquence, à propager l’estimation initiale de profondeur rapidement sur toute l’image annotée puis dans un deuxième temps sur toutes les images qui seraient assez similaires dans une séquence vidéo. Le projet vise à développer une method pour atteindre ce but tout en conservant un temps de traitement assez court et en obtenant des résultats permettant de générer du contenu 3D visuellement plaisant à regarder. La recherche utilise le principe du Random-walker pour permettre la propagation de l’information dans une image, à partir de seulement quelques annotations, en traitant le problème comme un problème de segmentation. En appliquant une technique itérative, cela permet de séparer le processus d'estimation de la profondeur à partir des annotations de celui de la propagation de cette estimation sur les autres images de la séquence. La technique considère les images comme des graphes dont les noeuds sont les pixels et les arêtes ont un poids calculé selon la similarité entre les pixels reliés. Les résultats obtenus avec cette méthode montrent que la première partie de la méthode, soit l’estimation de la profondeur à partir des annotations d’un utilisateur, donne de bons résultats en ne nécessitant qu’un petit nombre d’annotations. Cependant, la propagation de l’information à travers la séquence d’images nécessiterait des améliorations. Plusieurs problèmes ont été rencontrés comme la presence d’occlusions, la propagation d’erreurs dans la séquence et les potentiels changements d’illuminations. C’est suite à ces problèmes qu’une recherche a aussi été effectuée pour trouver une technique d’estimation de mouvement qui correspondrait bien aux besoins de la méthode originale. Cette recherche a abouti à une method automatique d’estimation du mouvement dense, c’est-à-dire de trouver le mouvement pour tous les pixels de l’image. La méthode proposée se sert de la similarité calculée des pixels voisins dans la même image et aussi de la similarité avec les pixels de l’image suivante inclus dans un noyau de recherche. La similarité entre les pixels est calculée selon plusieurs caractéristiques d’un pixel incluant les composantes Lab du pixel même et d’un nombre de ses voisins ainsi que des gradients voisins. Les résultats obtenus sont comparés à d’autres méthodes suivant deux mesures d’erreurs comptabilisées par Middlebury. La comparaison montre que la méthode obtient de bons résultats sur les images proposes pour tester, mais la visualisation des résultats selon une coloration représentant le movement permet de mettre en lumière certaines erreurs produites par la méthode. La performance de la méthode a par la suite été améliorée en utilisant les correspondances SIFT trouvées préalablement. La vitesse de calcul a aussi été améliorée en regroupant les pixels similaires de l’image en superpixels ce qui permet de réduire le nombre de comparaisons à effectuer. Finalement, les effet de la variation des paramètres de contrôle de la méthode sur les résultats obtenus sont décrits en détail et la comparaison entre les résultats obtenus avec ou sans SIFT et en utilisant les superpixels ou pas sont expliqués en présentant les images résultantes. Les principaux problèmes de la méthode sont expliqués et certaines améliorations sont proposes pour les surmonter, mais elles n’ont pas été implémentées