Rendu basé image de fonds photographiques historiques massifs

This paper states an overview of my dissertation research centered on the continuous immersive visualization and navigation through time and space of large sets of historical photographs. The research aims for: (i) the treatment of scientific obstacles (e.g. data volume, heterogeneity, distortions, and uncertainties) that appear when old pictures are placed in today's environment; (ii) the visualization (saliently and spatially) of these photos. The main model of the study is image-based rendering IBR, because of its capacity to use imprecise or non-existent geometry (i.e. since a modern 3D scene may differ from a historical one, due to environmental changes over time). The findings of this work may contribute significantly by extending the current IBR models and providing a new innovative way to examine these massive and heterogeneous datasets.Cet article donne un aperçu de ma thèse de doctorat centrée sur la visualisation immersive continue et la navigation dans le temps et dans l’espace de grands ensembles de photographies historiques. Les objectifs de la recherche sont les suivants: (i) traitement des obstacles scientifiques (volume de données, hétérogénéité, distorsions et incertitudes, par exemple) qui apparaissent lorsque de vieilles images sont placées dans l’environnement actuel; (ii) la visualisation (de manière saillante et spatiale) de ces photos. Le modèle principal de l’étude est le rendu IBR basé sur l’image, en raison de sa capacité à utiliser une géométrie imprécise ou inexistante (c’est-à-dire qu’une scène 3D moderne peut différer de l’historique, en raison des changements environnementaux survenus au fil du temps). Les résultats de ce travail pourraient contribuer de manière significative en étendant les modèles IBR actuels et en fournissant un nouveau moyen innovant d’examiner ces ensembles de données massifs et hétérogènes

Extraction de sources lumineuses en Rendu Basé Image (IBR)

Rapport de rechercheCes dernières années, le rendu basé-image devient attractif avec l'évolution permanente des capacités de stockage. Ce domaine permet la visualisation d'objets réels ou virtuels à partir d'images. Notre objectif, à plus long terme, est d'intégrer ces objets (appelés objets basés-image) à l'intérieur d'un environnement virtuel. La principale difficulté concerne l'éclairage des objets par les sources lumineuses de l'environnement, différentes de celles utilisées lors de l'acquisition des images. En effet la connaissance des sources de lumière initialement présentes est indispensable au ré-éclairage des objets. Notre travail s'inscrit dans ce contexte d'intégration d'objets basés-image, il consiste à extraire les sources lumineuses utilisées pendant l'acquisition. Les structures manipulées au cours de ce stage, appelées lumigraphes, représentent des objets basés-image définis par un ensemble de photographies prises tout autour de chaque objet. Un algorithme de reconstruction en voxels est utilisé pour obtenir une géométrie de l'objet sous forme d'octree. Au cours de ce stage de DEA, nous détectons la présence d'une source lumineuse (ponctuelle ou directionnelle) dans un lumigraphe et estimons sa luminance émise. Après l'estimation de la direction d'incidence pour chaque voxel, la position d'une source est évaluée par le calcul d'un point d'intersection de ces directions (utilisation de la méthode des pseudo-inverses). De plus, les propriétés photométriques des surfaces (diffuses, spéculaires et mixtes) sont estimées avec précision (utilisation d'un algorithme d'identification de paramètres)

Placement optimal de caméras contraintes pour la synthèse de nouvelles vues

International audienceNous étudions le problème du placement optimal sous contraintes, de plusieurs caméras, pour la synthèse de nouvelles vues. Une telle configuration optimale est définie comme celle qui minimise l'incertitude de projection des pixels des caméras de prise de vue sur la vue à synthétiser. Le rendu de cette vue est souvent précédé d'une phase de reconstruction 3D approximative. Nous dérivons la matrice de covariance associée à l'incertitude sur la géométrie, puis nous propageons l'erreur sur le plan de la nouvelle vue. Nous observons l'influence de l'interoculaire et de la distance focale des caméras sur l'erreur projetée, pour des distributions de points aléatoires à diverses profondeurs

Interpolation de points de vue : approches directe et variationnelle

National audienceNous abordons la problématique d'interpolation de points de vue à partir d'une paire d'images stéréoscopique. Ces techniques comportent généralement 3 étapes : l'estimation des correspondances entre les vues, le dosage des contributions de chaque image dans la vue finale, et le rendu. D'un côté, tandis que l'état de l'art est très vaste dans l'estimation des correspondances, nous trouvons peu de travaux formels analysant quel est le "bon" dosage des contributions lors du mélange des images. D'un autre côté, concernant le rendu de nouveaux points de vue nous identifions deux groupes de méthodes bien distincts, les méthodes "directes", et les méthodes "variationnelles". Nous conduisons une étude pour analyser la performance des facteurs de dosage ainsi que l'impact de la méthode utilisée sur le résultat final obtenu. Nous évaluons ces méthodes sur des scènes lambertiennes et non-lambertiennes afin de voir, dans chaque cas, quel choix est le plus pertinent

Rendu et représentation graphiques d'informations spatio-temporelles

National audienceCet article de positionnement expose une partie des questions de recherche et travaux en cours de notre équipe en géovisualisation (équipe GEOVIS du laboratoire LaSTIG), concernant la visualisation et l'analyse visuelle d'informations spatio-temporelles sur le territoire, via l'interaction et l'immersion. Les questions classiques de la géovisualisation perdurent-quelles représentations graphiques, quelles interfaces, quelle qualité. Néanmoins, le contexte a évolué : la complexité des phénomènes et dyna-miques physiques, historiques, sociologiques et leurs interactions avec l'espace géographique, ainsi que le volume de données spatiales hétérogènes, et les besoins d'utilisateurs très variés en capacités de vision, perception et cognition, nécessitent de faire encore plus converger des domaines connexes sur la représentation graphique et l'exploration de données, pour améliorer les capacités d'analyse visuelle en géovisualisation. En particulier, nous présentons ici des questions et travaux de recherche spécifiques à l'exploration interactive des capacités de rendu et de représentation (carto)graphique de données spatio-temporelles dans le contexte de la géovisualisation. Ces travaux s'appliquent à des problématiques liées à la visua-lisation des espaces géographiques urbains et à des problématiques d'analyse de dynamiques urbaines (historique, planification), et de dynamiques géophysiques (inondations, météorologie). Ces travaux sont implémentés sur une plateforme open source de visualisation 3D

Automatisation de la Méthode de Tour Into The Picture

La méthode de Tour Into the Picture (TIP) est une technique de rendu basé image. Son principe consiste à convertir une seule image en un ensemble de 5 polygones de coordonnées exprimées dans un repère 3D. A chacun de ces polygones est associée une texture représentant une partie de l'image redressée. Ensuite il est facile de naviguer dans la scène représentée par ces 5 polygones. Cette approche a deux inconvénients majeurs : le premier est l'obligation de régler un grand nombre de paramètres manuellement, le deuxième est l'ensemble de restrictions concernant la prise de vue originale (position et orientation). La méthode que nous proposons réduit au minimum les interventions de l'utilisateur et permet un maximum de liberté pour la prise de vue ; nous avons nommé cette méthode Automatic Tour Into the Picture (ATIP). Nous proposons aussi des méthodes efficaces pour extraire des lignes et points de fuite nécessaires à l'étalonnage de caméra à partir d'une seule image

Systèmes d'acquisition multivues

National audienceMultiview acquisition, the focus of this chapter, relates to the capture of synchronized video data representing different viewpoints of a single scene. In contrast to video surveillance systems, which deploy multiple cameras to visually cover a large scale environment to be monitored with little redundancy, the materials, devices or systems used in multiview acquisition are designed to cover several perspectives of a single, often fairly restricted, physical space and use redundancy in images for specific aims. Depending on the final application, the number, layout and settings of cameras can fluctuate greatly. This chapter will introduce the main camera configurations in a purely video multiview capture context, using notable practical examples and their use. Each time, we will also propose links to databases providing access to media produced by devices within each category.L'acquisition multivues, objet de ce chapitre, concerne la capture de données vidéo synchronisées représentant différents points de vue d'une même scène. \textit{A contrario} des systèmes de vidéosurveillance qui déploient de multiples caméras pour couvrir visuellement avec peu de redondance un espace à surveiller de grande étendue, les matériels, dispositifs ou systèmes ici visés couvrent, depuis plusieurs points de vues, un même espace physique, souvent assez réduit, pour profiter de la redondance des images. Selon les applications visées, le nombre, la disposition et le réglage des caméras peuvent grandement fluctuer. Ce chapitre va présenter les principales configurations de capture multivues purement vidéo en se basant sur des exemples significatifs de réalisations et en indiquant les usages qui en sont faits. A chaque fois, seront proposées des bases de données accessibles permettant au lecteur d'accéder à des médias acquis par des dispositifs relevant de la catégorie étudiée

Images intrinsèques de scènes en extérieur à partir de multiples vues

Prix du meilleur article aux Journées de l'AFIG 2011 (Bidart)National audienceNous présentons une méthode capable de décomposer les photographies d'une scène extérieure en trois composantes intrinsèques -- la réflectance, l'illumination due au soleil et l'illumination due au ciel. L'extraction d'images intrinsèques à partir de photographies est un problème difficile, généralement résolu en utilisant des méthodes de propagation guidée par l'image nécessitant de multiples indications par l'utilisateur. De récentes méthodes en vision par ordinateur permettent l'acquisition simple mais approximative d'informations géométriques sur une scène, à l'aide de plusieurs photographies selon des points de vue différents. Nous développons un nouvel algorithme qui nous permet d'exploiter cette information bruitée et peu fiable pour automatiser et améliorer les algorithmes d'estimation d'images intrinsèques par propagation. En particulier, nous développons une nouvelle approche afin d'estimer les ombres portées dans l'image, en peaufinant une estimation initiale obtenue à partir de la géométrie reconstruite. Nous utilisons un algorithme de vote dans l'espace de couleur qui identifie de façon robuste les valeurs de réflectance des nuages de points 3D reconstruits. Cette estimation de réflectance nous permet de déterminer avec précision la visibilité du soleil à ces points épars et de propager cette information aux pixels restants. Dans une dernière étape nous adaptons les algorithmes de propagation guidée par l'image, en remplaçant les indications manuelles de l'utilisateur par les données d'ombre et de réflectance estimées par notre algorithme aux points 3D reconstruits. Notre méthode permet l'extraction automatique des images intrinsèques à partir de multiples points de vue, permettant ainsi de nombreux types de manipulations d'images

Localization with monocular vision for autonomous navigation

We present a method for computing the localization of a mobile robot with reference to a learning video sequence. The robot is first guided on a path by a human, while the camera records a monocular learning sequence. Then a 3D reconstruction of the path and the environment is computed off line from the learning sequence. The 3D reconstruction is then used for computing the pose of the robot in real time in autonomous navigation. Results from our method are compared to the ground truth measured with a differential GPS or a rotating platform.Nous présentons une méthode pour déterminer la localisation d'un robot mobile par rapport à une séquence vidéo d'apprentissage. Dans un premier temps, le robot est conduit manuellement sur une trajectoire et une séquence vidéo de référence est enregistrée par une seule caméra. Puis un calcul hors ligne nous donne une reconstruction 3D du chemin suivi et de l'environnement. Cette reconstruction est ensuite utilisée pour calculer la pose du robot en temps réel dans une phase de navigation autonome. Les résultats obtenus sont comparés à la vérité terrain mesurée par un GPS différentiel ou une plate-forme rotative graduée

Génération automatique de cartes de profondeur relative par utilisation des occlusions dynamiques

L’insuffisance de contenu 3D est un frein majeur à l’expansion des téléviseurs 3D. La generation automatique de contenu 3D à partir de contenu 2D ordinaire constitue une solution possible à ce problème. En effet, plusieurs indices de profondeur sont présents sur des images ou vidéos 2D, ce qui rend la conversion automatique 2D à 3D possible. Parmi ces indices, les occlusions dynamiques, qui permettent d’attribuer un ordre relatif aux objets adjacents, offrent les avantages d’être fiables et présentes dans tous les types de scènes. L’approche pour convertir du contenu 2D en 3D, proposée dans ce mémoire, repose sur l’utilisation de cet indice pour générer des cartes de profondeur relative. L’analyse du mouvement, avant et arrière entre deux trames consécutives, permet le calcul des occlusions dynamiques. Le mouvement considéré est calculé par une version modifiée du flot optique Epic-Flow propose par Revaud et al. en 2015. Les modifications apportées au calcul de ce flot optique ont permis de le rendre cohérent en avant-arrière sans détériorer ses performances. Grâce à cette nouvelle propriété, les occlusions sont plus simplement calculées que dans les approches présentes dans la littérature. En effet, contrairement à l’approche suivie par Salembier et Palou en 2014, la méthode de calcul des occlusions proposée ne nécessite pas la coûteuse opération de l’estimation de mouvement par région selon un modèle quadratique. Une fois les relations d’occlusions obtenues, elles permettent de déduire l’ordre des objets contenus dans l’image. Ces objets sont obtenus par une segmentation qui considère à la fois la couleur et le mouvement. La méthode proposée permet la génération automatique de cartes de profondeur relative en présence de mouvement des objets de la scène. Elle permet d’obtenir des résultats comparables à ceux obtenus par Salembier et Palou, sans nécessiter l’estimation de mouvement par région