Vers un système de réalité augmentée autonome

Non disponible / Not availableLe concept de réalité augmentée (ra) vise à accroitre la perception du monde réel en y ajoutant des éléments non perceptibles a priori par l'il humain. Un des problèmes majeurs qui se pose dans ce type d'études est de pouvoir déterminer le point de vue adopté pour chaque prise de vue afin d'incruster l'objet de synthèse au bon endroit. Nous proposons pour cela une méthode à deux niveaux prenant en compte des appariements modèle/image de courbes quelconques. Cette méthode est robuste à la présence d'occultations dans l'image, ainsi qu'aux erreurs pouvant se produire lors du suivi des primitives images. Elle s'inscrit dans un système de recalage temporel autonome et séquentiel. Cette méthode a fonctionné bien dans la plupart des cas, mais lorsque l'objet de référence est petit par rapport à la distance objet-camera, le calcul du point de vue devient moins précis. Pour pallier ce problème, nous utilisons des appariements de points d'intérêt entre images consécutives de la séquence. Le point de vue de la camera est alors calculé en minimisant une fonction de cout qui tient compte à la fois des appariements modèle/image de courbes et des appariements image/image de points. Enfin, nous prenons en compte les changements de paramètres intrinsèques de la camera qui peuvent se produire au cours de la séquence. Les méthodes optimisant à la fois les paramètres internes et le déplacement de la camera étant instables, nous avons opté pour un partitionnement automatique de la séquence en zooms et mouvements de camera. Les paramètres de l'optimisation dépendent alors du type de plan considéré. Ces méthodes sont validées aussi bien sur des données synthétiques que sur des applications en vraie grandeur, comme le projet d'illumination artificielle des ponts de Paris

Vers un système de réalité augmentée autonome

Non disponible / Not availableLe concept de réalité augmentée (ra) vise à accroitre la perception du monde réel en y ajoutant des éléments non perceptibles a priori par l'il humain. Un des problèmes majeurs qui se pose dans ce type d'études est de pouvoir déterminer le point de vue adopté pour chaque prise de vue afin d'incruster l'objet de synthèse au bon endroit. Nous proposons pour cela une méthode à deux niveaux prenant en compte des appariements modèle/image de courbes quelconques. Cette méthode est robuste à la présence d'occultations dans l'image, ainsi qu'aux erreurs pouvant se produire lors du suivi des primitives images. Elle s'inscrit dans un système de recalage temporel autonome et séquentiel. Cette méthode a fonctionné bien dans la plupart des cas, mais lorsque l'objet de référence est petit par rapport à la distance objet-camera, le calcul du point de vue devient moins précis. Pour pallier ce problème, nous utilisons des appariements de points d'intérêt entre images consécutives de la séquence. Le point de vue de la camera est alors calculé en minimisant une fonction de cout qui tient compte à la fois des appariements modèle/image de courbes et des appariements image/image de points. Enfin, nous prenons en compte les changements de paramètres intrinsèques de la camera qui peuvent se produire au cours de la séquence. Les méthodes optimisant à la fois les paramètres internes et le déplacement de la camera étant instables, nous avons opté pour un partitionnement automatique de la séquence en zooms et mouvements de camera. Les paramètres de l'optimisation dépendent alors du type de plan considéré. Ces méthodes sont validées aussi bien sur des données synthétiques que sur des applications en vraie grandeur, comme le projet d'illumination artificielle des ponts de Paris

Positionnement visuel pour la réalité augmentée en environnement plan

Mesurer en temps réel la pose d'une caméra relativement à des repères tridimensionnels identifiés dans une image vidéo est un, sinon le pilier fondamental de la réalité augmentée. Nous proposons de résoudre ce problème dans des environnements bâtis, à l'aide de la visionpar ordinateur. Nous montrons qu'un système de positionnement plus précis que le GPS, et par ailleurs plus stable, plus rapide et moins coûteux en mémoire que d'autres systèmes de positionnement visuel introduits dans la littérature, peut êtreobtenu en faisant coopérer : approche probabiliste et géométrie aléatoire (détection a contrario des points de fuite del'image), apprentissage profond (proposition de boites contenant des façades, élaboration d'un descripteur de façades basé sur un réseau deneurones convolutifs), inférence bayésienne (recalage par espérance-maximisation d'un modèle géométrique et sémantique compactdes façades identifiées) et sélection de modèle (analyse des mouvements de la caméra par suivi de plans texturés). Nous décrivonsde plus une méthode de modélisation in situ, qui permet d'obtenir de manière fiable, de par leur confrontation immédiate à la réalité, des modèles 3D utiles au calcul de pose tel que nous l'envisageons