Interpolation de points de vue : approches directe et variationnelle

National audienceNous abordons la problématique d'interpolation de points de vue à partir d'une paire d'images stéréoscopique. Ces techniques comportent généralement 3 étapes : l'estimation des correspondances entre les vues, le dosage des contributions de chaque image dans la vue finale, et le rendu. D'un côté, tandis que l'état de l'art est très vaste dans l'estimation des correspondances, nous trouvons peu de travaux formels analysant quel est le "bon" dosage des contributions lors du mélange des images. D'un autre côté, concernant le rendu de nouveaux points de vue nous identifions deux groupes de méthodes bien distincts, les méthodes "directes", et les méthodes "variationnelles". Nous conduisons une étude pour analyser la performance des facteurs de dosage ainsi que l'impact de la méthode utilisée sur le résultat final obtenu. Nous évaluons ces méthodes sur des scènes lambertiennes et non-lambertiennes afin de voir, dans chaque cas, quel choix est le plus pertinent

Defining the Pose of any 3D Rigid Object and an Associated Distance

The pose of a rigid object is usually regarded as a rigid transformation, described by a translation and a rotation. However, equating the pose space with the space of rigid transformations is in general abusive, as it does not account for objects with proper symmetries -- which are common among man-made objects.In this article, we define pose as a distinguishable static state of an object, and equate a pose with a set of rigid transformations. Based solely on geometric considerations, we propose a frame-invariant metric on the space of possible poses, valid for any physical rigid object, and requiring no arbitrary tuning. This distance can be evaluated efficiently using a representation of poses within an Euclidean space of at most 12 dimensions depending on the object's symmetries. This makes it possible to efficiently perform neighborhood queries such as radius searches or k-nearest neighbor searches within a large set of poses using off-the-shelf methods. Pose averaging considering this metric can similarly be performed easily, using a projection function from the Euclidean space onto the pose space. The practical value of those theoretical developments is illustrated with an application of pose estimation of instances of a 3D rigid object given an input depth map, via a Mean Shift procedure

Viewpoint Interpolation: Direct and Variational Methods

International audienceWe address the topic of novel view synthesis from a stereoscopic pair of images. The techniques have mainly 3 stages: the reconstruction of correspondences between the views, the estimation of the blending factor of each view for the final view, and the rendering. The state of the art has mainly focused on the correspondence topic, but little work addresses the question of which blending factors are best. The rendering methods can be classified into "direct" methods, defining the final image as a function of the original images, and "variational" methods, where the synthesized image is expressed as the solution minimising an energy. In this paper, we experiment different combinations of the blending factors and the rendering method, in order to demonstrate the effect of these two factors on the final image quality

Systèmes d'acquisition multivues

National audienceMultiview acquisition, the focus of this chapter, relates to the capture of synchronized video data representing different viewpoints of a single scene. In contrast to video surveillance systems, which deploy multiple cameras to visually cover a large scale environment to be monitored with little redundancy, the materials, devices or systems used in multiview acquisition are designed to cover several perspectives of a single, often fairly restricted, physical space and use redundancy in images for specific aims. Depending on the final application, the number, layout and settings of cameras can fluctuate greatly. This chapter will introduce the main camera configurations in a purely video multiview capture context, using notable practical examples and their use. Each time, we will also propose links to databases providing access to media produced by devices within each category.L'acquisition multivues, objet de ce chapitre, concerne la capture de données vidéo synchronisées représentant différents points de vue d'une même scène. \textit{A contrario} des systèmes de vidéosurveillance qui déploient de multiples caméras pour couvrir visuellement avec peu de redondance un espace à surveiller de grande étendue, les matériels, dispositifs ou systèmes ici visés couvrent, depuis plusieurs points de vues, un même espace physique, souvent assez réduit, pour profiter de la redondance des images. Selon les applications visées, le nombre, la disposition et le réglage des caméras peuvent grandement fluctuer. Ce chapitre va présenter les principales configurations de capture multivues purement vidéo en se basant sur des exemples significatifs de réalisations et en indiquant les usages qui en sont faits. A chaque fois, seront proposées des bases de données accessibles permettant au lecteur d'accéder à des médias acquis par des dispositifs relevant de la catégorie étudiée

Estimations simultanées du flot de scène et d'occultations par un système d'EDP

National audienceThis paper presents a method for scene flow estimation from a calibrated stereo image sequence. The scene flow contains the 3-D displacement field of scene points, so that the 2-D optical flow can be seen as a projection of the scene flow onto the images. We propose to recover the scene flow by coupling the optical flow estimation in both cameras with dense stereo matching between the images, thus reducing the number of unknowns per image point. Moreover our approach handles occlusions both for the optical flow and the stereo. We obtain a partial differential equations system coupling both the optical flow and the stereo, which is numerically solved using an original multi-resolution algorithm. Whereas previous variational methods were estimating the 3-D reconstruction at time t and the scene flow separately, our method jointly estimates both. We present numerical results on synthetic data with ground truth information, and we also compare the accuracy of the scene flow projected in one camera with a state-of-the-art single-camera optical flow computation method. Results are also presented on a real stereo sequence with large motion and stereo discontinuities.Ce papier présente une méthode d'estimation du flot de scène à partir de séquences stéréo issues d'un couple de caméras calibrées. Le flot de scène représente le champ de déplacement 3D des points d'une scène, de telle sorte que le flot optique traditionnel peut être vu comme la projection de celui-ci dans les images. Nous proposons d'estimer le flot de scène en couplant l'évaluation du flot optique dans les séquences d'images associées à chaque caméra, à l'estimation de la correspondance stéréo dense entre les images. De plus, notre approche évalue, en même temps que le flot de scène, les occultations à la fois en flot optique et en stéréo. Nous obtenons au final un système d'EDP couplant le flot optique et la stéréo, que nous résolvons numériquement à l'aide d'un algorithme multirésolution original. Alors que les précédentes méthodes variationnelles estimaient la reconstrution 3D au temps t et le flot de scène séparément, notre méthode estime les deux simultanément. Nous présentons des résultats numériques sur des séquences synthétiques avec leur vérité terrain, et nous comparons également la précision du flot de scène projeté dans une caméra avec une méthode récente et performante d'estimation variationnelle du flot optique. Des résultats sont présentés sur une séquence stéréo réelle, se rapportant à un mouvement non rigide et à de larges discontinuités en flot optique et en stéréo

A fast and Efficient Subpixelic Edge Detector

National audienceIn this article we present a two dimensional edge extractor which gives the edge position in an image with a subpixelic precision. The method presented here gives a good accuracy with a low computational cost, and its implementation is very simple since it is derivated from the well-known Non-Maxima Suppression method [I, 3]. We also justify the method by showing that it gives the exact result in a theoretical one dimensional example. We have tested the edge extractor on several synthetical and real images and the results are reported in this paper

A Variational Method for Scene Flow Estimation from Stereo Sequences

This report presents a method for scene flow estimation from a calibrated stereo image sequence. The scene flow contains the 3-D displacement field of scene points, so that the 2-D optical flow can be seen as a projection of the scene flow onto the images. We propose to recover the scene flow by coupling the optical flow estimation in both cameras with dense stereo matching between the images, thus reducing the number of unknowns per image point. The use of a variational framework allows us to properly handle discontinuities in the observed surfaces and in the 3-D displacement field. Moreover our approach handles occlusions both for the optical flow and the stereo. We obtain a partial differential equations system coupling both the optical flow and the stereo, which is numerically solved using an original multi-resolution algorithm. Whereas previous variational methods were estimating the 3-D reconstruction at time t and the scene flow separately, our method jointly estimates both in a single optimization. We present numerical results on synthetic data with ground truth information, and we also compare the accuracy of the scene flow projected in one camera with a state-of-the-art single-camera optical flow computation method. Results are also presented on a real stereo sequence with large motion and stereo discontinuities

Tracking with Stereo-vision System for Low Speed Following Applications

International audienceResearch in adaptative cruise control (ACC) is currently one of the most important topics in the field of intelligent transportation systems. The main challenge is to perceive the environment, especialy at low speed. In this paper, we present a novel approach to track the 3-D trajectory and speed of the obstacles and the surrounding vehicles through a stereo-vision system. This tracking method extends the classical patch-based Lucas-Kanade algorithm [9], [1] by integrating the geometric constraints of the stereo system into the motion model: the epipolar constraint, which enforces the tracked patches to remain on the epipolar lines, and the magnification constraint, which links the disparity of the tracked patches to the apparent size of these patches. We report experimental results on simulated and real data showing the improvement in accuracy and robustness of our algorithm compared to the classical Lucas-Kanade tracker

Placement optimal de caméras contraintes pour la synthèse de nouvelles vues

International audienceNous étudions le problème du placement optimal sous contraintes, de plusieurs caméras, pour la synthèse de nouvelles vues. Une telle configuration optimale est définie comme celle qui minimise l'incertitude de projection des pixels des caméras de prise de vue sur la vue à synthétiser. Le rendu de cette vue est souvent précédé d'une phase de reconstruction 3D approximative. Nous dérivons la matrice de covariance associée à l'incertitude sur la géométrie, puis nous propageons l'erreur sur le plan de la nouvelle vue. Nous observons l'influence de l'interoculaire et de la distance focale des caméras sur l'erreur projetée, pour des distributions de points aléatoires à diverses profondeurs