Local Stereo Matching Using Adaptive Local Segmentation

We propose a new dense local stereo matching framework for gray-level images based on an adaptive local segmentation using a dynamic threshold. We define a new validity domain of the fronto-parallel assumption based on the local intensity variations in the 4-neighborhood of the matching pixel. The preprocessing step smoothes low textured areas and sharpens texture edges, whereas the postprocessing step detects and recovers occluded and unreliable disparities. The algorithm achieves high stereo reconstruction quality in regions with uniform intensities as well as in textured regions. The algorithm is robust against local radiometrical differences; and successfully recovers disparities around the objects edges, disparities of thin objects, and the disparities of the occluded region. Moreover, our algorithm intrinsically prevents errors caused by occlusion to propagate into nonoccluded regions. It has only a small number of parameters. The performance of our algorithm is evaluated on the Middlebury test bed stereo images. It ranks highly on the evaluation list outperforming many local and global stereo algorithms using color images. Among the local algorithms relying on the fronto-parallel assumption, our algorithm is the best ranked algorithm. We also demonstrate that our algorithm is working well on practical examples as for disparity estimation of a tomato seedling and a 3D reconstruction of a face

Dynamic 3D Urban Scene Modeling Using Multiple Pushbroom Mosaics

In this paper, a unified, segmentation-based approach is proposed to deal with both stereo reconstruction and moving objects detection problems using multiple stereo mosaics. Each set of parallel-perspective (pushbroom) stereo mosaics is generated from a video sequence captured by a single video camera. First a colorsegmentation approach is used to extract the so-called natural matching primitives from a reference view of a pair of stereo mosaics to facilitate both 3D reconstruction of textureless urban scenes and man-made moving targets (e.g. vehicles). Multiple pairs of stereo mosaics are used to improve the accuracy and robustness in 3D recovery and occlusion handling. Moving targets are detected by inspecting their 3D anomalies, either violating the epipolar geometry of the pushbroom stereo or exhibiting abnormal 3D structure. Experimental results on both simulated and real video sequences are provided to show the effectiveness of our approach. 1

Fast, Approximate Piecewise-Planar Modeling Based on Sparse Structure-from-Motion and Superpixels

Bódis-Szomorú A., Riemenschneider H., Van Gool L., ''Fast, approximate piecewise-planar modeling based on sparse structure-from-motion and superpixels'', 27th IEEE conference on computer vision and pattern recognition - CVPR 2014, pp. 469-476, June 23-28, 2014, Columbus, Ohio, USA.status: publishe

Ein segmentierungsgestützter Variationsansatz zur Stereorekonstruktion

Eine der wichtigsten Aufgabenstellungen in der Computer-Vision ist die Berechnung des Optischen Flusses und das damit nah verwandte Stereo Matching. Das ultimative Ziel dieser beiden Techniken ist die Bewegung der Objekte in einer Bildsequenz zu schätzen und diese anschließend dreidimensional zu rekonstruieren. Viele Algorithmen setzen dabei auf einen pixelbasierten Ansatz. Sie berechnen die Korrespondenzen der Bilder auf Pixelebene und weisen deshalb eine hohe Laufzeit und Komplexität auf. Die Algorithmen sind somit nicht geeignet, wenn eine schnelle Berechnung benötigt wird. Das Ziel dieser Arbeit ist die Entwicklung eines Algorithmus, welcher auf einem segmentbasierten Ansatz aufbaut. Hierbei werden die Pixel des Bildes zu einzelnen Objekten zusammenfasst. Durch die einstellbare Segmentierung wird die Komplexität des zu lösenden Problems stark verringert und somit die Laufzeit verbessert. Zudem erhöht sich die Robustheit durch die segmentweise Zusammenfassung der Bildinformation.One of the most important tasks in computer-vision is the computation of the optical flow and the closely related stereo matching. The ultimate goal of these techniques is to estimate the movement of objects in an image sequence and subsequently to reconstruct a three-dimensional scene. Many algorithms rely on a pixel-based approach. They calculate the correspondence for each pixel and thus have a high runtime and complexity. Therefore, these algorithms are not suitable when fast calculations are required. The aim of this work is to develop an algorithm which is based on a segment-based approach, which merges the pixels of the image into individual objects. Due to the adjustable segmentation, the complexity of the problem to be solved is greatly reduced, thus improving the runtime. In addition, the robustness is increased by the segment-wise Summary of image information

Ein segmentierungsgestützter Variationsansatz zur Stereorekonstruktion

Eine der wichtigsten Aufgabenstellungen in der Computer-Vision ist die Berechnung des Optischen Flusses und das damit nah verwandte Stereo Matching. Das ultimative Ziel dieser beiden Techniken ist die Bewegung der Objekte in einer Bildsequenz zu schätzen und diese anschließend dreidimensional zu rekonstruieren. Viele Algorithmen setzen dabei auf einen pixelbasierten Ansatz. Sie berechnen die Korrespondenzen der Bilder auf Pixelebene und weisen deshalb eine hohe Laufzeit und Komplexität auf. Die Algorithmen sind somit nicht geeignet, wenn eine schnelle Berechnung benötigt wird. Das Ziel dieser Arbeit ist die Entwicklung eines Algorithmus, welcher auf einem segmentbasierten Ansatz aufbaut. Hierbei werden die Pixel des Bildes zu einzelnen Objekten zusammenfasst. Durch die einstellbare Segmentierung wird die Komplexität des zu lösenden Problems stark verringert und somit die Laufzeit verbessert. Zudem erhöht sich die Robustheit durch die segmentweise Zusammenfassung der Bildinformation.One of the most important tasks in computer-vision is the computation of the optical flow and the closely related stereo matching. The ultimate goal of these techniques is to estimate the movement of objects in an image sequence and subsequently to reconstruct a three-dimensional scene. Many algorithms rely on a pixel-based approach. They calculate the correspondence for each pixel and thus have a high runtime and complexity. Therefore, these algorithms are not suitable when fast calculations are required. The aim of this work is to develop an algorithm which is based on a segment-based approach, which merges the pixels of the image into individual objects. Due to the adjustable segmentation, the complexity of the problem to be solved is greatly reduced, thus improving the runtime. In addition, the robustness is increased by the segment-wise Summary of image information

Occlusion handling in correlation-based matching

In binocular stereovision, the accuracy of the 3D reconstruction depends on the accuracy of matching results. Consequently, matching is an important task. Our first goal is to present a state of the art of matching methods. We define a generic and complete algorithm based on essential components to describe most of the matching methods. Occlusions are one of the most important difficulties and we also present a state of the art of methods dealing with occlusions. Finally, we propose matching methods using two correlation measures to take into account occlusions. The results highlight the best method that merges two disparity maps obtained with two different measures.En stéréovision binoculaire, la mise en correspondance est une étape cruciale pour réaliser la reconstruction 3D de la scène. De très nombreuses publications traitent ce problème. Ainsi, le premier objectif est de proposer un état de l'art des méthodes de mise en correspondance. Nous synthétisons cette étude en présentant un algorithme générique complet faisant intervenir des éléments constituants permettant de décrire les différentes étapes de la recherche de correspondances. Une des plus grandes difficultés, au cours de l'appariement, provient des occultations. C'est pourquoi le second objectif est de présenter un état de l'art des méthodes qui prennent en compte cette difficulté. Enfin, le dernier objectif est de présenter de nouvelles méthodes hybrides, dans le cadre des méthodes locales à base de corrélation. Nous nous appuyons sur l'utilisation de deux mesures de corrélation permettant de mieux prendre en compte le problème des occultations. Les résultats mettent en évidence la meilleure méthode qui consiste à fusionner deux cartes de disparités obtenues avec des mesures différentes