SELF-LOCALIZATION OF A MULTI-FISHEYE CAMERA BASED AUGMENTED REALITY SYSTEM IN TEXTURELESS 3D BUILDING MODELS

Georeferenced images help planners to compare and document the progress of underground construction sites. As underground positioning can not rely on GPS/GNSS, we introduce a solely vision based localization method, that makes use of a textureless 3D CAD model of the construction site. In our analysis-by-synthesis approach, depth and normal fisheye images are rendered from presampled positions and gradient orientations are extracted to build a high dimensional synthetic feature space. Acquired camera images are then matched to those features by using a robust distance metric and fast nearest neighbor search. In this manner, initial poses can be obtained on a laptop in real-time using concurrent processing and the graphics processing unit

Voir l'invisible : de la vision par ordinateur aux réalités augmentée et Virtuelle

International audienceThis article is dedicated to the soar of virtual reality (VR) and augmented reality (AR), with a focus on present and possible medical applications. After some de nitions of the eld, the article reviews current applications by classifying them between those that tend to allow perception of invisible objects or phenomena and those that tend to allow a different perception of what is already visible. Then, from the present limitations of AR/VR technologies, the article discusses possible applications in the histotechnology field.Cet article est consacré à l'essor de la réalité virtuelle (RV) et de la réalité augmentée (RA), notamment en ce qui concerne leurs applications médicales actuelles et potentielles. Après des définitions du domaine, il fournit un panorama des applications existantes selon une classification en deux catégories : celles qui cherchent à permettre la visualisation d'objets ou de phénomènes invisibles et celles qui cherchent a contrario à percevoir différemment ce qui est d'ores et déjà visibles. a partir des limites actuelles des technologies de rV/ra, l'article discute ensuite les applications potentielles en histotechnologie

Real-Time Multi-Fisheye Camera Self-Localization and Egomotion Estimation in Complex Indoor Environments

In this work a real-time capable multi-fisheye camera self-localization and egomotion estimation framework is developed. The thesis covers all aspects ranging from omnidirectional camera calibration to the development of a complete multi-fisheye camera SLAM system based on a generic multi-camera bundle adjustment method

Kamerabasierte Egomotion-Bestimmung mit natürlichen Merkmalen zur Unterstützung von Augmented-Reality-Systemen

In dieser Arbeit werden Verfahren zur Eigenbewegungsschätzung mit Stereokamerasystemen und Tiefenbildkameras untersucht. Der erste Teil beschäftigt sich mit Merkmalsextraktion und -Verfolgung in Bildsequenzen zum Gebrauch in Augmented-Reality-Anwendungen. Im zweiten Teil werden Anwendungsgebiete und Verfahren aus dem Bereich der Stereo-Egomotion analysiert und ein eigener Ansatz, der sowohl mit Stereobildsequenzen als auch mit Tiefenbildsequenzen zurechtkommt, vorgestellt

Ein gebrauchstaugliches Augmented Reality-System für geometrische Analysen in der Produktentstehung

Augmented Reality beschreibt die Erweiterung der menschlichen Wahrnehmung der Realität durch virtuelle Zusatzinformationen. Die Technologie kann in der Produktentstehung für die gemeinsame geometrische Analyse physischer und virtueller Modelle eingesetzt werden. Sie verspricht damit großes Potenzial für eine engere Verzahnung physischer und virtueller Entwicklungsaktivitäten. Trotzdem werden Augmented Reality-Systeme heute kaum produktiv in der Produktentstehung eingesetzt. Eine genauere Betrachtung der bekannten Anwendungen bestätigt die Potenziale von Augmented Reality für geometrische Analysen in Bezug auf Qualität, Kosten und Zeit der Produktentstehung. Für die Durchführung von Augmented Reality-Analysen sind in der Literatur verschiedene Systemlösungen beschrieben, welche sich hauptsächlich durch die eingesetzten Komponenten zur Lagebestimmung unterscheiden. Die einzelnen Augmented Reality-Systemkomponenten scheinen für sich betrachtet zwar technisch weitestgehend ausgereift, die Systeme bieten allerdings selten einen für den Anwender durchgängigen Gesamtprozess. Die Bedienung ist in der Regel sehr komplex und erfordert viel spezifisches Fachwissen. Um Augmented Reality für geometrische Analysen in der Produktentstehung umfassend nutzbar zu machen, wird die Gebrauchstauglichkeit in den Mittelpunkt der folgenden Systementwicklung gestellt. Auf Basis einer ausführlichen Beschreibung des Nutzungskontextes werden die grundlegenden Anforderungen an ein gebrauchstaugliches Augmented Reality-System formuliert. Die möglichen Systemkomponenten werden bezüglich dieser Anforderungen bewertet und ausgewählt, die zugehörigen Prozesse werden aus Benutzersicht ausgestaltet und im Sinne einer möglichst hohen Gebrauchstauglichkeit strukturiert. Mit diesem Wissen wird eine Benutzerführung entwickelt, welche den Anwender durch den gesamten Untersuchungsprozess führt. Die Gebrauchstauglichkeit des so entwickelten Augmented Reality-Systems wird schließlich im Rahmen einer Probandenstudie evaluiert

Adaptable model-based tracking using analysis-by-synthesis techniques

In this paper we present a novel analysis-by-synthesis approach for real-time camera tracking in industrial scenarios. The camera pose estimation is based on the tracking of line features which are generated dynamically in every frame by rendering a polygonal model and extracting contours out of the rendered scene. Different methods of the line model generation are investigated. Depending on the scenario and the given 3D model either the image gradient of the frame buffer or discontinuities of the z-buffer and the normal map are used for the generation of a 2D edge map. The 3D control points on a contour are calculated by using the depth value stored in the z-buffer. By aligning the generated features with edges in the current image, the extrinsic parameters of the camera are estimated. The camera pose used for rendering is predicted by a line-based frame-to-frame tracking which takes advantage of the generated edge features. The method is validated and evaluated with the help of ground-truth data as well as real image sequences