Ansichtsbasierte 6 DoF Objekterkennung mit lokalen kovarianten Regionen

Diese Arbeit präsentiert einen neuen Ansatz zur Detektion und Lokalisation von Objekten, welcher die lokale Deformation korrespondierender, kovarianter Regionen nutzt, um die 6 Freiheitsgrade (DoF) einer Starrkörpertransformation zwischen einer Menge registrierter Modell- und Kameraansichten zu schätzen. Dazu werden Algorithmen entworfen, die es erlauben, aus jeder einzelnen Regionenkorrespondenz eine unabhängige 6 DoF Lagehypothese abzuleiten, falls die Oberflächennormale und Tiefe eines Regionenzentrums bekannt ist. Cluster dieser lokalen Hypothesen werden als grobe Lokalisierung und robuste Segmentierung bzw. Ausreißereliminierung für eine nachfolgende globale Lageerkennung genutzt. Dieses Vorgehen erlaubt eine integrierte Verarbeitung aller vorhandener Modell- und Kameraansichten und erlaubt die Fusion unterschiedlicher kovarianter Regionentypen, inkl. Regionen auf Basis von Tiefenbildern. Die nachfolgende Auswertung ermittelt die 6 DoF Objektlage, welche am besten den 2D-3D oder 3D-3D Korrespondenzen der Regionenzentren innerhalb eines Clusters entspricht. Die Kombination von lokaler und globaler Auswertung erlaubt selbst bei starken Beleuchtungsstörungen, großen Blickwinkeländerungen, Verdeckungen, Mehrdeutigkeiten und komplexen Szenen eine akkurate und robuste Lokalisation. Dies wurde anhand 6 Bauteilen und ausführlichen Experimenten verifiziert, wobei Genauigkeiten der Lage unter 1mm und 1° erreicht werden konnten. Nahezu alle Algorithmen sind fein granular parallelisierbar und ermöglichen daher eine Auswertezeit auf moderner Hardware unter 0.4s. Das Einlernen eines Objektmodells erfolgt mit Hilfe eines Industrieroboters und einer darauf montierten Stereokamera vollständig autonom

Kontextsensitive Erkennung und Interpretation fahrrelevanter statischer Verkehrselemente

In dieser Arbeit werden Methoden und Verfahren zur Umwelterkennung und Situationsinterpretation entwickelt, mit denen statische Verkehrselemente (Verkehrszeichen und Ampeln) erkannt und im Kontext der Verkehrssituation interpretiert werden. Die Praxistauglichkeit der entwickelten Methoden und Verfahren wird durch umfangreiche Experimente demonstriert, bei denen auf die Verwendung realer Daten, kostengünstiger Sensorik und Echtzeitverarbeitung Wert gelegt wird

Monokulare Blickrichtungsschätzung zur berührungslosen Mensch-Maschine-Interaktion

Die vorliegende Arbeit beschäftigt sich mit der berührungslosen Mensch-Maschine-Interaktion, welche hier als Interaktion mittels Erkennen der Blickrichtung des Nutzers unter Verwendung einfacher Hardware interpretiert wird. Die Forschungsschwerpunkte liegen in der Extraktion der zur Bestimmung der Blickrichtung benötigten Informationen aus 2D-Bilddaten, bestehend aus der präzisen Position der Iriden und der dreidimensionalen Position des Kopfes, mittels derer die Blickrichtung bestimmt wird

Monokulare Blickrichtungsschätzung zur berührungslosen Mensch-Maschine-Interaktion

Die vorliegende Arbeit beschäftigt sich mit der berührungslosen Mensch-Maschine-Interaktion, welche hier als Interaktion mittels Erkennen der Blickrichtung des Nutzers unter Verwendung einfacher Hardware interpretiert wird. Die Forschungsschwerpunkte liegen in der Extraktion der zur Bestimmung der Blickrichtung benötigten Informationen aus 2D-Bilddaten, bestehend aus der präzisen Position der Iriden und der dreidimensionalen Position des Kopfes, mittels derer die Blickrichtung bestimmt wird

Analyse endoskopischer Bildsequenzen für ein laparoskopisches Assistenzsystem

Rechnergestützte Assistenzsysteme zielen auf eine Minimierung der chirurgischen Belastung und Verbesserung der Operationsqualität ab und werden immer häufiger eingesetzt. Im Fokus der vorliegenden Arbeit steht die Analyse endoskopischer Bildsequenzen für eine Unterstützung eines minimalinvasiven Eingriffs. Zentrale Themen hierbei sind die Vorverarbeitung der endoskopischen Bilder, die dreidimensionale Analyse der Szene und die Klassifikation unterschiedlicher Handlungsaspekte

Analyse endoskopischer Bildsequenzen für ein laparoskopisches Assistenzsystem

Rechnergestützte Assistenzsysteme zielen auf eine Minimierung der chirurgischen Belastung und Verbesserung der Operationsqualität ab und werden immer häufiger eingesetzt. Im Fokus der vorliegenden Arbeit steht die Analyse endoskopischer Bildsequenzen für eine Unterstützung eines minimalinvasiven Eingriffs. Zentrale Themen hierbei sind die Vorverarbeitung der endoskopischen Bilder, die dreidimensionale Analyse der Szene und die Klassifikation unterschiedlicher Handlungsaspekte

Kamerabasierte Egomotion-Bestimmung mit natürlichen Merkmalen zur Unterstützung von Augmented-Reality-Systemen

In dieser Arbeit werden Verfahren zur Eigenbewegungsschätzung mit Stereokamerasystemen und Tiefenbildkameras untersucht. Der erste Teil beschäftigt sich mit Merkmalsextraktion und -Verfolgung in Bildsequenzen zum Gebrauch in Augmented-Reality-Anwendungen. Im zweiten Teil werden Anwendungsgebiete und Verfahren aus dem Bereich der Stereo-Egomotion analysiert und ein eigener Ansatz, der sowohl mit Stereobildsequenzen als auch mit Tiefenbildsequenzen zurechtkommt, vorgestellt

Entwicklung und Validierung einer automatisierten Fahrfunktion mit einem Fahrroboter

Die vorliegende Arbeit erläutert den Entwicklungsprozess einer prototypischen, modularen Softwarefunktion zur automatisierten Lösung eines hochpräzisen Rangiermanö- vers mit Bezug zu dem U-Shift-Fahrzeugkonzept des DLR Instituts für Fahrzeugkonzepte in Stuttgart. Durch das Zusammenspiel der Funktionsbausteine Umfeldüberwachung, Steuerung, Lokalisierung und Trajektorienplanung wird ein miniaturisierter Fahrroboter dazu befähigt, einen festgelegten Zielbereich unter Einhaltung gewisser Lagetoleranzen zu befahren. Verfolgt wird hierbei konsequent ein reiner Computer Vision-Ansatz. Als Datenquelle dient ausschließlich eine frontal angebrachte, monokulare und kostengünstige Weitwinkelkamera. Ein besonderer Fokus liegt auf der Erschließung des Zielbereichs in Form einer Landmark Detektion mithilfe von Deep Learning-Methoden. Für das Training des Modells liegt ein speziell für diesen Anwendungsfall erstellter Datensatz mit 13244 gelabelten Bildern vor. Das durch Anwendung des Transfer Learnings entwickelte Convolutional Neural Network (CNN) mit ResNet50-Backbone erzielt eine Genauigkeit von bis zu 97 %. Diese Ergebnisse stellen schließlich die Basis für die visuelle Odometrie zur Lokalisierung der Kamera im Raum dar. Über einen universellen PID-Regler erfolgt die Steuerung der ebenen Fahrzeugbewegung entlang einer parabolischen Solltrajektorie. Als Resultat wird eine valide Fahrfunktion vorgestellt, welche in einer Büroumgebung Positioniergenauigkeiten vergleichbar zu aktuellen autonomen Parkfunktionen aufweist und eine ausreichende Robustheit gegenüber möglichen Störobjekten besitzt

Ein modulares optisches Trackingsystem für medizintechnische Anwendungen: integrierte Datenflussarchitektur in Hard- und Software und Applikationsframework

Die vorliegende Arbeit beschreibt die Entwicklung eines modularen optischen Trackingsystems, ausgerichtet auf die speziellen Anforderungen im medizintechnischen Umfeld. Das Spektrum der vorgestellten Anwendungen des Systems reicht dabei von der Erfassung der Benutzerinteraktion in verschiedenen medizinischen Simulatoren (z.B. für Ophthalmochirurgie, Ophthalmoskopie und Neurochirurgie) bis hin zur Positionserfassung eines handgehaltenen Operationsroboters. Im Unterschied zu verfügbaren kommerziellen Trackingsystemem mit ihren eng umrissenen Anwendungsbereichen wird ein universell ausgelegtes Baukastensystem vorgestellt, das sich mit geringem Entwicklungsaufwand an die speziellen Anforderungen der jeweiligen Anwendungen anpassen lässt (so u.a. sehr kleine Geometrien, deformierbare Objekte, Einsatz von Originalinstrumenten, geringe Ressourcenverfügbarkeit im Simulator-PC). Zu diesem Zweck wird ein modulares Systemkonzept entwickelt, welches von der spezialisierten Datenverarbeitung gängiger Trackingsysteme abstrahiert und auf einer generalisierten, modularen Systemarchitektur für den Einsatz aller Arten von Markern mit drei Freiheitsgraden aufbaut. Neben den verbreiteten infrarotbasierten Signaliserungstechniken werden dabei auch passive Farbmarker zur Objektsignalisierung unterstützt. Die Implementierung von Bildverarbeitungsaufgaben in spezialisierter Hardware (FPGAs) direkt auf dem Kameradatenstrom ermöglicht eine frühzeitige Datenreduktion und damit niedrige Latenzzeiten. Der Entwicklungsprozess für neuartige Trackinglösungen wird vereinfacht durch die enge Integration der Hard- und Softwaremodule in einer einheitlichen durchgängigen Datenflussarchitektur, die flexibel an die jeweilige Aufgabenstellung anpassbar ist. Ein erweiterbares graphisches Frontend schließlich unterstützt bei Betrieb und Konfiguration und erlaubt auch die Simulation ganzer Systeme während der Entwicklung