Personenwiedererkennung mittels maschineller Lernverfahren für öffentliche Einsatzumgebungen

Die erscheinungsbasierte Personenwiedererkennung in öffentlichen Einsatzumgebungen ist eines der schwierigsten, noch ungelösten Probleme der Bildverarbeitung. Viele Teilprobleme können nur gelöst werden, wenn Methoden des maschinellen Lernens mit Methoden der Bildverarbeitung kombiniert werden. In dieser Arbeit werden maschinelle Lernverfahren eingesetzt, um alle Abarbeitungsschritte einer erscheinungsbasierten Personenwiedererkennung zu verbessern: Mithilfe von Convolutional Neural Networks werden erscheinungsbasierte Merkmale gelernt, die eine Wiedererkennung auf menschlichem Niveau ermöglichen. Für die Generierung des Templates zur Beschreibung der Zielperson wird durch Einsatz maschineller Lernverfahren eine automatische Auswahl personenspezifischer, diskriminativer Merkmale getroffen. Durch eine gelernte Metrik können beim Vergleich von Merkmalsvektoren szenariospezifische Umwelteinflüsse kompensiert werden. Eine Fusion komplementärer Merkmale auf Score Level steigert die Wiedererkennungsleistung deutlich. Dies wird vor allem durch eine gelernte Gewichtung der Merkmale erreicht. Das entwickelte Verfahren wird exemplarisch anhand zweier Einsatzszenarien - Videoüberwachung und Robotik - evaluiert. Bei der Videoüberwachung ermöglicht die Wiedererkennung von Personen ein kameraübergreifendes Tracking. Dies hilft menschlichen Operateuren, den Aufenthaltsort einer gesuchten Person in kurzer Zeit zu ermitteln. Durch einen mobilen Serviceroboter kann der aktuelle Nutzer anhand einer erscheinungsbasierten Wiedererkennung identifiziert werden. Dies hilft dem Roboter bei der Erfüllung von Aufgaben, bei denen er den Nutzer lotsen oder verfolgen muss. Die Qualität der erscheinungsbasierten Personenwiedererkennung wird in dieser Arbeit anhand von zwölf Kriterien charakterisiert, die einen Vergleich mit biometrischen Verfahren ermöglichen. Durch den Einsatz maschineller Lernverfahren wird bei der erscheinungsbasierten Personenwiedererkennung in den betrachteten unüberwachten, öffentlichen Einsatzfeldern eine Erkennungsleistung erzielt, die sich mit biometrischen Verfahren messen kann.Appearance-based person re-identification in public environments is one of the most challenging, still unsolved computer vision tasks. Many sub-tasks can only be solved by combining machine learning with computer vision methods. In this thesis, we use machine learning approaches in order to improve all processing steps of the appearance-based person re-identification: We apply convolutional neural networks for learning appearance-based features capable of performing re-identification at human level. For generating a template to describe the person of interest, we apply machine learning approaches that automatically select person-specific, discriminative features. A learned metric helps to compensate for scenario-specific perturbations while matching features. Fusing complementary features at score level improves the re-identification performance. This is achieved by a learned feature weighting. We deploy our approach in two applications, namely surveillance and robotics. In the surveillance application, person re-identification enables multi-camera tracking. This helps human operators to quickly determine the current location of the person of interest. By applying appearance-based re-identification, a mobile service robot is able to keep track of users when following or guiding them. In this thesis, we measure the quality of the appearance-based person re-identification by twelve criteria. These criteria enable a comparison with biometric approaches. Due to the application of machine learning techniques, in the considered unsupervised, public fields of application, the appearance-based person re-identification performs on par with biometric approaches.Die erscheinungsbasierte Personenwiedererkennung in öffentlichen Einsatzumgebungen ist eines der schwierigsten, noch ungelösten Probleme der Bildverarbeitung. Viele Teilprobleme können nur gelöst werden, wenn Methoden des maschinellen Lernens mit Methoden der Bildverarbeitung kombiniert werden. In dieser Arbeit werden maschinelle Lernverfahren eingesetzt, um alle Abarbeitungsschritte einer erscheinungsbasierten Personenwiedererkennung zu verbessern, sodass eine Wiedererkennung auf menschlichem Niveau ermöglicht wird. Das entwickelte Verfahren wird anhand zweier Einsatzszenarien — Videoüberwachung und Robotik — evaluiert. Bei der Videoüberwachung ermöglicht die Wiedererkennung von Personen ein kameraübergreifendes Tracking um den Aufenthaltsort einer gesuchten Person in kurzer Zeit zu ermitteln. Durch einen mobilen Serviceroboter kann der aktuelle Nutzer anhand einer erscheinungsbasierten Wiedererkennung identifiziert werden. Dies hilft dem Roboter beim Lots

Konzeption und Realisierung einer webbasierten Lernumgebung für die Signal- und Mustererkennung

Abstract The present paper concentrates on a learning software for signal and pattern recognition which is flexible in use and practically oriented. The main goal of such software is to organize and realize virtual, web-based practical trainings. In order to achieve this goal, a concept for a web and browser-based learning environment called "Virtual Laboratory for Signal and Pattern Recognition" (vPSM) is developed and prototyped within the framework of this paper. The main focus of the present paper is developing a concept for and implementing a prototype of interactive and virtual devices which can be used to hold practical trainings, for self-study based on self-controlled and explorative learning, and to enhance lectures. A learning environment for signal and pattern recognition is conceptualized based on the fundamental learning theory, on the essentials of computer supported learning environments, on the state-of-the-art analysis, on the field specific demands, and on the current situation of the institute. Special attention is given to the didactics, to various structural aspects regarding topic distribution, and to the order in which the topics are to be worked on. The primary focus here is placed upon conceptualizing the virtual devices, the different user actions, and the tasks. The absolute mark of quality for learning and for a learning environment is that the learning objects are interactive. This factor is decisive for developing and implementing especially the interactive devices. The learning environment is augmented by the availability of learning content to supplement lectures and exercises, by interactive experimental surroundings, by a collection of exercises and information, and by help systems. At the same time, various interfaces are available to implement results from continuing scientific work. By integrating the computer algebra system "Mathematica" via a Java-API, a powerful tool for mathematical operations and for creating manifold types of presentations (auditory, visual) is also available. When the technical realization is described, an insight is given into the technologies used, into the database based functions (role and task concept), and into the integration of the mathematical tools. The present paper concludes with a discussion regarding the obtained results and the considerations regarding the further development of the learning environment vPSM.Die vorliegende Arbeit stellt sich der Herausforderung nach einer flexibel einsetzbaren, praxisverbundenen Lehrsoftware für die Signal- und Mustererkennung mit dem Kernanliegen, die Organisation und Durchführung eines virtuellen, webbasierten Praktikums zu ermöglichen. Dazu wurde im Rahmen dieser Arbeit ein Konzept für eine web- und browserbasierte Lernumgebung „Virtuelles Praktikum für die Signal- und Mustererkennung" (vPSM) entwickelt und prototypisch realisiert. Im Zentrum der Arbeit stand die Konzeption und prototypische Implementierung von interaktiven Bedienelementen – den virtuellen Geräten, die sich kontextunabhängig sowohl für die Durchführung von Praktika, für das Selbststudium - auf der Basis selbstgesteuerten, explorierenden Lernens - und zur Ergänzung der Lehrveranstaltungen einsetzen lassen. Ausgehend von den lerntheoretischen Grundlagen, den Grundlagen computerunterstützter Lernumgebungen, der „State-of-the-Art"-Analyse, den fachspezifischen Anforderungen und der aktuellen Ausgangssituation am Fachgebiet wurde ein Konzept für eine Lernumgebung für die Signal- und Musterkennung entwickelt. Dabei wurde speziell auf die didaktische Konzeption, verschiedene Strukturierungskonzepte bezüglich der thematischen Stoffaufteilung und bezüglich der Bearbeitungsabfolge eingegangen. Ein besonderes Augenmerk wurde auf die Konzeption der virtuellen Geräte, die verschiedenen Nutzeraktionsformen und die Aufgabenkonzeption gelegt. Bei der Entwicklung und Implementierung, speziell der interaktiven Geräte, war ausschlaggebend, dass die Interaktivität der Lernobjekte ein entscheidendes Qualitätskriterium des Lernens bzw. einer Lernumgebung ist. Ergänzt wird die Lernumgebung durch die Bereitstellung vorlesungs- und übungsergänzender Lehrinhalte, interaktiver Experimentierumgebungen, Aufgaben- und Informationssammlungen und Hilfesysteme. Sie stellt gleichzeitig vielfältige Schnittstellen zur Verfügung, um Ergebnisse aus weiterführenden wissenschaftlichen Arbeiten zu implementieren. Durch die Integration des Computer-Algebra-Systems Mathematica über eine Java-API steht ein mächtiges Werkzeug für die mathematischen Operationen und die Erzeugung verschiedenster Präsentationsmöglichkeiten (auditiv, visuell) zur Verfügung. In Zusammenhang mit der Beschreibung der technischen Realisierung wird ein Einblick in die verwendeten Technologien, die datenbankbasierten Funktionen (Rollen- und Aufgabenkonzept) und die Integration der mathematischen Werkzeuge gegeben. Mit einer Diskussion der erreichten Ergebnisse und Überlegungen zu Weiterentwicklungen der Lernumgebung vPSM schließt die Arbeit ab

Forum Bildverarbeitung 2016

Bildverarbeitung spielt in vielen Bereichen der Technik zur schnellen und berührungslosen Datenerfassung eine Schlüsselrolle. Der vorliegende Tagungsband des „Forums Bildverarbeitung“, das am 1. und 2. Dezember 2016 in Karlsruhe als Veranstaltung des Karlsruher Instituts für Technologie und des Fraunhofer-Instituts für Optronik, Systemtechnik und Bildauswertung stattfand, enthält die Aufsätze der eingegangenen Beiträge. Darin wird über aktuelle Trends und Lösungen der Bildverarbeitung berichtet

Ansichtsbasierte 6 DoF Objekterkennung mit lokalen kovarianten Regionen

Diese Arbeit präsentiert einen neuen Ansatz zur Detektion und Lokalisation von Objekten, welcher die lokale Deformation korrespondierender, kovarianter Regionen nutzt, um die 6 Freiheitsgrade (DoF) einer Starrkörpertransformation zwischen einer Menge registrierter Modell- und Kameraansichten zu schätzen. Dazu werden Algorithmen entworfen, die es erlauben, aus jeder einzelnen Regionenkorrespondenz eine unabhängige 6 DoF Lagehypothese abzuleiten, falls die Oberflächennormale und Tiefe eines Regionenzentrums bekannt ist. Cluster dieser lokalen Hypothesen werden als grobe Lokalisierung und robuste Segmentierung bzw. Ausreißereliminierung für eine nachfolgende globale Lageerkennung genutzt. Dieses Vorgehen erlaubt eine integrierte Verarbeitung aller vorhandener Modell- und Kameraansichten und erlaubt die Fusion unterschiedlicher kovarianter Regionentypen, inkl. Regionen auf Basis von Tiefenbildern. Die nachfolgende Auswertung ermittelt die 6 DoF Objektlage, welche am besten den 2D-3D oder 3D-3D Korrespondenzen der Regionenzentren innerhalb eines Clusters entspricht. Die Kombination von lokaler und globaler Auswertung erlaubt selbst bei starken Beleuchtungsstörungen, großen Blickwinkeländerungen, Verdeckungen, Mehrdeutigkeiten und komplexen Szenen eine akkurate und robuste Lokalisation. Dies wurde anhand 6 Bauteilen und ausführlichen Experimenten verifiziert, wobei Genauigkeiten der Lage unter 1mm und 1° erreicht werden konnten. Nahezu alle Algorithmen sind fein granular parallelisierbar und ermöglichen daher eine Auswertezeit auf moderner Hardware unter 0.4s. Das Einlernen eines Objektmodells erfolgt mit Hilfe eines Industrieroboters und einer darauf montierten Stereokamera vollständig autonom

Automatische Registrierung adaptiver Modelle zur Typerkennung technischer Objekte [online]

Anwendungen der Bildanalyse werden in zunehmendem Maße unter Verwendung dreidimensionaler Modelle realisiert und fusionieren auf diese Weise Methoden der Computergrafik und der Bildauswertung. Mit dem Ziel der automatischen Erfassung dynamischer Szenenaktivitäten ist in den letzten Jahren ein vermehrter Einsatz adaptiver Modelle zu beobachten. In der vorliegenden Arbeit wird ein neu entwickeltes Verfahren zur automatischen Konstruktion adaptiver Modelle für technische Objekte vorgestellt. Ferner werden Module zur automatischen Anpassung dieser adaptiven Modelle an Grauwertbilder beschrieben, die durch Synthese-Analyse-Iterationen die Brücke zur Bildanalyse schlagen. Die zentrale Stärke der vorgestellten Komponenten liegt darin, dass sie aus Einzelbildern dreidimensionale Rekonstruktionen für unbekannte Objektvarianten liefern. Wie experimentell gezeigt wird, sind diese Rekonstruktionen geometrisch genauer als handelsübliche Modelle. Die Leistungsfähigkeit der entwickelten Verfahren wird am Beispiel der Flugzeugtypisierung gezeigt. Darüber hinaus wird die Anwendbarkeit der Module zur Lageschätzung demonstriert

Automatische Registrierung adaptiver Modelle zur Typerkennung technischer Objekte [online]

Anwendungen der Bildanalyse werden in zunehmendem Maße unter Verwendung dreidimensionaler Modelle realisiert und fusionieren auf diese Weise Methoden der Computergrafik und der Bildauswertung. Mit dem Ziel der automatischen Erfassung dynamischer Szenenaktivitäten ist in den letzten Jahren ein vermehrter Einsatz adaptiver Modelle zu beobachten. In der vorliegenden Arbeit wird ein neu entwickeltes Verfahren zur automatischen Konstruktion adaptiver Modelle für technische Objekte vorgestellt. Ferner werden Module zur automatischen Anpassung dieser adaptiven Modelle an Grauwertbilder beschrieben, die durch Synthese-Analyse-Iterationen die Brücke zur Bildanalyse schlagen. Die zentrale Stärke der vorgestellten Komponenten liegt darin, dass sie aus Einzelbildern dreidimensionale Rekonstruktionen für unbekannte Objektvarianten liefern. Wie experimentell gezeigt wird, sind diese Rekonstruktionen geometrisch genauer als handelsübliche Modelle. Die Leistungsfähigkeit der entwickelten Verfahren wird am Beispiel der Flugzeugtypisierung gezeigt. Darüber hinaus wird die Anwendbarkeit der Module zur Lageschätzung demonstriert