Über lernende optische Inspektion am Beispiel der Schüttgutsortierung

Die automatische optische Inspektion spielt als zerstörungsfreie Analysemethode in modernen industriellen Fertigungsprozessen eine wichtige Rolle. Typische, kommerziell eingesetzte automatische Inspektionssysteme sind dabei speziell an die jeweilige Aufgabenstellung angepasst und sind sehr aufwendig in der Entwicklung und Inbetriebnahme. Außerdem kann mangelndes Systemwissen der Anwender die Inspektionsleistung im industriellen Einsatz verschlechtern. Maschinelle Lernverfahren bieten eine Alternative: Die Anwender stellen lediglich eine Stichprobe bereit und das System konfiguriert sich von selbst. Ebenso können diese Verfahren versteckte Zusammenhänge in den Daten aufdecken und so den Entwurf von Inspektionssystemen unterstützen. Diese Arbeit beschäftigt sich mit geeigneten lernenden Verfahren für die optische Inspektion. Die als Beispiel dienende Schüttgutsortierung setzt dabei die Rahmenbedingungen: Die Aufnahmebedingungen sind kontrolliert und die Objekterscheinung einfach. Gleichzeitig zeigen die Objekte mitunter nur wenige diskriminative Merkmale. Die Lernstichproben sind klein, unbalanciert und oft unvollständig in Bezug auf die möglichen Defektklassen. Zusätzlich ist die verfügbare Rechenzeit stark begrenzt. Unter Berücksichtigung dieser Besonderheiten werden in der vorliegenden Arbeit lernende Methoden für die Mustererkennungs-Schritte Bilderfassung, Merkmalsextraktion und Klassifikation entwickelt. Die Auslegung der Bilderfassung wird durch die automatische Selektion optischer Filter zur Hervorhebung diskriminativer Merkmale unterstützt. Anders als vergleichbare Methoden erlaubt die hier beschriebenen Methode die Selektion optische Filter mit beliebig komplizierten Transmissionskurven. Da relevante Merkmale die Grundvoraussetzung für eine erfolgreiche Klassifikation sind, nimmt die Merkmalsextraktion einen großen Teil der Arbeit ein. Solche Merkmale können beispielsweise aus einer Menge an Standardmerkmalen identifiziert werden. In der Schüttgutsortierung ist dabei neben der Relevanz aber auch der Rechenaufwand der Merkmalsextraktion von Bedeutung. In dieser Arbeit wird daher ein Merkmalsselektionsverfahren beschrieben, welches diesen Aufwand mit einbezieht. Daneben werden auch Verfahren untersucht, mit denen sich Merkmale mit Hilfe einer Lernstichprobe an ein gegebenes Sortierproblem anpassen lassen. Im Rahmen dieser Arbeit werden dazu zwei Methoden zum Lernen von Formmerkmalen bzw. von Farb- und Texturmerkmalen beschrieben. Mit beiden Verfahren werden einfache, schnell berechenbare, aber wenig diskriminative Merkmale zu hochdiskriminativen Deskriptoren kombiniert. Das Verfahren zum Lernen der Farb- und Texturdeskriptoren erlaubt außerdem die Detektion und Rückweisung unbekannter Objekte. Diese Rückweisungsoption wird im Sinne statistischer Tests für Anwender leicht verständlich parametriert. Die Detektion unbekannter Objekte ist auch das Ziel der Einklassenklassifikation. Hierfür wird in dieser Arbeit ein Verfahren beschrieben, das den Klassifikator anhand einer Lernstichprobe mit lediglich Beispielen der Positivklasse festlegt. Die Struktur dieses Klassifikators wird außerdem ausgenutzt, um sicher unbekannte Objekte um Größenordnungen schneller zurückzuweisen als dies mit alternativen Verfahren möglich ist. Alle vorgestellten Verfahren werden anhand von synthetischen Datensätzen und Datensätzen aus der Lebensmittelinspektion, Mineralsortierung und Inspektion technischer Gegenstände quantitativ evaluiert. In einer Gegenüberstellung mit vergleichbaren Methoden aus der Literatur werden die Stärken und Einschränkungen der Methoden herausgestellt. Hierbei zeigten sich alle vorgestellten Verfahren gut für die Schüttgutsortierung geeignet. Die vorgestellten Verfahren ergänzen sich außerdem gegenseitig. Sie können genutzt werden, um ein komplettes Sortiersystem auszulegen oder um einzeln als Komponenten in einem bestehenden System eingesetzt zu werden. Die Methoden sind dabei nicht auf einen bestimmten Anwendungsfall zugeschnitten, sondern für eine großen Palette an Produkten einsetzbar. Somit liefert diese Arbeit einen Beitrag zur Anwendung maschineller Lernverfahren in optischen Inspektionssystemen

Kontextsensitive Erkennung und Interpretation fahrrelevanter statischer Verkehrselemente

In dieser Arbeit werden Methoden und Verfahren zur Umwelterkennung und Situationsinterpretation entwickelt, mit denen statische Verkehrselemente (Verkehrszeichen und Ampeln) erkannt und im Kontext der Verkehrssituation interpretiert werden. Die Praxistauglichkeit der entwickelten Methoden und Verfahren wird durch umfangreiche Experimente demonstriert, bei denen auf die Verwendung realer Daten, kostengünstiger Sensorik und Echtzeitverarbeitung Wert gelegt wird

Erkennung menschlicher Aktivitäten durch Erfassung und Analyse von Bewegungstrajektorien

Das Verstehen menschlichen Verhaltens ist essenziell für intelligente technische Systeme in menschlichen Umgebungen. Diese Arbeit befasst sich mit der videobasierten Aktivitätsanalyse. Dazu werden zwei Methoden der Merkmalsextraktion untersucht: ein markerloses dreidimensionales Körpertracking mit einem evolutionären Algorithmus und ein modellfreies Tracking dynamischer Videomerkmale. Anschließend erfolgt eine Modellierung und Klassifikation von Aktivitäten auf Basis der gewonnenen Merkmale

Objektsensitive Verfolgung und Klassifikation von Fußgängern mit verteilten Multi-Sensor-Trägern

Die Zustandsschätzung einer unbekannten Anzahl an Objekten stellt trotz der Existenz theoretisch Bayes-optimaler Multi-Objekt-Filter durch die große Anzahl an Modellannahmen dieser Filter eine große Herausforderung dar. In dieser Arbeit wurden die Eignung derartiger Filter für den praktischen Einsatz in Multi-Objekt-Multi-Sensor-Szenarien untersucht und die Filter um nötige Modellerweiterungen ergänzt. Als Anwendungsszenario wurde auf die Verfolgung von Fußgängern in Innenräumen eingegangen

Tracking von Menschen und menschlichen Zuständen

Im Bereich der Kameraüberwachung von Menschen werden unterschiedliche Aspekte wichtig. Dazu gehört das Tracking von Menschen, wobei nicht nur die aktuelle Position wichtig ist. Das Trackingergebnis muss weiterverarbeitet werden, um Rückschlüsse auf den Zustand des Beobachteten zu ziehen, wie zum Beispiel die derzeitige Leistungsfähigkeit oder die Emotion. Zur Beurteilung der Leistungsfähigkeit von Probanden, muss ein Basiswert für diesen vorliegen. Für die Schätzung des emotionalen Zustands muss der Gesichtsausdruck beobachtbar sein. Zur Auswertung von Bilddaten durch Menschen und Maschinen muss eine Registrierung der Bilddaten erfolgen. Am Beispiel von Beobachterversuchen zur Beurteilung von emissionshemmenden Materialien in Infrarotaufnahmen, wurde durch die direkte Projektion von GPS-Punkten in Bilddaten die Schätzung von Bild-zu-Bild Homographien verbessert. Das Tracking von Objekten im Video wurde zunächst am Beispiel eines Flugzeugs evaluiert. Feste Messstationen am Boden empfangen nicht informative Signale von einem Flugzeug. Der Sendezeitpunkt war unbekannt, nur der Empfangszeitpunkt lag vor. Durch die paarweise Subtraktion der Empfangszeiten ergeben sich sogenannte Time Differences of Arrival. Setzt man diese Zeitdifferenzen als Messungen in ein, um die aktuelle Position zu ermitteln, ergibt sich hierduch ein hyperbolischer Schnitt. Mit der direkten Verwendung der Empfangszeiten vereinfacht sich die Positionsbestimmung zu einem Kegelschnitt. In einem stochastischen Filter wurde der unbekannte Sendezeitpunkt simultan mit der Position geschätzt, wodurch eine robuste Ermittlung der Flugzeugposition erreicht werden konnte. Für die Schätzung des emotionalen Zustands des Menschen muss das Trackingergebnis mehr enthalten als die Position. Am Beispiel des Auges wurde von der Iris mit dem Tracking von ausgedehnten Objekten sowohl die Position, als auch Ausmaß und Form verfolgt. Hier wurde zunächst mit einem einfachen parametrischen Formmodell gearbeitet. Das Tracking ausgedehnter Objekte wurde im Anschluss für die Verfolgung von Gesichtern angewendet. Da hier kein einfaches parametrisches Formmodell verwendet werden konnte, wurde auf ein 68 Punkte umfassendes Landmarkenmodell zurückgegriffen. Um einem Auseinanderdriften der Landmarken entgegenzuwirken, wurde eine nichtlineare Nebenbedingung eingeführt. Mit dieser Nebenbedingung wird garantiert, dass die Landmarken die Form des Gesichts beibehalten. Dazu wird die Schätzung des Modells mit der vorher trainierten Hauptkomponentenanalyse transformiert und rücktransformiert, so dass Fehler durch eine Drift eliminiert werden. Hierdurch wird garantiert, dass das Gesicht in der erwarteten Form verbleibt und eine weitere Analyse des Gesichtsausdrucks vorgenommen werden kann. Anschließend geht es um die Leistungsfähigkeit von Menschen. Zunächst wird darauf eingegangen, die Beobachtungsleistung zu evaluieren. In einer ersten Studie wird untersucht, ob ein Trainingseffekt für Beobachter nachgewiesen werden kann. In Videos einer simulierten Menschenmenge, in der sich Avatare mit und ohne Rucksack über einen Platz bewegen, mussten die Probanden die Avatare mit Rucksack finden und markieren. Mit Einzelbildern dieser Videos, in denen sich ausschließlich Avatare ohne und mit Rucksack befanden, wurden die Probanden trainiert. Durch Auswertung des Zustands vor dem Training und nach dem Training wurde versucht, einen Trainingseffekt nachzuweisen. Aufgrund einer sehr geringen Teilnehmerzahl konnte kein eindeutiger Trainingseffekt nachgewiesen werden. In einer zweiten Studie wurden die Probanden durch automatische Trackingsysteme unterstützt. Hier ging es darum, herauszufinden, ob ein solches System als unterstützend oder störend wahrgenommen wird. Unter der Ausführung einer Nebentätigkeit, in der ein zufällig erklingender akustischer Stimulus quittiert werden sollte, wurde die Arbeitslast der Probanden evaluiert. Bei einer moderaten Anzahl an Markierungen zeigt sich ein tendenziell positiver Effekt, der durch eine Erhöhung der Markierungsanzahl wieder aufgehoben wird. Im Anschluss liegt der Fokus der Arbeit auf der Schätzung des emotionalen Zustands aus dem Gesichtsausdruck des beobachteten Menschen. Das Problem der Ermittlung des emotionalen Gesichtsausdrucks wurde bereits vielfach mit dem Einsatz von tiefen, neuronalen Netzen gelöst. Aus diesem Grund konzentriert sich diese Arbeit auf den Einsatz von analytischen Merkmalen. Mit einem neuartigen Modell, das auf dem 68 Punkte umfassenden Landmarkenmodell basiert, wird anhand von Winkel- und Größenmerkmalen ein Merkmalsvektor generiert. Die Winkelmerkmale enthalten zum Beispiel den Öffnungswinkel der Augenlider. Als Größenmerkmale werden die Achsenverhältnisse von Ellipsen verwendet, die anhand der Landmarken der Augen oder des Mundes geschätzt werden. Daraus ergibt sich ein 29 Einzelmerkmale beinhaltender Merkmalsvektor, der als \emph{Angle-and-Size-Feature Set} (ASF) bezeichnet wird. In Experimenten ergaben sich vergleichbare Ergebnisse zu aktuellen tiefen, neuronalen Netzarchitekturen. Abschließend befasst sich diese Arbeit mit der dynamischen Erweiterung der emotionalen Gesichtsausdruckschätzung. In einem neuartigen Ansatz wird zunächst mit einem Gaußprozess eine Abbildung des ASF-Merkmals in den Valenz-Erregungs-Raum definiert. Diese zweidimensionale Repräsentation des aktuellen emotionalen Zustands wird dann als Systemzustand für ein stochastisches Filter genutzt. Es wird eine Nebenbedingung definiert, die verhindert, dass der Systemzustand den Einheitskreis des Valenz-Erregungs-Raums verlässt. Dadurch wird eine unkontrollierte Drift des Zustands verhindert. Die dynamische Verfolgung des emotionalen Zustands konnte nicht mit dem Stand der Technik verglichen werden, da hier keine entsprechende Arbeit vorhanden war

Verbesserung der Störsicherheit bei der Mimikanalyse in mono- und binokularen Farbbildsequenzen durch Auswertung geometrischer und dynamischer Merkmale

Magdeburg, Univ., Fak. für Elektrotechnik und Informationstechnik, Diss., 2010Robert Nies

Integrierte Konzepte tiefer Neuronaler Netze zur monokularen Informationsgewinnung im Autonomen Fahrzeug

Tiefe Neuronale Netze im Allgemeinen und Convolutional Neural Networks (CNNs) im Speziellen konnten in den letzten Jahren in den Bereichen Maschinelles Sehen und Bildverarbeitung in verschiedensten Domänen große Erfolge erzielen. Herausforderungen bestehen dabei vor allem in der Anpassung der Methoden an domänenspezifische Tasks und die Reduktion des im Normalfall recht hohen Ressourcenbedarfs, insbesondere für mobile Anwendungen wie das Autonome Fahren. Dort werden CNNs zur Bildverarbeitung meist für die Gewinnung relevanter Informationen über die Umgebung aus monokularen Kameras verwendet. Hierzu werden auf einem Kamerabild verschiedene Algorithmen zur Lösung unterschiedlicher Tasks ausgeführt. Im Rahmen dieser Arbeit wird mit dem MultiNet-Ansatz ein Konzept zur integrierten Bearbeitung verschiedener Tasks in einem gemeinsamen CNN-Modell vorgestellt. Der Ressourcenbedarf kann so im Vergleich zu einer getrennten Ausführung separater Modelle bei gleichbleibender Qualität der Ergebnisse deutlich reduziert werden. Zusätzlich wird ein Verfahren vorgestellt, welches bei ebenfalls gleichbleibender Ergebnisqualität durch eine Kombination der angepassten Methoden Pruning und Knowledge Distillation den Ressourcenverbrauch eines CNN-Modells signifikant reduzieren kann. Für die Domäne des Autonomen Fahrens werden CNN-Architekturen zur allgemeinen Objektdetektion an die Anforderungen der domänenspezifischen Detektion von Objekten im Fahrzeugumfeld angepasst. Hierbei findet eine getrennte Betrachtung von statischen und dynamischen Verkehrsobjekten statt. Zur Lösung der Herausforderungen bei der Detektion von statischen Verkehrsobjekten wie Ampeln oder Verkehrsschildern wird ein Ansatz zur hierarchischen Detektion gleichartiger Objekte vorgestellt. Für die Detektion von dynamischen Verkehrsobjekten wie anderen Verkehrsteilnehmern wird ein Ansatz zur direkten 3D Detektion von Objekten in einem Kamerabild eingeführt. Derartige Ansätze offenbaren durch ihre Komplexität allerdings eine Herausforderung beim Training vieler CNN-Modelle. Der Fortschritt und die Konvergenz des Trainingsprozesses werden in wesentlichen Teilen durch die Zusammensetzung der verwendeten Trainingsdaten bedingt. Um den Trainingsprozess mit den jeweils verfügbaren Trainingsdaten bestmöglich durchführen zu können, wird eine dynamische Fehlerfunktion vorgestellt, welche die einzelnen Datenpunkte angepasst an deren aktuelle Schwierigkeit im Trainingsprozess automatisch gewichtet. Eine Evaluation auf öffentlich verfügbaren Datensätzen wird für alle im Rahmen dieser Arbeit vorgestellten Konzepte durchgeführt

Methoden und Werkzeuge für eine datengetriebene Entwicklung digitaler Gesundheitsanwendungen

Dem Paradigma der Präzisionsmedizin folgend schaffen digitale Gesundheitsanwendungen die Grundlage für eine personalisierte Versorgung, um damit die Effizienz und Effektivität von Gesundheitssystemen zu erhöhen. Im Kontext weltweit entstehender digitaler Gesundheitsökosysteme stehen dabei Daten als treibender Faktor im Mittelpunkt des Entwicklungsprozesses. Welche Methoden und Werkzeuge benötigt werden, um das dadurch mögliche Zusammenspiel zwischen einer datengetriebenen und einer wissensbasierten Entwicklung von digitalen Gesundheitsanwendungen zu unterstützen, wird in dieser Arbeit untersucht und anhand eines Rahmenwerks beschrieben. Durch Anwendung der Design Science Research Methode werden diesbezügliche Artefakte einem probleminitiierten Ansatz folgend entworfen, implementiert und durch quantitative sowie qualitative Methoden evaluiert. Dafür wird zunächst ein Vorgehensmodell abgeleitet, welches die zu beantwortenden Fragen in den Phasen der Digitalisierung, Automatisierung und Optimierung bis hin zur Translation in die medizinische Versorgung adressiert. Unter Beachtung entsprechender Normen findet eine Verknüpfung von interdisziplinären Methoden, Anforderungen sowie technologischen Ansätzen zu einer Wissensbasis statt, womit die Grundlage für zu entwickelnde Werkzeuge gelegt wird. Diese werden im Anwendungskontext dementieller Syndrome eruiert und pro Artefakt demonstriert sowie im Detail mit $n$ Probanden multiperspektivisch validiert. In Kooperation mit einer gerontopsychiatrischen Klinik werden diesbezüglich domänenspezifische Anforderungen an digitale Gesundheitsanwendungen bestimmt. Hierfür findet exemplarisch die explorative Entwicklung eines ambulanten Systems zur Messung kognitiver Leistungsparameter statt. Eine im Kontext dieser Zusammenarbeit durchgeführte Feldstudie ($n=55$) mit kognitiv eingeschränkten Personen zeigt Potentiale und Herausforderungen, welche durch die digitale Erfassung, Vernetzung und Auswertung von neuropsychologischen Daten entstehen. Dabei werden ebenfalls Anforderungen bezüglich der zielgruppenspezifischen Gestaltung einer gebrauchstauglichen Nutzerschnittstelle ($n=91$) gesammelt, welche in einem Leitfaden zusammenfließen und in einer grafischen Benutzeroberfläche iterativ implementiert werden. Aus der Perspektive von Datensubjekten ($n=238$) wird zusätzlich untersucht, welchen Stellenwert ein selbstbestimmter Umgang mit dieser Art von personenbezogenen Daten hat und für welche Zwecke diese aus deren Sicht eingesetzt werden sollten. Im Zuge dieses Entwicklungsprozesses sind ebenfalls Ansätze zur Automatisierung und Optimierung der Datenauswertung für die Ableitung des Gesundheitszustandes notwendig. Diese Schritte liefern als Artefakte, neben den Ergebnissen zum Vergleich verschiedener Algorithmen aus dem Bereich des maschinellen Lernens, die Identifikation von dafür geeigneten Leistungs- und Optimierungsmaßen sowie Merkmalsselektionsverfahren. Im Vergleich mit schwellwertbasierten Verfahren zur Operationalisierung von Bewertungsmetriken (maximaler Cohen\u27s Kappa $\kappa = 0,67$) erreicht die durch maschinelles Lernen gestützte Softwareanwendung eine höhere durchschnittliche Sensitivität von 83% bei einer 93%igen Spezifität (maximaler Cohen\u27s Kappa $\kappa = 0,79$) für die Erkennung von kognitiven Einschränkungen. Die automatisierte Erfassung hierfür notwendiger Merkmale erfolgt durch neu entwickelte Ansätze und zeigt zukünftige Forschungsaktivitäten auf, welche die damit verbundenen Herausforderungen adressieren. Dabei werden Indikatoren identifiziert, wodurch sich die Potentiale in computergestützten Modellen aufzeigen. Diese liefern zusätzliche Erkenntnisse über das Spannungsfeld zwischen einer zuverlässigen Erfüllung klinischer Leitlinien sowie regulatorischer Implikationen insbesondere hinsichtlich der Erklärbarkeit datengetriebener Optimierungs- und Automatisierungsansätze. Eine Untersuchung der Transferpotentiale in die deutsche Regelversorgung aus der Perspektive unterschiedlicher Interessenvertreter unterstreicht diese Punkte. Hierfür konzipierte Werkzeuge und Methoden ermöglichen einerseits die empirische Untersuchung der Adhärenz solcher digitaler Lösungen bezüglich der Nutzungsbereitschaft ($n=29$) sowie deren zeitliche Entwicklung ($n=18$). Andererseits werden damit die Akzeptanzkriterien der kassenärztlich organisierten Leistungserbringer im deutschen Gesundheitswesen ($n=301$) erhoben und dargestellt, welchen Einfluss diese auf Markteintrittsstrategien haben. Darauf aufbauend werden Wege definiert, um einen Beitrag zur Entlastung des Gesundheitssystems zu leisten. Die gesammelten Erkenntnisse werden hierfür in einem ganzheitlichen Plattformkonzept zur Entwicklung personalisierter Präventions- und Behandlungsprogramme gebündelt