Entwicklung einer heuristischen Verhaltensregelung für die Visuomotorik humanoider Roboter

Das Absolvieren von visuomotorischen Handlungen ist eine typische aber auch hochkomplexe Aufgabe für humanoide Roboter. Obwohl die Rechenleistung von autonomen Robotersystemen rasant steigt, wurde in der Vergangenheit immer wieder die Mächtigkeit von einfachen Prinzipien unter Beweis gestellt. Die vorliegende Arbeit entwickelt problemspezifische Heuristiken, welche teilweise aus der Verhaltenspsychologie inspiriert sind, um vier ausgewählte visuomotorische Aufgaben aus einem etablierten entwicklungsdiagnostischen Test für Kinder zu absolvieren. Ein wesentlicher Anspruch liegt darin, die Entwicklung auf einem realen humanoiden Roboter umzusetzen. Da der eingesetzte Roboter über nur drei Freiheitsgrade je Arm verfügt, war es möglich, die beiden Freiheitsgrade in der Schulter über sensomotorische Schleifen direkt mit je einem visuellen sensorischen Kanal, der horizontalen und vertikalen Objektposition, zu koppeln. Das Ellenbogengelenk wurde bei ausgewählten Prozessen relaxiert, um über Umgebungsbeschränkungen durch die Umwelt geführt zu werden. Diese Verfahren arbeiten ohne Vorwissen wie explizite Modelle des Roboters oder der Umwelt. Während der Bewegungen optimiert der Roboter seine Handlungen selbst, indem er implizite Modelle in Form von Quadriken generiert, auswählt und optimiert; so wird begrenztes Wissen, wie etwa eine fehlende visuelle Abstandsschätzung, kompensiert. Genau wie der Mensch, optimiert der Roboter sein Handeln empirisch aus Fehlern, um seine Fähigkeiten zu verbessern. Die Erfahrungswerte werden in Form von Offsetkarten gespeichert und den jeweils gültigen Quadriken zugeordnet. Vorab wurden Komponenten der Recheneinheit des Roboters neu entwickelt, um eine effiziente und flexible Arbeit mit dem humanoiden Roboter zu ermöglichen. Mit dem Anspruch, die komplexen Verhaltensweisen mit einfachen heuristischen Prinzipien und ohne A-priori-Modelle auf einer realen Roboterplattform umzusetzen, liefert diese Arbeit einen relevanten Beitrag auf dem Forschungsgebiet der Hand-Auge-Koordination bei humanoiden Robotern.Performing visuomotor actions is a common yet highly complex task for humanoid robots. Although computational power in autonomous robotic systems is rapidly increasing, the robustness and efficiency of simple principles remains and has been proven once again. Partly inspired by behavioral psychology, the present work develops task-specific heuristics to perform four selected visuomotor tasks adapted from an established developmental diagnostic test for children. A considerable ambition is to implement the development on a real humanoid robot. Because the two joints in each arm provide three degrees of freedom togehter, the two diemnsions of freedom in shoulder can be directly coupled to one visual sensory channel each, the horizontal and vertical object position, via sensorimotor loops. The elbow joint is relaxed for selected processes to enable the robot's movements to be guided by environmental constraints. This approach has the benefit of working without prior knowledge, i.e. explicit models of the robot or the environment. Later, the robot self-optimizes its actions by generating, selecting and optimizing implicit models in the form of quadrics to compensate for its limited knowledge, such as the lack of visual distance estimation. Analogous to humans, the robot empirically learns from mistakes to improve its skills over time. The empirical knowledge is stored in offset maps assigned to the currently valid quadrics. Parts of the robot's computing unit has been upgraded and further developed beforehand to support efficient and flexible work with the humanoid robotic system. With the ambition to implement complex behaviors in a real humanoid robot platform through simple heuristic principles and without predefined models, this work makes a substantial contribution to the field of hand-eye coordination of humanoid robots

Automatisierte Erkennung und Evaluation von therapeutischen Übungen für Patienten mit Mimikdysfunktionen

In dieser Arbeit wird ein flexibles, kamerabasiertes Trainingssystem zur Rehabilitation von Gesichtslähmungen (Fazialisparesen) und anderen Mimikdysfunktionen vorgestellt. Das System unterstützt das selbstständige Training des Patienten, indem es die Durchführung von insgesamt zwölf Fazialisübungen automatisch bewertet und mehrstufiges Feedback an den Anwender vermittelt. Es eignet sich somit für einen begleitenden Einsatz zu den regulären Übungseinheiten, welche von einem Logopäden oder Sprechwissenschaftler angeleitet werden. Während Ansätze zur automatisierten Diagnose und Gradierung von Fazialisparesen in der Literatur vergleichsweise verbreitet sind, finden sich gegenwärtig nur vereinzelt Konzepte für therapiebegleitende Trainingsanwendungen. Die diesen Anwendungen zu Grunde liegenden Algorithmen sind zudem auf einzelne Fazialisübungen spezialisiert und daher, anders als das in dieser Arbeit vorgestellte System, nicht ohne Mehraufwand auf weitere Übungen übertragbar. Die Beiträge der vorliegenden Arbeit umfassen die wesentlichen Komponenten der technischen Gesamtarchitektur des Trainingssystems. Der methodische und experimentelle Fokus der Ausarbeitung liegt dabei vor allem auf der Merkmalsextraktion, sowie der Ableitung des Feedbacks aus den extrahierten Merkmalsdeskriptoren. Eine wesentliche Neuheit gegenüber dem Stand der Technik besteht in der Möglichkeit, das Trainingssystem flexibel um zusätzliche Fazialisübungen zu ergänzen und sowohl globales als auch regionenbezogenes Feedback bereitzustellen. Die dafür ausgewählten Verfahren basieren vorwiegend auf der Verarbeitung von 3D-Kameradaten und umfassen die Extraktion von Punktsignaturen, Histogrammen orientierter Normalenvektoren, sowie von Krümmungs-, Distanz- und Winkelmerkmalsdeskriptoren. Die Feedbackermittlung stützt sich auf den Einsatz von Random-Forests und den aus diesen ableitbaren paarweisen Ähnlichkeiten. Letztere stellen Schätzwerte für die merkmalsbezogene Übereinstimmung zwischen der vom Patienten ausgeführten Übung und den Modelldurchführungen in den Trainingsdaten dar.This thesis presents an automated, camera-based training system employable for the therapy of facial paralysis and related muscle dysfunctions. The proposed system aims to support patients in conducting twelve different facial exercises by providing automatically generated feedback. Thus, it is suited to supplement individual exercise sessions that are not supervised by a therapist. Automated grading and diagnosis systems for facial paralysis are a prominent topic in the literature on clinical image processing. In contrast, only few papers deal with the development of automated training systems for facial muscle re-education. Furthermore, the underlying algorithms are typically specialized for particular facial exercises and difficult to adapt to additional requirements. The contributions of this thesis comprise the main components of the system architecture with a methodical and technical emphasis on feature extraction algorithms and feedback estimation methods. Regarding the state-of-the-art, the major novelty is embodied in the possibility to easily extend the system to additional exercises and in the derivation of global and local feedback. The selected approaches rely on processing of 3D-camera data and include the extraction of point signatures, histograms of oriented normal vectors, curvatures, distance, and angle features. The feedback generation is based on random forest classifiers and proximities derived from trained forests. These proximities provide an estimate of similarity between the patient sample and training data samples

Adaptive Vereinfachung von Dreiecksnetzen in Echtzeit

Dreiecksnetze stellen in der Computergraphik eine häufig angewandte Repräsentation von 3-dimensionalen Objekten dar, indem die Objektoberfläche durch Dreiecke angenähert wird. Eine große Menge an Dreiecken erlaubt die Abbildung einer Vielzahl an Details, jedoch mit dem Nachteil eines hohen Berechnungsaufwandes bei der Bilderzeugung. Verfahren zur Reduktion der Dreieckszahl werden seit langem erforscht. Sie kommen zum Einsatz, um Annäherungen von polygonalen Modellen zu errechnen, die weniger Zeit für die Bilderzeugung in Anspruch nehmen. Unter Zuhilfenahme der Kapazitäten moderner Graphikprozessoren werden Algorithmen entwickelt, die eine Vereinfachung eines Dreiecksnetzes zur Laufzeit, also vor der Bilderzeugung, berechnen. In dieser Arbeit wird ein neuartiger, paralleler Ansatz zur Vereinfachung von Dreiecksnetzen präsentiert, der die notwendigen Operationen unter Berücksichtigung der Topologie und ohne Vorberechnung von Vereinfachungen ermittelt. Die Vereinfachungsoperatoren werden modifiziert, so dass eine große Menge von Operationen parallel auf einem Dreiecksnetz ausgeführt werden kann, ohne eine Kommunikation zwischen den individuellen Operationen zu erfordern und ohne Löcher und unerwünschte Faltungen auf der Oberfläche zu schaffen. Der hohe Grad an Parallelität der Operationen erlaubt eine effiziente Implementierung auf moderner Hardware, insbesondere die Ausnutzung moderner Graphikprozessoren, was zu einer starken Reduktion der Berechnungszeit führt. Unter diesen Aspekten ist der Einsatz in Echtzeit möglich und somit eine Vereinfachung, die Position und Blickwinkel des Betrachters in die Berechnungen einfließen lässt, um erkennbare Auswirkungen der Vereinfachung zu reduzieren. Potentielle Erweiterungen sind die Extraktion und Berücksichtigung von markanten Merkmalen eines Objekts und eine verbesserte Oberflächenanalyse bei der Auswahl von Vereinfachungsoperationen

Kollisionserkennung für echtzeitfähige Starrkörpersimulationen in der Industrie- und Servicerobotik

Die mechanisch plausible Simulation von Robotern und deren Arbeitsumgebungen ist in der Industrie- und Service-Robotik ein zunehmend wichtiges Werkzeug bei der Entwicklung und Erprobung neuer Hardware und Algorithmen. Ebenso sind Simulationsanwendungen oftmals eine kostengünstige und vielseitig einsetzbare Alternative, sofern die Beschaffung echter Roboter unrentabel ist, oder Hardware und Arbeitsumgebung nur mit großer zeitlicher Verzögerung zur Verfügung stehen würden. Besonders wichtig sind Mechanik-Simulationen für Anwendungsfälle, in denen die direkte mechanische Interaktion von Objekten miteinander beziehungsweise der Arbeitsumgebung selbst im Vordergrund stehen, wie etwa in der Greifplanung oder der Ermittlung kollisionsfreier Bewegungsabläufe. Bei welcher Art von Szenarien der Einsatz von Mechanik-Simulationen sinnvoll ist und inwieweit die Möglichkeiten solcher Simulations-Werkzeuge ein geeigneter Ersatz für eine reale Arbeitsumgebung sein können, hängt sowohl von den technischen Besonderheiten dieser Werkzeuge, als auch von den Anforderungen des jeweiligen Anwendungsgebiets ab. Die wichtigsten Kriterien sind dabei: Die zur Umsetzung der jeweiligen Aufgabe nötige oder gewünschte geometrische Präzision bei der Modellierung von Objekten in einer Simulation, ie bei der Simulation mechanischem Verhaltens berücksichtigten Eigenschaften und Phänomene (etwa durch die Berücksichtigung von Verformungsarbeit oder tribologischer Eigenschaften), und die Fähigkeit, eine Simulation in oder nahe Echtzeit betreiben zu können (d. h. innerhalb von Laufzeitgrenzen, wie sie auch durch die reale Entsprechung eines simulierten Systems gegeben sind). Die Fähigkeit zum Echtzeit-Betrieb steht dabei in Konflikt mit der geometrischen und mechanischen Präzision einer Simulation. Jedoch ist es gerade die Kombination aus diesen drei Kriterien, die für Szenarien mit einem hohen Anteil mechanischer Interaktion zwischen aktiv durch einen Benutzer gesteuerten Aktorik und einer simulierten Arbeitsumgebung besonders wichtig sind: Im Speziellen gilt das für Simulationssysteme, die zur Steuerung simulierter Roboter-Hardware dieselben Hardware- oder Software-Steuerungen verwenden, die auch für die realen Entsprechungen der betrachteten Systeme verwendet werden. Um einen Betrieb innerhalb sehr kurzer Iterationszeiten gewährleisten zu können, muss eine Mechanik-Simulation zwei Teilaufgaben effizient bewältigen können: Die Überprüfung auf Berührung und Überschneidung zwischen simulierten Objekten in der Kollisionserkennung in komplex strukturierten dreidimensionalen Szenen, und die Gewährleistung einer numerisch stabilen Lösung des zugrundeliegenden Gleichungssystems aus der klassischen Mechanik in der Kollisionsbehandlung. Die Kollisionserkennung erfordert dabei gegenüber der Kollisionsbehandlung ein Vielfaches an Laufzeit-Aufwand, und ist dementsprechend die Komponente einer jeden echtzeitfähigen Mechanik-Simulation mit dem größten Optimierungspotential und -bedarf: Ein Schwerpunkt der vorliegenden Arbeit ist daher die Kombination existierender Ansätze zur Kollisionserkennung unter weitgehender Vermeidung von deren Nachteilen. Dazu sollen ausgehend von Erfahrungen einer Projektstudie aus der Industrie-Robotik die speziellen Anforderungen an echtzeitfähige Mechanik-Simulationen beim Einsatz in dieser und verwandten Disziplinen hergeleitet und den Möglichkeiten und Einschränkungen existierender Simulations-Lösungen gegenüber gestellt werden. Basierend auf der Analyse existierender Kollisionserkennnungs-Verfahren soll im weiteren Verlauf der Arbeit eine alternative Möglichkeit zur Bewältigung dieser laufzeitaufwendigen Aufgabe auf Basis der Verwendung massiv paralleler Prozessor-Architekturen, wie sie in Form programmierbarer Grafik-Prozessoren (GPUs) kostengünstig zur Verfügung stehen, erarbeitet und umgesetzt werden

Adaptive Vereinfachung von Dreiecksnetzen in Echtzeit

Dreiecksnetze stellen in der Computergraphik eine häufig angewandte Repräsentation von 3-dimensionalen Objekten dar, indem die Objektoberfläche durch Dreiecke angenähert wird. Eine große Menge an Dreiecken erlaubt die Abbildung einer Vielzahl an Details, jedoch mit dem Nachteil eines hohen Berechnungsaufwandes bei der Bilderzeugung. Verfahren zur Reduktion der Dreieckszahl werden seit langem erforscht. Sie kommen zum Einsatz, um Annäherungen von polygonalen Modellen zu errechnen, die weniger Zeit für die Bilderzeugung in Anspruch nehmen. Unter Zuhilfenahme der Kapazitäten moderner Graphikprozessoren werden Algorithmen entwickelt, die eine Vereinfachung eines Dreiecksnetzes zur Laufzeit, also vor der Bilderzeugung, berechnen. In dieser Arbeit wird ein neuartiger, paralleler Ansatz zur Vereinfachung von Dreiecksnetzen präsentiert, der die notwendigen Operationen unter Berücksichtigung der Topologie und ohne Vorberechnung von Vereinfachungen ermittelt. Die Vereinfachungsoperatoren werden modifiziert, so dass eine große Menge von Operationen parallel auf einem Dreiecksnetz ausgeführt werden kann, ohne eine Kommunikation zwischen den individuellen Operationen zu erfordern und ohne Löcher und unerwünschte Faltungen auf der Oberfläche zu schaffen. Der hohe Grad an Parallelität der Operationen erlaubt eine effiziente Implementierung auf moderner Hardware, insbesondere die Ausnutzung moderner Graphikprozessoren, was zu einer starken Reduktion der Berechnungszeit führt. Unter diesen Aspekten ist der Einsatz in Echtzeit möglich und somit eine Vereinfachung, die Position und Blickwinkel des Betrachters in die Berechnungen einfließen lässt, um erkennbare Auswirkungen der Vereinfachung zu reduzieren. Potentielle Erweiterungen sind die Extraktion und Berücksichtigung von markanten Merkmalen eines Objekts und eine verbesserte Oberflächenanalyse bei der Auswahl von Vereinfachungsoperationen

Optimierung thermischer Verhältnisse bei der Bahnplanung für das thermische Spritzen mit Industrierobotern

Diese Arbeit befasst sich mit der Erzeugung und Optimierung von neuartigen Bahnen für Industrieroboter beim thermischen Spritzen auf komplexen Freiformoberflächen unter besonderer Berücksichtigung der thermischen Verhältnisse in dem Werkstück. Thermisches Spritzen ist ein Produktionsprozess, bei dem eine Werkstückoberfläche mit geschmolzenem Material beschichtet wird, so dass die Oberfläche die gewünschten Oberflächeneigenschaften aufweist. Ein Alleinstellungsmerkmal des präsentierten Systems ist der modulare Aufbau, der vor allem eine in diesem Bereich unübliche Trennung zwischen der Initialbahnplanung und der Bahnoptimierung vorsieht. Die Basis des Gesamtsystems bilden verschiedene Simulationskomponenten, wie die Beschichtungssimulation, die thermische Simulation und die Robotersimulation. Die Initialbahnplanung erzeugt flächenüberdeckende Bahnen auf einem Werkstück unter Berücksichtigung verschiedener Qualitätsmerkmale. Dazu werden die Bahnen über flexible Bahnstrukturen repräsentiert, darunter neuartige Strukturen, wie die Rand-zu-Rand Bahnen und die Punkt-zu-Punkt Bahnen. Die Qualität der Bahnen wird über verschiedene Zielfunktionen bewertet, die neben der Schichtqualität vor allem die thermischen Varianzen berücksichtigen, welche bisher nur selten in Betracht gezogen wurden, obwohl sie großen Einfluss auf die endgültige Schichtqualität haben. Weitere praxisrelevante Zielkriterien, wie die Roboterachsbeschleunigungen und der Overspray, welcher das Material beschreibt, das nicht auf der funktionalen Fläche abgelagert wird, werden ebenfalls beachtet. Das Problem der Initialbahnplanung wird als mehrkriterielles Optimierungsproblem formuliert und mit Hilfe eines Evolutionären Algorithmus optimiert. Verschiedene Varianten für die Operatoren des Evolutionären Algorithmus werden verwendet und gegeneinander evaluiert. Hieraus wird die Kombination von Operatoren bestimmt, mit der der Algorithmus mit hoher Konvergenzgeschwindigkeit strukturell gute Bahnen für den anschließenden Bahnoptimierungsprozess erzeugt. Die Bahnoptimierung wird für die Verbesserung vorhandener Bahnen bezüglich der Beschichtungsfehler und der Ausführbarkeit mit Robotern verwendet. Ein neuartiges Konzept zur kombinierten Anwendung des in der Arbeit entwickelten, analytischen Auftragsmodells mit einer externen Blackbox Simulation wird verwendet, um die Bahnen mit Hilfe des Verfahrens der nichtlinearen konjugierten Gradienten zu optimieren. Die Fehler werden hierbei über die externe Simulation und die Gradienten über das analytische Auftragsmodell bestimmt. Die Verwendung der Bahnoptimierung beschränkt sich nicht nur auf die Optimierung der Bahnen, die von der Initialbahnplanung erstellt worden sind, sondern kann ebenfalls genutzt werden, um bereits erstellte Bahnen an andere Spritzprozesse oder ähnliche Werkstückgeometrien anzupassen. Hierdurch lässt sich der erhebliche Aufwand zur Generierung neuer Bahnen stark reduzieren. Zum Abschluss der Arbeit wird ein Verfahren vorgestellt, das die bisher unberücksichtigte Roboterdynamik in das System miteinbezieht. Dazu wird eine Dynamikkorrektur präsentiert, die die Bahnen mit Hilfe einer Roboterherstellersoftware in den dynamisch zulässigen Bereich projiziert. Diese Projektion wird in einer weiteren Optimierungsschleife alternierend mit der Bahnoptimierung genutzt, um eine dynamisch zulässige Bahn zu erzeugen, die sehr gute Ergebnisse bezüglich der Qualitätsmaße liefert

Visualisierungsdesign für 3D-Benutzerschnittstellen unter Verwendung komponierter Darstellungsverfahren

Das computergrafische Abbildungsverfahren zur Verwirklichung von dreidimensionalen Darstellungen ist ein wichtiges Instrument für die Gestaltung interaktiver 3D-Benutzerschnittstellen. Die Betrachtung von Projektionsverfahren abseits des bisher angestrebten Fotorealismus dokumentiert, dass durch nichtlineare und multiperspektivische Darstellungen spezifische Eigenschaften und Charakteristiken eines Datenbestandes vermittelt werden können. Dabei wird deutlich, dass konzeptionelle und methodische Unzulänglichkeiten den erfolgreichen Einsatz von unkonventionellen linearen sowie nichtlinearen Darstellungsformen in 3D-Anwendungen bisher einschränken. In dieser Arbeit werden daher Darstellungstechniken analysiert und systematisiert, die durch den computergrafischen Projektionsvorgang erzeugt und für die Verwirklichung von Visualisierungszielen eingesetzt werden können. Ferner werden für den spezifischen Einsatz von komponierten Visualisierungsverfahren in 3D-Benutzerschnittstellen Gestaltungshinweise formuliert. Darauf aufbauend erfolgt die Einführung einer modellbasierten Vorgehensweise, durch welche die systematisierten Visualisierungsformen in einem methodischen und ferner entwurfsmustergestützten Entwurfsprozess zur Entwicklung interaktiver 3D-Interfaces eingebunden und weiterhin in einer interaktiven 3D-Anwendung eingesetzt werden können

Autonome monokulare optische Identifikation von Mondkratern aus unbekannter Kameraposition und -Lage

Present and future robotic landing missions to the moon with high landing accuracy requirements need a capability of autonomous position and attitude determination. Optical sensors provide a cheap and robust means of generating image measurements, and lunar craters provide persistent landmarks. This dissertation describes a method that allows inferring a full camera pose from a single image of the lunar surface under a wide variety of illumination conditions and for a previously unkown position and attitude of the camera