17 research outputs found
Grasp planning under uncertainty
The planning of dexterous grasps for multifingered robot hands operating in uncertain environments is covered. A sensor-based approach to the planning of a reach path prior to grasping is first described. An on-line, joint space finger path planning algorithm for the enclose phase of grasping was then developed. The algorithm minimizes the impact momentum of the hand. It uses a Preshape Jacobian matrix to map task-level hand preshape requirements into kinematic constraints. A master slave scheme avoids inter-finger collisions and reduces the dimensionality of the planning problem
Deep Vision for Prosthetic Grasp
Ph. D. ThesisThe loss of the hand can limit the natural ability of individuals in grasping and
manipulating objects and affect their quality of life. Prosthetic hands can aid the
users in overcoming these limitations and regaining their ability. Despite considerable
technical advances, the control of commercial hand prostheses is still limited
to few degrees of freedom. Furthermore, switching a prosthetic hand into a desired
grip mode can be tiring. Therefore, the performance of hand prostheses should
improve greatly.
The main aim of this thesis is to improve the functionality, performance and flexibility
of current hand prostheses by augmentation of current commercial hand prosthetics
with a vision module.
By offering the prosthesis the capacity to see objects, appropriate grip modes can
be determined autonomously and quickly. Several deep learning-based approaches
were designed in this thesis to realise such a vision-reinforced prosthetic system.
Importantly, the user, interacting with this learning structure, may act as a supervisor
to accept or correct the suggested grasp. Amputee participants evaluated the
designed system and provided feedback.
The following objectives for prosthetic hands were met:
1. Chapter 3: Design, implementation and real-time testing of a semi-autonomous
vision-reinforced prosthetic control structure, empowered with a baseline convolutional
neural network deep learning structure.
2. Chapter 4: Development of advanced deep learning structure to simultaneously
detect and estimate grasp maps for unknown objects, in presence of
ambiguity.
3. Chapter 5: Design and development of several deep learning set-ups for concurrent
depth and grasp map as well as human grasp type prediction.
Publicly available datasets, consisting of common graspable objects, namely Amsterdam
library of object images (ALOI) and Cornell grasp library were used within
this thesis. Moreover, to have access to real data, a small dataset of household
objects was gathered for the experiments, that is Newcastle Grasp Library.EPSRC, School of Engineering Newcastle University
Deep learning-based artificial vision for grasp classification in myoelectric hands
Objective. Computer vision-based assistive technology solutions can revolutionise the quality of care for people with sensorimotor disorders. The goal of this work was to enable trans-radial amputees to use a simple, yet efficient, computer vision system to grasp and move common household objects with a two-channel myoelectric prosthetic hand. Approach. We developed a deep learning-based artificial vision system to augment the grasp functionality of a commercial prosthesis. Our main conceptual novelty is that we classify objects with regards to the grasp pattern without explicitly identifying them or measuring their dimensions. A convolutional neural network (CNN) structure was trained with images of over 500 graspable objects. For each object, 72 images, at intervals, were available. Objects were categorised into four grasp classes, namely: pinch, tripod, palmar wrist neutral and palmar wrist pronated. The CNN setting was first tuned and tested offline and then in realtime with objects or object views that were not included in the training set. Main results. The classification accuracy in the offline tests reached for the seen and for the novel objects; reflecting the generalisability of grasp classification. We then implemented the proposed framework in realtime on a standard laptop computer and achieved an overall score of in classifying a set of novel as well as seen but randomly-rotated objects. Finally, the system was tested with two trans-radial amputee volunteers controlling an i-limb UltraTM prosthetic hand and a motion controlTM prosthetic wrist; augmented with a webcam. After training, subjects successfully picked up and moved the target objects with an overall success of up to . In addition, we show that with training, subjects' performance improved in terms of time required to accomplish a block of 24 trials despite a decreasing level of visual feedback. Significance. The proposed design constitutes a substantial conceptual improvement for the control of multi-functional prosthetic hands. We show for the first time that deep-learning based computer vision systems can enhance the grip functionality of myoelectric hands considerably
Proceedings of the NASA Conference on Space Telerobotics, volume 1
The theme of the Conference was man-machine collaboration in space. Topics addressed include: redundant manipulators; man-machine systems; telerobot architecture; remote sensing and planning; navigation; neural networks; fundamental AI research; and reasoning under uncertainty
Combining Model-Based with Learning-Based Approaches for Autonomous Manipulation
Kollaboration zwischen Menschen und Robotern gewinnt zunehmend an Bedeutung in der Industrie und Forschung. Manipulation ist eine Grundvoraussetzung fĂŒr eine erfolgreiche Kollaboration und deshalb eine grundlegende Forschungsfrage in der Robotik. Bei der Manipulation von Objekten, zum Beispiel beim Greifen eines Bohrers, mĂŒssen Roboter mit einer dynamischen Umgebungen, partieller Wahrnehmung, Model- und AusfĂŒhrungsunsicherheit zurechtkommen. In dieser Arbeit identifizieren wir EinschrĂ€nkungen von modellbasierten AnsĂ€tzen des gegenwĂ€rtigen Standes der Technik fĂŒr Manipulationsaufgaben und untersuchen wie man diese mit Lernverfahren kombinieren und verbessern kann, um autonome Manipulation zu ermöglichen. Maschinelle Lernverfahren wie , die mithilfe von groĂen Datenmengen ein gutes Modell lernen, sind sehr geeignet fĂŒr die Robotik, da Roboter ihre Umgebung mithilfe von einer Vielzahl an Sensoren wahrnehmen und dadurch eine FĂŒlle von Daten erzeugen. Im Gegensatz zu anderen Forschungsgebieten, wie zum Beispiel Sprach- und Bildverarbeitung, interagieren Roboter mit ihrer Umgebung, sodass Vorhersagen einen physikalischen Einfluss auf die Umgebung haben. Aufgrund der Interaktion mit der Umgebung und der kontinuierlichen Wahrnehmung ergibt sich eine RĂŒckkopplungsschleife die neue Herangehensweisen erfordert um Sicherheitsbedenken und Geschwindigkeitsanforderungen zu erfĂŒllen.
Das Ziel dieser Dissertation ist es zu untersuchen, wie man bestehende Robotersysteme mithilfe von verbessern kann. Dabei ist es wichtig das vorhandene domĂ€nenspezifische Wissen nicht zu vernachlĂ€ssigen, sondern in die zu integrieren. Die Ergebnisse dieser Arbeit zeigen, dass AnsĂ€tze Methoden sehr gut ergĂ€nzen und es ermöglichen Probleme, die ansonsten unlösbar wĂ€ren, zu lösen. Wir zeigen, wie man bestehende Modelle zum Trainieren von Lernverfahren verwenden kann. Dadurch wird problemspezifisches Expertenwissen in den Datengenerierungsprozess integriert und somit an das gelernte Modell weitergegeben. Wir entwickeln auĂerdem ein neues Optimierungsverfahren, das wĂ€hrend der Optimierung etwas ĂŒber den Vorgang an sich lernt. Ein solches Verfahren ist sehr relevant fĂŒr eine Vielzahl von Problemen in der Robotik, da Manipulationssysteme kontinuierlich neue Aufgaben lösen mĂŒssen.
Im Folgenden stellen wir die HauptbeitrÀge dieser Dissertation vor, eingebettet in den Kontext von Manipulationsaufgaben.
Der Hauptbeitrag dieser Arbeit ist ein voll integriertes Manipulationssystem das erste einheitliche Experimente und dadurch empirische Ergebnisse ermöglicht. Diese zeigen eindeutig, dass kontinuierliche, zeitnahe Wahrnehmung und die Integration mit schnellen Verfahren zur Erzeugung von reaktiven Bewegungen essenziell fĂŒr erfolgreiche Manipulation in dynamischen Szenarien ist. Wir vergleichen drei verschiedene Systeme, welche die gĂ€ngigsten Architekturen im Bereich Robotik fĂŒr Manipulation reprĂ€sentieren: (i) Ein traditioneller Ansatz (aktuell am weitesten verbreitet), (ii) einen myopischen Regelungsansatz, der nur auf lokale VerĂ€nderungen reagiert und (iii) ein reaktives Planungsverfahren, das auf Ănderungen der Umgebung reagiert diese in die Bewegungsplanung einbezieht und den aktuellen Plan transparent an einen schnelleres lokales Regelungsverfahren ĂŒbergibt. Unser Gesamtsystem ist rein und umfangreich auf einer realen Roboterplattform in vier Szenarien empirisch evaluiert worden. Unsere experimentellen Szenarien beinhalten anspruchsvolle Geometrien im Arbeitsraum des Roboters, dynamische Umgebungen und Objekte mit denen der Roboter interagieren muss. Diese Arbeit zeigt den aktuellen Stand der Forschung, der mit einem \textit{modellbasierten} Manipulationssystem im Bereich der Robotik unter Verwendung von schnellen RĂŒckkopplungen und langsamerer reaktiver Planung möglich ist. Angesichts des Interesses in der Robotikforschung Systeme mit ganzheitlich zu ersetzen, ist es wichtig ein performantes Referenzsystem zu haben um neue Methoden qualitativ in Hinblick auf ihre FĂ€higkeiten und ihre Generalisierbarkeit zu vergleichen. Weiterhin erlaubt ein solches System Probleme mit AnsĂ€tzen zu identifizieren und diese mithilfe von Methoden zu verbessern.
Die meisten Robotermanipulationssysteme verfĂŒgen ĂŒber viele Sensoren mit unterschiedlichen ModalitĂ€ten und Rauschverhalten. Die Entwicklung von fĂŒr alle Sensoren ist nicht trivial und die resultierende Modelle zu komplex fĂŒr Echtzeitverarbeitung in Manipulationssystem. Planen mit vielen SensormodalitĂ€ten ist besonders komplex aufgrund der vielen Modellunsicherheiten. Dies ist besonders ausgeprĂ€gt fĂŒr Manipulationsaufgaben bei denen Kontakte zwischen Roboter und Objekten von Bedeutung sind. Eine der Hauptherausforderung fĂŒr autonome Manipulation ist daher die Erzeugung geeigneter multimodaler Referenztrajektorien, die es ermöglichen Steuerbefehle fĂŒr Regelungssysteme zu berechnen die nicht modellierte Störungen kompensieren und damit die ErfĂŒllung der gestellten Manipulationsaufgabe ermöglichen. In dieser Arbeit stellen wir einen Ansatz zur inkrementellen Erfassung von Referenzsignalen vor, der in Echtzeit entscheidet ein Verhalten abgebrochen und zu Verhalten gewechselt werden sollte, um eine erfolgreiche AusfĂŒhrung zu gewĂ€hrleisten. Wir formulieren dieses Online-Entscheidungsproblem als zwei miteinander verbundene Klassifikationsprobleme. Beide verarbeiten die aktuellen Sensormesswerte, zusammengesetzt aus mehreren SensormodalitĂ€ten, in Echtzeit (in 30 Hz). Dieser Ansatz basiert auf unserem domĂ€nenspezifischen ProblemverstĂ€ndnis, dass stereotypische Bewegungsgenerierung Ă€hnliche Sensordaten erzeugt. Unsere Experimente zeigen, dass dieser Ansatz es ermöglicht schwierige kontextbasierte Aufgaben zu erlernen, die prĂ€zise Manipulation von relativ kleinen Objekten voraussetzen. Um eine solche Aufgabe zu erlernen, benötigt ein Benutzer unseres Systems kein Expertenwissen. Das System benötigt nur kinĂ€sthetische Demonstrationen und Unterbrechungen in Fehlersituationen. Die gelernte AufgabenausfĂŒhrung ist robust gegen StöreinflĂŒsse und Sensorrauschen, da unsere Methode online entscheidet, ob sie aufgrund von unerwarteter sensorischer Signale zu einer anderen AusfĂŒhrung wechseln sollte oder nicht.
Greifen ist ein wichtiges Forschungsproblem in der Robotik, da es eine Grundvoraussetzung fĂŒr Manipulation darstellt. In dieser Arbeit konzentrieren wir uns auf das Problem der Vorhersage von Position und Orientierung bevor ein Kontakt zwischen Objekt und Endeffektor eintritt. FĂŒr diesen grundlegenden Schritt um âerfolgreich zu greifenâ stehen nur visuelle Sensordaten wie 2D-Bilder und/oder 3D-Punktwolken zur VerfĂŒgung. Die Verwendung von Greifplanern ist in solchen Situationen nicht optimal, da prĂ€zise Simulationen zu rechenintensiv sind und alle Objekte bekannt, erkannt und visuell verfolgt werden mĂŒssen. Verfahren die direkt von visuellen Sensordaten stabile Griffe vorhersagen sind sehr effizient in der Auswertung jedoch benötigen die aktuell vielversprechendsten Verfahren, neuronale Netze, eine Vielzahl von annotierten Beispielen um diese Abbildung zu lernen. Im Rahmen dieser Arbeit stellen wir eine umfangreichen Datenbank mit einer Vielzahl von Objekten aus sehr unterschiedlichen Kategorien vor. Auf Basis dieser Datenbank analysieren wir drei Aspekte: (i) Eine Crowdsourcing Studie zeigt, dass unsere neu vorgestellte Metrik auf Basis einer physikalischen Simulation ein besserer Indikator fĂŒr Greiferfolg im Vergleich zu der bestehenden Standard Ï”-Metrik ist. DarĂŒber hinaus deutet unsere Studie darauf hin, dass unsere Datengenerierung keine manuelle Datenannotation benötigt. (ii) Die daraus resultierende Datenbank ermöglicht die Optimierung von parametrischen Lernverfahren wie neuronale Netze. Dadurch, dass wir eine Abbildung von Sensordaten zu möglichen Griffen lernen, muss das Objekt, seine Position und Orientierung nicht bekannt sein. DarĂŒber hinaus zeigen wir, dass einfachere Methoden wie logistische Regression nicht die KapazitĂ€t haben um die KomplexitĂ€t unserer Daten zu erfassen. (iii) Roboter nehmen ein Szenario typischerweise aus einem Blickwinkel wahr und versuchen ein Objekt mit dem ersten Versuch zu greifen. Klassifikationsverfahren sind nicht speziell fĂŒr diese Verwendung optimiert, weshalb wir eine neue Formulierung erarbeiten, welche die beste, Hypothese aus den jeweiligen Teilmengen auswĂ€hlt. Diese neuartige Optimierungszielsetzung ermöglicht dies selbst auf unserem binĂ€ren Datensatz, da das Lernverfahren selbst die Daten ordnet und somit einfach zu erkennende Griffe selbst auswĂ€hlen kann.
Sichere BewegungsausfĂŒhrung auf Basis von Regelungskreisen sind entscheidend fĂŒr Roboter die mit Menschen kollaborativ Manipulationsaufgaben lösen. Daher werden neue Methoden benötigt, die es ermöglichen inversen Dynamikmodelle zu lernen und bestehende Modelle zu verbessern, um VerstĂ€rkungsgröĂen in Regelungskreisen zu minimieren. Dies ist besonders wichtig, wenn Objekte manipuliert werden, da sich das bekannte inverse Dynamikmodell dadurch verĂ€ndert. Aktuelle Verfahren, welche Fehlermodelle zu bestehenden Regler fĂŒr die inverse Dynamik zu lernen, werden auf Basis der erzielten Beschleunigungen und Drehmomenten optimiert. Da die tatsĂ€chlich realisierten Beschleunigungen, eine indirekte Datenquelle, jedoch nicht die gewĂŒnschten Beschleunigungen darstellen, werden hohe VerstĂ€rkungen im Regelkreis benötigt, um relevantere Daten zu erhalten die es erlauben ein gutes Modell zu lernen. Hohe VerstĂ€rkung im Regelkreis ist wiederum schlecht fĂŒr die Sicherheit. In dieser Arbeit leiten wir ein zusĂ€tzliches Trainingssignal her, das auf der gewĂŒnschten Beschleunigungen basiert und von dem RĂŒckkopplungssignal abgeleitet werden kann. Wir analysieren die Nutzung beider Datenquellen in Simulation und demonstrieren ihre Wirksamkeit auf einer realen Roboterplattform. Wir zeigen, dass das System das gelernte inverse Dynamikmodell inkrementell verbessert. Durch die Kombination beider Datenquellen kann ein neues Modell konsistenter und schneller gelernt werden und zusĂ€tzlich werden keine hohen VerstĂ€rkungen im Regelungskreis benötigt.
Menschen sind bemerkenswert gut darin, neue oder angepasste FĂ€higkeiten schnell zu erlernen. Dies ist darauf zurĂŒckzufĂŒhren, dass wir nicht jede neue FĂ€higkeit von Grund auf neu erlernen, sondern stattdessen auf den bereits gewonnenen Fertigkeiten aufbauen. Die meisten robotergestĂŒtzten Lernaufgaben wĂŒrden davon profitieren, wenn sie ein solches abstraktes Meta-Lernverfahren zur VerfĂŒgung hĂ€tten. Ein solcher Ansatz ist von groĂer Bedeutung fĂŒr die Robotik, da autonomes Lernen ein inhĂ€rent inkrementelles Problem ist. In dieser Arbeit stellen wir einen neuen vor, der es erstmals ermöglicht die Roboterdynamik online zu erlernen und auf neue Probleme zu ĂŒbertragen. WĂ€hrend der Optimierung lernt unser Verfahren die Struktur der Optimierungsprobleme, welche fĂŒr neue Aufgaben verwendet werden kann, was zu einer schnelleren Konvergenz fĂŒhrt. Das vorgeschlagene kann zudem mit jedem beliebigen gradientenbasierten Optimierungsansatz verwendet werden. Wir zeigen, dass unser Ansatz die Dateneffizienz fĂŒr inkrementelles Lernen erhöht. Weiterhin ist unser Verfahren fĂŒr das mit korrelierten Daten geeignet, zum Beispiel fĂŒr inverse Dynamikmodelle. Der vorgestellte Ansatz eröffnet zusĂ€tzlich völlig neue Wege um in Simulation gewonnene Erfahrungen in die reale Welt zu transferieren. Dadurch kann möglicherweise bestehendes DomĂ€nenwissen in Form von Simulation auf völlig neue Weise verwendet werden
Robot manipulation in human environments
Thesis (Ph. D.)--Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science, 2007.Includes bibliographical references (p. 211-228).Human environments present special challenges for robot manipulation. They are often dynamic, difficult to predict, and beyond the control of a robot engineer. Fortunately, many characteristics of these settings can be used to a robot's advantage. Human environments are typically populated by people, and a robot can rely on the guidance and assistance of a human collaborator. Everyday objects exhibit common, task-relevant features that reduce the cognitive load required for the object's use. Many tasks can be achieved through the detection and control of these sparse perceptual features. And finally, a robot is more than a passive observer of the world. It can use its body to reduce its perceptual uncertainty about the world. In this thesis we present advances in robot manipulation that address the unique challenges of human environments. We describe the design of a humanoid robot named Domo, develop methods that allow Domo to assist a person in everyday tasks, and discuss general strategies for building robots that work alongside people in their homes and workplaces.by Aaron Ladd Edsinger.Ph.D
Computational Methods for Cognitive and Cooperative Robotics
In the last decades design methods in control engineering made substantial progress in
the areas of robotics and computer animation. Nowadays these methods incorporate the
newest developments in machine learning and artificial intelligence. But the problems
of flexible and online-adaptive combinations of motor behaviors remain challenging for
human-like animations and for humanoid robotics. In this context, biologically-motivated
methods for the analysis and re-synthesis of human motor programs provide new insights
in and models for the anticipatory motion synthesis.
This thesis presents the authorâs achievements in the areas of cognitive and developmental robotics, cooperative and humanoid robotics and intelligent and machine learning methods in computer graphics. The first part of the thesis in the chapter âGoal-directed Imitation for Robotsâ considers imitation learning in cognitive and developmental robotics.
The work presented here details the authorâs progress in the development of hierarchical
motion recognition and planning inspired by recent discoveries of the functions of mirror-neuron cortical circuits in primates. The overall architecture is capable of âlearning for
imitationâ and âlearning by imitationâ. The complete system includes a low-level real-time
capable path planning subsystem for obstacle avoidance during arm reaching. The learning-based path planning subsystem is universal for all types of anthropomorphic robot arms, and is capable of knowledge transfer at the level of individual motor acts.
Next, the problems of learning and synthesis of motor synergies, the spatial and spatio-temporal combinations of motor features in sequential multi-action behavior, and the
problems of task-related action transitions are considered in the second part of the thesis
âKinematic Motion Synthesis for Computer Graphics and Roboticsâ. In this part, a new
approach of modeling complex full-body human actions by mixtures of time-shift invariant
motor primitives in presented. The online-capable full-body motion generation architecture
based on dynamic movement primitives driving the time-shift invariant motor synergies
was implemented as an online-reactive adaptive motion synthesis for computer graphics
and robotics applications.
The last chapter of the thesis entitled âContraction Theory and Self-organized Scenarios
in Computer Graphics and Roboticsâ is dedicated to optimal control strategies in multi-agent scenarios of large crowds of agents expressing highly nonlinear behaviors. This last
part presents new mathematical tools for stability analysis and synthesis of multi-agent
cooperative scenarios.In den letzten Jahrzehnten hat die Forschung in den Bereichen der Steuerung und Regelung
komplexer Systeme erhebliche Fortschritte gemacht, insbesondere in den Bereichen
Robotik und Computeranimation. Die Entwicklung solcher Systeme verwendet heutzutage
neueste Methoden und Entwicklungen im Bereich des maschinellen Lernens und der
kĂŒnstlichen Intelligenz. Die flexible und echtzeitfĂ€hige Kombination von motorischen Verhaltensweisen
ist eine wesentliche Herausforderung fĂŒr die Generierung menschenĂ€hnlicher
Animationen und in der humanoiden Robotik. In diesem Zusammenhang liefern biologisch
motivierte Methoden zur Analyse und Resynthese menschlicher motorischer Programme
neue Erkenntnisse und Modelle fĂŒr die antizipatorische Bewegungssynthese.
Diese Dissertation prÀsentiert die Ergebnisse der Arbeiten des Autors im Gebiet der
kognitiven und Entwicklungsrobotik, kooperativer und humanoider Robotersysteme sowie
intelligenter und maschineller Lernmethoden in der Computergrafik. Der erste Teil der
Dissertation im Kapitel âZielgerichtete Nachahmung fĂŒr Roboterâ behandelt das Imitationslernen
in der kognitiven und Entwicklungsrobotik. Die vorgestellten Arbeiten beschreiben
neue Methoden fĂŒr die hierarchische Bewegungserkennung und -planung, die durch
Erkenntnisse zur Funktion der kortikalen Spiegelneuronen-Schaltkreise bei Primaten inspiriert
wurden. Die entwickelte Architektur ist in der Lage, âdurch Imitation zu lernenâ
und âzu lernen zu imitierenâ. Das komplette entwickelte System enthĂ€lt ein echtzeitfĂ€higes
Pfadplanungssubsystem zur Hindernisvermeidung wĂ€hrend der DurchfĂŒhrung von Armbewegungen.
Das lernbasierte Pfadplanungssubsystem ist universell und fĂŒr alle Arten von
anthropomorphen Roboterarmen in der Lage, Wissen auf der Ebene einzelner motorischer
Handlungen zu ĂŒbertragen.
Im zweiten Teil der Arbeit âKinematische Bewegungssynthese fĂŒr Computergrafik und
Robotikâ werden die Probleme des Lernens und der Synthese motorischer Synergien, d.h.
von rÀumlichen und rÀumlich-zeitlichen Kombinationen motorischer Bewegungselemente
bei Bewegungssequenzen und bei aufgabenbezogenen Handlungs ĂŒbergĂ€ngen behandelt.
Es wird ein neuer Ansatz zur Modellierung komplexer menschlicher Ganzkörperaktionen
durch Mischungen von zeitverschiebungsinvarianten Motorprimitiven vorgestellt. Zudem
wurde ein online-fĂ€higer Synthesealgorithmus fĂŒr Ganzköperbewegungen entwickelt, der
auf dynamischen Bewegungsprimitiven basiert, die wiederum auf der Basis der gelernten
verschiebungsinvarianten Primitive konstruiert werden. Dieser Algorithmus wurde fĂŒr
verschiedene Probleme der Bewegungssynthese fĂŒr die Computergrafik- und Roboteranwendungen
implementiert.
Das letzte Kapitel der Dissertation mit dem Titel âKontraktionstheorie und selbstorganisierte
Szenarien in der Computergrafik und Robotikâ widmet sich optimalen Kontrollstrategien
in Multi-Agenten-Szenarien, wobei die Agenten durch eine hochgradig nichtlineare
Kinematik gekennzeichnet sind. Dieser letzte Teil prÀsentiert neue mathematische Werkzeuge
fĂŒr die StabilitĂ€tsanalyse und Synthese von kooperativen Multi-Agenten-Szenarien
Muscle activation mapping of skeletal hand motion: an evolutionary approach.
Creating controlled dynamic character animation consists of mathe- matical modelling of muscles and solving the activation dynamics that form the key to coordination. But biomechanical simulation and control is com- putationally expensive involving complex di erential equations and is not suitable for real-time platforms like games. Performing such computations at every time-step reduces frame rate. Modern games use generic soft- ware packages called physics engines to perform a wide variety of in-game physical e ects. The physics engines are optimized for gaming platforms. Therefore, a physics engine compatible model of anatomical muscles and an alternative control architecture is essential to create biomechanical charac- ters in games. This thesis presents a system that generates muscle activations from captured motion by borrowing principles from biomechanics and neural con- trol. A generic physics engine compliant muscle model primitive is also de- veloped. The muscle model primitive forms the motion actuator and is an integral part of the physical model used in the simulation. This thesis investigates a stochastic solution to create a controller that mimics the neural control system employed in the human body. The control system uses evolutionary neural networks that evolve its weights using genetic algorithms. Examples and guidance often act as templates in muscle training during all stages of human life. Similarly, the neural con- troller attempts to learn muscle coordination through input motion samples. The thesis also explores the objective functions developed that aids in the genetic evolution of the neural network. Character interaction with the game world is still a pre-animated behaviour in most current games. Physically-based procedural hand ani- mation is a step towards autonomous interaction of game characters with the game world. The neural controller and the muscle primitive developed are used to animate a dynamic model of a human hand within a real-time physics engine environment