Three-dimensional modeling of tongue during speech using MRI data

The tongue is the most important and dynamic articulator for speech formation, because of its anatomic aspects (particularly, the large volume of this muscular organ comparatively to the surrounding organs of the vocal tract) and also due to the wide range of movements and flexibility that are involved. In speech communication research, a variety of techniques have been used for measuring the three-dimensional vocal tract shapes. More recently, magnetic resonance imaging (MRI) becomes common; mainly, because this technique allows the collection of a set of static and dynamic images that can represent the entire vocal tract along any orientation. Over the years, different anatomical organs of the vocal tract have been modelled; namely, 2D and 3D tongue models, using parametric or statistical modelling procedures. Our aims are to present and describe some 3D reconstructed models from MRI data, for one subject uttering sustained articulations of some typical Portuguese sounds. Thus, we present a 3D database of the tongue obtained by stack combinations with the subject articulating Portuguese vowels. This 3D knowledge of the speech organs could be very important; especially, for clinical purposes (for example, for the assessment of articulatory impairments followed by tongue surgery in speech rehabilitation), and also for a better understanding of acoustic theory in speech formation

Bewegungssteuerung bei abrupten Veränderungen dynamischer Transformationen

Die Kernfrage der vorliegenden Arbeit ist die nach der zentralen Modulierbarkeit der Bewegungssteuerung unter abrupten dynamischen Transformationen. Angelehnt ist die experimentelle Aufgabe an neue Herausforderungen in der minimalinvasiven Chirurgie und ingenieurswissenschaftliche Bestrebungen diese mit Hilfe von Roboterunterstützung für den Operateur beherrschbarer zu machen. Unabhängig von der Anwendung interessiert die Bewegungssteuerung im Rahmen abrupter dynamischer Transformationen, das heißt, wie sich das zentrale Nervensystem an die Anforderungen der Aufgabe anpasst. Dabei bestand die Aufgabe der Versuchspersonen im Wesentlichen darin, auf eine abrupte dynamische Transformation mit dem Stoppen einer Bewegung, beziehungsweise dem Halten einer Position zu reagieren. Die ersten beiden Experimente sollten die Einflüsse der Eigenschaften von dynamischen Transformationen auf die nachfolgende Stoppbewegung aufdecken und das Ausmaß der Beteiligung antizipativer Prozesse sowie möglicher weiterer strategischer Prozesse klären. Dabei dient Experiment 2 auch der Replikation der Ergebnisse aus Experiment 1. In den nachfolgenden beiden Experimenten wird neben den Einflüssen der Eigenschaften der dynamischen Transformationen und den antizipativen Prozessen insbesondere die Rolle der Impedanzkontrolle untersucht. Während in Experiment 1 und 2 aus einer Bewegung heraus gestoppt wird, untersuchen Experiment 3 und 4 das Halten einer Position gegen eine Entlastung, wobei Experiment 4 eine Erweiterung von Experiment 3 darstellt. Die zentrale Frage aller Experimente ist die nach dem Zusammenspiel mechanicher, reflektorischer und kognitiver Prozesse beim Stoppen nach abrupten dynamischen Transformationen. Letztendlich umfasst das auch die Frage nach dem Ausmaß der willkürlichen Beeinflussbarkeit der Bewegungssteuerung im Rahmen dieser Aufgabe. Zentrale Erkenntnisse dieser Arbeit umfassen die Nutzung unterschiedlicher Strategien in Abhängigkeit der Randbedingungen. Dabei wirkt sich neben den Eigenschaften der dynamischen Transformation wie ihre Stärke, ihre räumliche und zeitliche Ausdehnung und ihre Richtung auch die Vorhersagbarkeit dieser Eigenschaften modulierend auf die verwendeten Strategien aus. Während die Reaktionszeit vermutlich keiner Modulation unterliegt, wurden andere antizipative Strategien wie die Anpassung der Geschwindigkeit, die Impedanzkontrolle mittels Kokontraktion und die optimale Positionierung von Hand und Arm identifiziert. Es muss angenommen werden, dass diese Strategien nicht in Reinform angewandt werden, sondern mehrere dieser Strategien, etwa die Impedanzkontrolle mittels Kokontraktion und das Ausformen innerer Modelle, gleichzeitig verwendet werden. Darüber hinaus wurde in Experiment 4 für die linke Hand ein Strategiewechsel während des Lernprozess nachgewiesen. Schlussendlich ergibt sich aus den Erkenntnissen, welche die vorliegenden Experimente liefern, ein in hohem Maße flexibles Bild der menschlichen Bewegungssteuerung unter abrupten dynamischen Transformationen

Soft tissue modelling and facial movement simulation using the finite element method

This thesis presents a framework for soft tissue modelling, facial surgery simulation, and facial movement synthesis based on the volumetric finite element method. Assessment of facial appearance pre- and post-surgery is of major concern for both patients and clinicians. Pre-surgical planning is a prerequisite for successful surgical procedures and outcomes. Early computer-assisted facial models have been geometrically based. They are computationally efficient, but cannot give an accurate prediction for facial surgery simulation. Therefore, in this thesis, the emphasis is placed on physically-based methods, especially the finite element technique. To achieve realistic surgery simulation, soft tissue modelling is of crucial importance. Thus, in this thesis, considerable effort has been directed to develop constitutive equations for facial skeletal muscles. The skeletal muscle model subsequently developed is able to capture the complex mechanical properties of skeletal muscle, which are active, quasi-incompressible, fibre-reinforced and hyperelastic. In addition, to improve the characterisation of in-vivo muscle behaviour, a technique has been developed to visualise the internal fibre arrangement of skeletal muscle using the FEM-NURBS method, which is the combination of the finite element method and the non-uniform rational B-spline solid mathematical representation. Another principal contribution made in this thesis is the three-dimensional finite element facial model, which can be used for the simulations of facial surgery and facial movement. The procedure of one cranio-facial surgery is simulated by using this facial model and the numerical predictions show a good agreement with the patient post-surgical data. In addition, it would be very helpful to also simulate the facial movement and facial expressions. In this thesis, two facial expressions (smile and disgust) and the mouth opening are simulated to assess the post-surgical appearance and test the muscle-driven facial movement simulation method

Forschungsbericht Universität Mannheim, 2004 / 2005

Die Universität Mannheim gibt in dem vorliegenden Forschungsbericht 2004/2005 Rechenschaft über ihre Leistungen auf dem Gebiet der Forschung. Erstmals folgt diese Dokumentation einer neuen Gliederung, die auf einen Beschluss des Forschungsrates der Universität Mannheim zurückgeht. Wie gewohnt erhalten Sie einen Überblick über die Publikationen und Forschungsprojekte der Lehrstühle, Professuren und zentralen Forschungseinrichtungen. Diese werden ergänzt um Angaben zur Organisation von Forschungsveranstaltungen, der Mitwirkung in Forschungsausschüssen, einer Übersicht zu den für Forschungszwecke eingeworbenen Drittmitteln, zu den Promotionen und Habilitationen, zu Preisen und Ehrungen und zu Förderern der Universität Mannheim. Abgerundet werden diese Daten durch zusammenfassende Darstellungen der Forschungsschwerpunkte und des Forschungsprofils der Fakultäten