Multimodal Shared-Control Interaction for Mobile Robots in AAL Environments

This dissertation investigates the design, development and implementation of cognitively adequate, safe and robust, spatially-related, multimodal interaction between human operators and mobile robots in Ambient Assisted Living environments both from the theoretical and practical perspectives. By focusing on different aspects of the concept Interaction, the essential contribution of this dissertation is divided into three main research packages; namely, Formal Interaction, Spatial Interaction and Multimodal Interaction in AAL. As the principle package, in Formal Interaction, research effort is dedicated to developing a formal language based interaction modelling and management solution process and a unified dialogue modelling approach. This package aims to enable a robust, flexible, and context-sensitive, yet formally controllable and tractable interaction. This type of interaction can be used to support the interaction management of any complex interactive systems, including the ones covered in the other two research packages. In the second research package, Spatial Interaction, a general qualitative spatial knowledge based multi-level conceptual model is developed and proposed. The goal is to support a spatially-related interaction in human-robot collaborative navigation. With a model-based computational framework, the proposed conceptual model has been implemented and integrated into a practical interactive system which has been evaluated by empirical studies. It has been particularly tested with respect to a set of high-level and model-based conceptual strategies for resolving the frequent spatially-related communication problems in human-robot interaction. Last but not least, in Multimodal Interaction in AAL, attention is drawn to design, development and implementation of multimodal interaction for elderly persons. In this elderly-friendly scenario, ageing-related characteristics are carefully considered for an effective and efficient interaction. Moreover, a standard model based empirical framework for evaluating multimodal interaction is provided. This framework was especially applied to evaluate a minutely developed and systematically improved elderly-friendly multimodal interactive system through a series of empirical studies with groups of elderly persons

Innovationsforum open4INNOVATION2012 regional kooperativ-global innovativ: Beiträge zum Fachforum

Die Zukunft liegt bereits heute schon im Internet der Dinge, Daten, Dienste und Personen. Informations- und Kommunikationstechnologien (IKT) beeinflussen vermehrt die alltäglichen Abläufe, übernehmen im Ernstfall lebenserhaltende Körperfunktionen, unterstützen Arbeits- und Produktionsprozesse und halten Einzug in unsere Wohnbereiche. Dabei rückt der Gedanke einer anwendungsnahen und integrierten Sicht von Software zunehmend in den Vordergrund und verlangt deshalb interdisziplinäre Ansätze. Eine frühzeitige technische Abstimmung zwischen Soft- und Hardware sowie unterschiedlichen technischen Öko-Systemen wird dabei notwendiger und fordert Politik, Wissenschaft und Wirtschaft in gleichem Maße. Das Innovationsforum open4INNOVATION2012 am 9.Mai bot dazu Praktikern und Akademikern eine Plattform für den interdisziplinären und fachbereichsübergreifenden Austausch zu neuen und anwendungsnahen IKT-Ansätzen. Unter dem Motto regional kooperativ, global innovativ galt es dabei regional politische, wirtschaftliche und wissenschaftliche Kompetenzen zu bündeln, um globale Märkte erfolgreich zu bestreiten. In dem vorliegenden Tagungsband finden Sie die Beiträge des Fachforums, welches ein Hauptformat der Veranstaltung darstellte. Zusätzlich kam es auf dem Innovationsforum open4INNOVATION2012 erstmals zur aktiven Vernetzung sächsischer Forschergruppen, deren wissenschaftlicher Schwerpunkt die Robotik ist. Auf diesem ersten sächsischen Robotertreffen stand vor allem die Arbeit mit humanoiden Robotern im Mittelpunkt

3D-Modellierung mit interaktiven Oberflächen

3D models are at the core of many important applications from industry, science, and also entertainment. The creation of 3D models is a complex and time consuming process. Current modeling tools are hard to learn and require a deep understanding of the underlying mathematical models. Furthermore, established input devices like the mouse and keyboard do not utilize the full interaction potential -- especially regarding bimanual control -- of the human hand. The growing interest and the commercial breakthrough of multi-touch displays and interactive surfaces raises questions about their potential in the context of 3d modeling, which are thoroughly discussed and evaluated in this work. The presented approach is closely aligned to the whole processing chain for multi-touch applications, starting with the hardware and tracking issues, continuing with fundamental design discussions and operations like selection and 3D manipulation of objects and finishing with complex modeling techniques and metaphors. In regard to hardware and tracking, a robust illumination setup for the diffuse illumination technique is presented along with two extensions of this approach, i.e., hover detection and hand distinction. The design space is organized into specific design dimensions characterized by extremal positions to allow a better overview of design choices and a classification of existing and future systems. Fundamental techniques for selection and integrated 3D manipulation with six degrees of freedom are presented and empirically evaluated. Finally, two established modeling techniques -- implicit surfaces and virtual sculpting -- are extended and evaluated for multi-touch input

3D-Modellierung mit interaktiven Oberflächen

3D models are at the core of many important applications from industry, science, and also entertainment. The creation of 3D models is a complex and time consuming process. Current modeling tools are hard to learn and require a deep understanding of the underlying mathematical models. Furthermore, established input devices like the mouse and keyboard do not utilize the full interaction potential -- especially regarding bimanual control -- of the human hand. The growing interest and the commercial breakthrough of multi-touch displays and interactive surfaces raises questions about their potential in the context of 3d modeling, which are thoroughly discussed and evaluated in this work. The presented approach is closely aligned to the whole processing chain for multi-touch applications, starting with the hardware and tracking issues, continuing with fundamental design discussions and operations like selection and 3D manipulation of objects and finishing with complex modeling techniques and metaphors. In regard to hardware and tracking, a robust illumination setup for the diffuse illumination technique is presented along with two extensions of this approach, i.e., hover detection and hand distinction. The design space is organized into specific design dimensions characterized by extremal positions to allow a better overview of design choices and a classification of existing and future systems. Fundamental techniques for selection and integrated 3D manipulation with six degrees of freedom are presented and empirically evaluated. Finally, two established modeling techniques -- implicit surfaces and virtual sculpting -- are extended and evaluated for multi-touch input

Segmentierung medizinischer Bilddaten und bildgestützte intraoperative Navigation

Die Entwicklung von Algorithmen zur automatischen oder semi-automatischen Verarbeitung von medizinischen Bilddaten hat in den letzten Jahren mehr und mehr an Bedeutung gewonnen. Das liegt zum einen an den immer besser werdenden medizinischen Aufnahmemodalitäten, die den menschlichen Körper immer feiner virtuell abbilden können. Zum anderen liegt dies an der verbesserten Computerhardware, die eine algorithmische Verarbeitung der teilweise im Gigabyte-Bereich liegenden Datenmengen in einer vernünftigen Zeit erlaubt. Das Ziel dieser Habilitationsschrift ist die Entwicklung und Evaluation von Algorithmen für die medizinische Bildverarbeitung. Insgesamt besteht die Habilitationsschrift aus einer Reihe von Publikationen, die in drei übergreifende Themenbereiche gegliedert sind: -Segmentierung medizinischer Bilddaten anhand von vorlagenbasierten Algorithmen -Experimentelle Evaluation quelloffener Segmentierungsmethoden unter medizinischen Einsatzbedingungen -Navigation zur Unterstützung intraoperativer Therapien Im Bereich Segmentierung medizinischer Bilddaten anhand von vorlagenbasierten Algorithmen wurden verschiedene graphbasierte Algorithmen in 2D und 3D entwickelt, die einen gerichteten Graphen mittels einer Vorlage aufbauen. Dazu gehört die Bildung eines Algorithmus zur Segmentierung von Wirbeln in 2D und 3D. In 2D wird eine rechteckige und in 3D eine würfelförmige Vorlage genutzt, um den Graphen aufzubauen und das Segmentierungsergebnis zu berechnen. Außerdem wird eine graphbasierte Segmentierung von Prostatadrüsen durch eine Kugelvorlage zur automatischen Bestimmung der Grenzen zwischen Prostatadrüsen und umliegenden Organen vorgestellt. Auf den vorlagenbasierten Algorithmen aufbauend, wurde ein interaktiver Segmentierungsalgorithmus, der einem Benutzer in Echtzeit das Segmentierungsergebnis anzeigt, konzipiert und implementiert. Der Algorithmus nutzt zur Segmentierung die verschiedenen Vorlagen, benötigt allerdings nur einen Saatpunkt des Benutzers. In einem weiteren Ansatz kann der Benutzer die Segmentierung interaktiv durch zusätzliche Saatpunkte verfeinern. Dadurch wird es möglich, eine semi-automatische Segmentierung auch in schwierigen Fällen zu einem zufriedenstellenden Ergebnis zu führen. Im Bereich Evaluation quelloffener Segmentierungsmethoden unter medizinischen Einsatzbedingungen wurden verschiedene frei verfügbare Segmentierungsalgorithmen anhand von Patientendaten aus der klinischen Routine getestet. Dazu gehörte die Evaluierung der semi-automatischen Segmentierung von Hirntumoren, zum Beispiel Hypophysenadenomen und Glioblastomen, mit der frei verfügbaren Open Source-Plattform 3D Slicer. Dadurch konnte gezeigt werden, wie eine rein manuelle Schicht-für-Schicht-Vermessung des Tumorvolumens in der Praxis unterstützt und beschleunigt werden kann. Weiterhin wurde die Segmentierung von Sprachbahnen in medizinischen Aufnahmen von Hirntumorpatienten auf verschiedenen Plattformen evaluiert. Im Bereich Navigation zur Unterstützung intraoperativer Therapien wurden Softwaremodule zum Begleiten von intra-operativen Eingriffen in verschiedenen Phasen einer Behandlung (Therapieplanung, Durchführung, Kontrolle) entwickelt. Dazu gehört die erstmalige Integration des OpenIGTLink-Netzwerkprotokolls in die medizinische Prototyping-Plattform MeVisLab, die anhand eines NDI-Navigationssystems evaluiert wurde. Außerdem wurde hier ebenfalls zum ersten Mal die Konzeption und Implementierung eines medizinischen Software-Prototypen zur Unterstützung der intraoperativen gynäkologischen Brachytherapie vorgestellt. Der Software-Prototyp enthielt auch ein Modul zur erweiterten Visualisierung bei der MR-gestützten interstitiellen gynäkologischen Brachytherapie, welches unter anderem die Registrierung eines gynäkologischen Brachytherapie-Instruments in einen intraoperativen Datensatz einer Patientin ermöglichte. Die einzelnen Module führten zur Vorstellung eines umfassenden bildgestützten Systems für die gynäkologische Brachytherapie in einem multimodalen Operationssaal. Dieses System deckt die prä-, intra- und postoperative Behandlungsphase bei einer interstitiellen gynäkologischen Brachytherapie ab

Implementation of safe human robot collaboration for ultrasound guided radiation therapy

This thesis shows that safe human-robot-interaction and Human Robot Collaboration is possible for Ultrasound (US) guided radiotherapy. Via the chosen methodology, all components (US, optical room monitoring and robot) could be linked and integrated and realized in a realistic clinical workflow. US guided radiotherapy offers a complement and alternative to existing image-guided therapy approaches. The real-time capability of US and high soft tissue contrast allow target structures to be tracked and radiation delivery to be modulated. However, Ultrasound guided radiation therapy (USgRT) is not yet clinically established but is still under development, as reliable and safe methods of image acquisition are not yet available. In particular, the loss of contact of the US probe to the patient surface poses a problem for patient movements such as breathing. For this purpose, a Breathing and motion compensation (BaMC) was developed in this work, which together with the safe control of a lightweight robot represents a new development for USgRT. The developed BaMC can be used to control the US probe with contact to the patient. The conducted experiments have confirmed that a steady contact with the patient surface and thus a continuous image acquisition can be ensured by the developed methodology. In addition, the image position in space can be accurately maintained in the submillimeter range. The BaMC seamlessly integrates into a developed clinical workflow. The graphical user interfaces developed for this purpose, as well as direct haptic control with the robot, provide an easy interaction option for the clinical user. The developed autonomous positioning of the transducer represents a good example of the feasibility of the approach. With the help of the user interface, an acoustic plane can be defined and autonomously approached via the robot in a time-efficient and precise manner. The tests carried out show that this methodology is suitable for a wide range of transducer positions. Safety in a human-robot interaction task is essential and requires individually customized concepts. In this work, adequate monitoring mechanisms could be found to ensure both patient and staff safety. In collision tests it could be shown that the implemented detection measures work and that the robot moves into a safe parking position. The forces acting on the patient could thus be pushed well below the limits required by the standard. This work has demonstrated the first important steps towards safe robot-assisted ultrasound imaging, which is not only applicable to USgRT. The developed interfaces provide the basis for further investigations in this field, especially in the area of image recognition, for example to determine the position of the target structure. With the proof of safety of the developed system, first study in human can now follow

Haptische Mensch-Maschine-Schnittstelle für ein laparoskopisches Chirurgie-System

Für eine Vielzahl von Operationen im Bauchraum ist heute die Laparoskopie Stand der Technik, so z.B. die Cholezytektomie zur Entfernung der Gallenblase. Hierbei handelt es sich um ein minimalinvasives Verfahren bei dem der Zugang zum Operationsgebiet durch kleinste Schnitte in der Bauchdecke des Patienten erfolgt. Bei der Operation kommen lange starre Instrumente zu Einsatz. Im Gegensatz zu einer offenen Operation haben die Hände des Chirurgen keinen direkten Zugang zum operierten Gewebe. Ein Abtasten des Gewebes ist nicht möglich, der haptische Sinn zur Diagnose und Navigation im Operationsgebiet steht dem Operateur folglich nicht zur Verfügung. Diese Einschränkung erhöht die Komplexität laparoskopischer Eingriffe erheblich. Auch die Beweglichkeit im Operationsfeld ist stark eingeschränkt. Eine technische Antwort auf diese Einschränkungen sind haptische Telemanipulationssysteme. Sie bestehen aus einer angetriebenen Instrumentenspitze sowie einem haptischen Bedienelement, das die Kontaktkräfte zwischen Instrumentenspitze und Gewebe an den Bediener meldet. Hierzu erfasst ein Kraftsensor an der Instrumentenspitze die auftretenden Kontaktkräfte. Antriebe im Bedienelement erzeugen daraus eine Kraftinformation und leiten sie über einen Mechanismus an den Bediener weiter. Die vorliegende Arbeit befasst sich mit der Erweiterung der Entwurfsmethodik für haptische Bedienelemente und der Realisierung eines neuartigen Bedienelements. Basis ist eine Analyse des chirurgischen Szenarios in der minimalinvasiven Leberchirurgie. Daraus leitet sich das Entwurfsziel eines haptischen Bedienelementes mit drei kartesischen Freiheitsgraden ab. Auf Grund ihrer guten dynamischen Eigenschaften sind besonders parallelkinematische Mechanismen zur Übertragung haptischer Informationen geeignet. Sie zeichnen sich durch eine große Struktursteifigkeit und geringe bewegte Massen aus. Ihr kinematisches Übertragungsverhalten ist hingegen meist komplex. Aus der Analyse der kinematischen Bedingungen für ein rein kartesisches Ausgangsverhalten ergibt sich ein möglicher Lösungsraum geeigneter Topologien. Alle bestehen aus drei Beinen mit je 5 Gelenkfreiheitsgraden, einer Basis-Plattform und einer Tool-Centre-Point-Plattform zur Ausgabe der haptischen Information. Für den vorliegenden Fall ist eine RUU- bzw. DELTA-Struktur geeignet. Diese Struktur übersetzt drei Antriebsmomente in eine rein kartesische Ausgabe. Basierend auf der Analyse der kinematischen Entwurfsziele für haptische Mechanismen erfolgte eine Auslegung des Mechanismus im Hinblick auf isotropes, d.h. richtungsunabhängiges Übertragungsverhalten. Charakteristisches Maß ist die globale Konditionszahl. Entscheidend für die Qualität der haptischen Rückmeldung ist das dynamische Übertragungsverhalten haptischer Bedienelemente. Für eindimensionale Systeme ist in der Literatur zur Modellierung der Zwei-Tor Ansatz basierend auf der elektromechanischen Netzwerktheorie eingeführt. Im Rahmen dieser Arbeit erfolgt erstmalig die Erweiterung auch für den mehrdimensionalen Fall. Damit ist es möglich, auch die dynamischen Eigenschaften mehrdimensionaler Mechanismen mit dem Zwei-Tor Ansatz abzubilden. Dies erlaubt Anwendung des Entwurfsverfahrens der "Transparenz" für mehrdimensionale Systeme. Zur Analyse der mechanischen Eigenschaften des operierten Gewebes entstehen zwei Messplätze für die Frequenzbereiche f = 10...10^4 Hz (taktile Wahrnehmung) und f=DC...50 Hz (kinästhetische Wahrnehmung). Sie ermöglichen die messtechnische Charakterisierung der mechanischen Impedanz und die Ableitung mechanischer Schaltungen. Damit lässt sich die Impedanz des Gewebes rechnerisch im Gütekriterium der Transparenz zur Bewertung eines haptischen Telemanipulationssystems einsetzen. Die Realisierung eines haptischen Bedienelements erfolgt für ein neuartiges, tragbares Teleoperationssystem. Das Bedienkonzept ist an Hand eines ergonomischen Funktionsmusters im Tierversuch evaluiert. Kernkomponente ist ein haptisches Joystick mit drei kartesischen Freiheitsgraden durch einen RUU-Mechanismus. Der Arbeitsraum beträgt 743,5 cm³. Das Bedienelement ist mit einer Impedanz-gesteuerten Systemstruktur entworfen und feinwerktechnisch umgesetzt. Als Antriebe kommen drei EC-Motoren zum Einsatz. Mit einem maximalen Moment von 0,2 Nm erzeugen sie eine haptische Rückmeldung von 5N in 82% des Volumens im Arbeitsraum. Die zum Betrieb erforderlichen kinematischen Berechnungen sind auf einem Steuerrechner implementiert. Zusammen mit der Leistungselektronik ist dieser in einem mobilen Rack integriert. Der Nachweis der Funktionsfähigkeit erfolgt an einem experimentellen Telemanipulationssystem im Laborbetrieb