Intraoperative Modellierung und Registrierung für ein laparoskopisches Assistenzsystem

Ziel ist die Nutzung einer präoperativen Planung bei laparoskopischen Eingriffen. Ein Problem sind Änderungen des Operationsumfelds während des Eingriffs. Im Rahmen dieser Arbeit wird ein Modell aus Bildern eines Stereoendoskops und Messwerten eines Kraftsensors vorgestellt. Ein Fokus liegt auf einem Verfahren zur Oberflächenrekonstruktion. Weiterhin werden Methoden zur initialen Registrierung von prä- und intraoperativen Modellen und zur Aufrechterhaltung der Registrierung präsentiert

Intraoperative Modellierung und Registrierung für ein laparoskopisches Assistenzsystem

In diesem Buch werden Methoden vorgestellt, um ein intraoperatives Modell aus Bildern eines Stereo-Endoskops und Messwerten eines Kraft-Sensors zu generieren. Es soll im Rahmen eine Assistenzsystems für die laparoskopische Chirurgie zum Einsatz kommen. Ein Fokus liegt dabei auf einem Verfahren zur intraoperativen Rekonstruktion der Oberfläche. Weiterhin werden Methoden zur initialen Registrierung von prä- und intraoperativen Modellen sowie zur Aufrechterhaltung der Registrierung präsentiert

Ultraschallbasierte Navigation für die minimalinvasive onkologische Nieren- und Leberchirurgie

In der minimalinvasiven onkologischen Nieren- und Leberchirurgie mit vielen Vorteilen für den Pa- tienten wird der Chirurg häufig mit Orientierungsproblemen konfrontiert. Hauptursachen hierfür sind die indirekte Sicht auf die Patientenanatomie, das eingeschränkte Blickfeld und die intra- operative Deformation der Organe. Abhilfe können Navigationssysteme schaffen, welche häufig auf intraoperativem Ultraschall basieren. Durch die Echtzeit-Bildgebung kann die Deformation des Organs bestimmt werden. Da viele Tumore im Schallbild nicht sichtbar sind, wird eine robuste automatische und deformierbare Registrierung mit dem präoperativen CT benötigt. Ferner ist eine permanente Visualisierung auch während der Manipulation am Organ notwendig. Für die Niere wurde die Eignung von Ultraschall-Elastographieaufnahmen für die bildbasierte Re- gistrierung unter Verwendung der Mutual Information evaluiert. Aufgrund schlechter Bildqualität und geringer Ausdehnung der Bilddaten hatte dies jedoch nur mäßigen Erfolg. Die Verzweigungspunkte der Blutgefäße in der Leber werden als natürliche Landmarken für die Registrierung genutzt. Dafür wurden Gefäßsegmentierungsalgorithmen für die beiden häufigsten Arten der Ultraschallbildgebung B-Mode und Power Doppler entwickelt. Die vorgeschlagene Kom- bination beider Modalitäten steigerte die Menge an Gefäßverzweigungen im Mittel um 35 %. Für die rigide Registrierung der Gefäße aus dem Ultraschall und CT werden mithilfe eines bestehen- den Graph Matching Verfahrens [OLD11b] im Mittel 9 bijektive Punktkorrespondenzen definiert. Die mittlere Registrierungsgenauigkeit liegt bei 3,45 mm. Die Menge an Punktkorrespondenzen ist für eine deformierbare Registrierung nicht ausreichend. Das entwickelte Verfahren zur Landmarkenverfeinerung fügt zwischen gematchten Punkte weitere Landmarken entlang der Gefäßmittellinien ein und sucht nach weiteren korrespondierenden Gefäß- segmenten wodurch die Zahl der Punktkorrespondenzen im Mittel auf 70 gesteigert wird. Dies erlaubt die Bestimmung der Organdeformation anhand des unterschiedlichen Gefäßverlaufes. Anhand dieser Punktkorrespondenzen kann mithilfe der Thin-Plate-Splines ein Deformationsfeld für das gesamte Organ berechnet werden. Auf diese Weise wird die Genauigkeit der Registrierung im Mittel um 44 % gesteigert. Die wichtigste Voraussetzung für das Gelingen der deformierbaren Registrierung ist eine möglichst umfassende Segmentierung der Gefäße aus dem Ultraschall. Im Rahmen der Arbeit wurde erstmals der Begriff der Regmentation auf die Segmentierung von Gefäßen und die gefäßbasierte Registrie- rung ausgeweitet. Durch diese Kombination beider Verfahren wurde die extrahierte Gefäßlänge im Mittel um 32 % gesteigert, woraus ein Anstieg der Anzahl korrespondierender Landmarken auf 98 resultiert. Hierdurch lässt sich die Deformation des Organs und somit auch die Lageveränderung des Tumors genauer und mit höherer Sicherheit bestimmen. Mit dem Wissen über die Lage des Tumors im Organ und durch Verwendung eines Markierungs- drahtes kann die Lageveränderung des Tumors während der chirurgischen Manipulation mit einem elektromagnetischen Trackingsystem überwacht werden. Durch dieses Tumortracking wird eine permanente Visualisierung mittels Video Overlay im laparoskopischen Videobild möglich. Die wichtigsten Beiträge dieser Arbeit zur gefäßbasierten Registrierung sind die Gefäßsegmen- tierung aus Ultraschallbilddaten, die Landmarkenverfeinerung zur Gewinnung einer hohen Anzahl bijektiver Punktkorrespondenzen und die Einführung der Regmentation zur Verbesserung der Ge- fäßsegmentierung und der deformierbaren Registrierung. Das Tumortracking für die Navigation ermöglicht die permanente Visualisierung des Tumors während des gesamten Eingriffes

Konzeption und Entwicklung eines trinokularen Endoskops zur robusten Oberflächenerfassung in der minimalinvasiven Chirurgie

Die minimalinvasive Chirurgie ist eine besonders anspruchsvolle Aufgabe für den Chirurgen, da die Operation ausschließlich über Endoskope und stangenartige, filigrane Instrumente erfolgt. Computerassistierte Stereo-Endoskopiesysteme erleichtern die Tiefenwahrnehmung und unterstützen bei verschiedensten Anwendungen wie z.B. der Resektion eines Nierentumors durch Augmented Reality. Eine wesentliche Aufgabe ist die robuste dreidimensionale Erfassung der beobachteten Oberfläche der Organe. Aufgrund starker Reflexionen durch die endoskopische Lichtquelle, homogener Texturen und weicher, sich bewegender Geometrien ist eine zuverlässige Oberflächenerfassung sehr herausfordernd und stellt noch ein ungelöstes Problem dar. In dieser Arbeit wird deshalb ein neuartiges miniaturisiertes Dreikamerasystem als Demonstrator für ein trinokulares Endoskop sowie ein Algorithmus zur Dreibildauswertung mit semi-globaler Optimierung entwickelt. Durch synthetische und reale Messdaten werden theoretische Überlegungen anhand von drei Hypothesen geprüft. Im Vergleich zu einer stereoskopischen Auswertung wird untersucht, ob eine Dreibildauswertung robustere Ergebnisse liefert, kleinere Referenz- und Suchfenster ermöglicht und eine rechenzeitaufwendige semi-globale Optimierung ersetzt. Es stellt sich heraus, dass die ersten beiden Annahmen grundsätzlich zutreffen, eine semi-globale Optimierung aber nur bedingt ersetzt werden kann. Weiterhin werden die Fehlereinflüsse durch Reflexionen näher spezifiziert und durch gekreuzte Polarisationsfilter sehr effektiv unterdrückt. Das vorgestellte Dreikamera-Endoskop und angepasste Auswerteverfahren tragen wesentlich zur Verbesserung der computerassistierten Endoskopie bei und bringen die Forschungen in diesem Gebiet einen Schritt voran.Minimally invasive surgery is a quite challenging task to the surgeon due to operation through an endoscope and sensitive telescopic instruments exclusively. Computer assisted stereo endoscopic systems eases depth perception and supports several tasks such as dissection of a renal tumour by augmented reality. An essential procedure is robust surface reconstruction of the observed organs. Due to strong reflections from the endoscopic light source, homogeneous textures and weak deforming geometries robust surface reconstruction becomes quite challenging and is not solved successfully yet. Therefore, in this work a novel miniaturised three camera endoscope is introduced and an algorithm for three image analysis and semi-global optimisation is implemented. Synthetic and real experimental measurements are conducted to evaluate theoretical assumptions and review three hypotheses. In contrast to stereo analysis, it is examined whether three image analysis leads to more robust results, allows for smaller matching window sizes and replaces a time-consuming semiglobal matching algorithm. The investigations show that the first two assumptions can generally be confirmed, but the semi-global matching is necessary in some cases. Additionally, errors by reflections are examined in more detail and are suppressed efficiently by crossed polarising filters. The novel three camera endoscope and customized image analysis algorithm gives a great benefit to computer assisted endoscopy and brings research a step closer to more reliable assistant systems

Ein neues Konzept zur automatisierten Bewertung von Fertigkeiten in der minimal invasiven Chirurgie für Virtual Reality Simulatoren in Grid-Umgebungen

Die minimal invasive Chirurgie stellt besondere Anforderungen an die Chirurgen. Deshalb ist ein Simulator-Training wichtig. Für ein effektives Training ist eine automatisierte Beurteilung wesentlich. Deshalb wird hier ein neues, umfassendes Konzept für die automatisierte Bewertung von Fertigkeiten in der minimal invasiven Chirurgie für Virtual Reality Simulatoren vorgestellt. Dabei wird das Bewertungssystem für eine zeitnahe Beurteilung in einer Grid-Umgebung implementiert

Gestaltungskonzept für Augmented Reality unterstütztes Training an manuellen Montagearbeitsplätzen

Forschungsvorhaben – Die Komplexitätssteigerung manueller Montageprozesse erfordert hochqualifizierte Arbeitskräfte, um die diffizilen Prozesse zu beherrschen. Um eine effektive und effiziente Ausbildung dieser Personen sicherzustellen, wird der Einsatz AR-basierter Trainingssysteme zunehmend relevant für die Industrie. Momentan mangelt es allerdings an wissenschaftlichen Untersuchungen im industriellen Nutzungskontext. Aufgrund dessen fehlen notwendige Erkenntnisse zur Gestaltung und Evaluation dieser Assistenzsysteme. Dem Ziel, diese Limitation zu schließen, widmet sich die vorliegende Dissertation. Forschungsrahmen – Das Vorgehen zur Erarbeitung der genannten Zielsetzung orientiert sich an der gestaltungsorientierten Forschung. Dieses Paradigma forciert die iterative Gestaltung von problemlösungsorientierten Artefakten mit Hilfe einer stringenten Anwendung wissenschaftlicher Methoden. Forschungsergebnisse – Durch Anwendung des zuvor erwähnten Forschungsparadigmas werden drei Artefakte gestaltet. Die Grundlage dafür liefern die Ergebnisse einer umfangreichen strukturierten Literaturrecherche und die Analyse domänenspezifischer Anforderungen. Basierend auf diesen wird zunächst ein menschzentriertes Vorgehensmodell zur Analyse, Gestaltung und Evaluation von AR-basierten Trainingssystemen im industriellen Nutzungskontext erarbeitet (Artefakt 1), welches seine reproduzierbare Verwendbarkeit durch ausgewählte Methoden und Empfehlungen in allen Ablaufphasen sicherstellt. Darauf aufbauend wird eine HMD-basierte Trainingssoftware instanziiert (Artefakt 2) und durch geeignete Evaluation systematisch zu einer gebrauchstauglichen Anwendung weiterentwickelt. Diese wird einem abschließenden Test unterzogen und im Vergleich zu zwei etablierten Trainingskonzepten empirisch erprobt. Die daraus resultierenden Ergebnisse verdeutlichen sowohl die Nützlichkeit des Vorgehensmodells als auch die Gebrauchstauglichkeit des innovativen Trainingssystems. Beruhend auf den zahlreichen Erfahrungen und Erkenntnissen dieser Dissertation, werden abschließende Empfehlungen (Artefakt 3) dargelegt, welche die erfolgreiche Durchführung ähnlicher wissenschaftlicher Arbeiten sicherstellen. Einschränkungen – Die umfangreichen multimodalen Funktionalitäten der Trainingssoftware wurden für eine konkrete prozedurale Montagetätigkeit entwickelt und am Beispiel eines industriellen Referenzarbeitsplatzes mit potentiellen Anwendern erprobt. Eine Anpassung der Software auf weitere Anwendungsfälle ist aufgrund des immensen Programmieraufwands sehr zeitaufwändig. Dadurch ist die Skalierbarkeit der Software stark limitiert. Angehende Forschungsprojekte sollten daher den Einsatz von Autorenwerkzeugen untersuchen, um eine effiziente Content-Erstellung zu gewährleisten. Darüber hinaus wurden keine Einflüsse der AR-Technologie auf das Langzeitgedächtnis erforscht. Diese Limitation eröffnet ein weiteres interessantes Forschungsfeld für zukünftige Untersuchungen. Implikationen – Diese Dissertation liefert sowohl wissenschaftliche als auch praxisbezogene Implikationen. Demnach schließen die Erkenntnisse zur Gestaltung und Evaluation AR-basierter Trainingssysteme bestehende Forschungslücken und gewährleisten eine reproduzierbare Instanziierung weiterer solcher Assistenzsysteme. Eine gebrauchstaugliche HMD-basierte Trainingssoftware bietet Industrieunternehmen mit manuellen Montageprozessen zudem Einsparungspotentiale durch eine vollkommen neuartige und hocheffektive Ausbildungsmöglichkeit.Purpose – The growing complexity of manual assembly processes require highly skilled workers to deal with such challenging tasks. Therefore, AR-based learning systems become more and more interesting for the industry promising to ensure effective and efficient learning processes. However, scientific research in the field of AR-based learning, especially in the industrial domain, is still very limited. For this reason, necessary knowledge for the design and evaluation of such assistive systems is lacking. This dissertation aims to close these limitations. Approach – The framework of the current scientific work is based on design science research (DSR). This research paradigm attempts to solve practical problems by developing purpose-oriented artifacts with rigorous scientific methods. Findings – Three artifacts are designed using the DSR technique. Hereof, the results of a comprehensive literature survey and an analysis of domain specific requirements provide the foundation. Based on this, a human-centered framework for analyzing, designing and evaluating AR-based learning systems in the industrial context is elaborated (artifact 1). Through well-chosen methods and recommendations in all three phases, a reproducible approach can be guaranteed. By applying this framework, a HMD-based learning software (artifact 2) is developed through several iterative evaluations with potential users using the example of a real internal combustion engine assembly task in order to ensure a high usability. Finally, the software is compared to two traditional approaches (paper-based and trainer-based learning). The results validate the utility of the framework as well as that of the innovative HMD-based learning approach. Based on numerous findings and empirical knowledge, several recommendations are derived to conclude this dissertation and facilitate forthcoming research. Limitations – The elaborate multimodal functionalities of the training software are developed and systematically improved using a concrete procedural internal combustion engine assembly task. This leads to a tremendous and time consuming programming effort as soon as individual software adjustments or assignments are requested by the industrial domain. Therefore, the software scalability is very limited. Due to the previously mentioned limitation, future research should concentrate its investigation into developing authoring tools which enable an efficient AR content creation. Furthermore, the impact of AR on the shortterm memory is only analyzed in this dissertation which opens up an additional interesting research area for future explorations. Implications – This current thesis provides scientific as well as practical oriented implications. The results regarding the design and evaluation of AR-based learning systems ensure a reproducible scientific procedure to instantiate these assistive systems further. In addition, initial insights regarding the use of these systems in the industrial domain are presented, therefore closing current research gaps. A HMD-based learning software offers the opportunity for companies with manual assembly tasks to conserve money due to a completely new and highly-effective training possibility

Foundations and applications of human-machine-interaction

Der vorliegende Tagungsband zur 10. Berliner Werkstatt Mensch-Maschine-Systeme gibt einen Einblick in die aktuelle Forschung im Bereich der Mensch-Maschine- Interaktion. Einen besonderen Fokus stellt das Wechselspiel von Grundlagenforschung und anwendungsbezogener Forschung dar, was sich im breiten Themenspektrum widerspiegelt, welches von theoretischen und methodischen Betrachtungen bis hin zu anwendungsnahen Fragestellungen reicht. Dabei finden Inhalte aus allen Phasen des Forschungsprozesses Beachtung, sodass auch im Rahmen der 10. Berliner Werkstatt MMS wieder sowohl neue Untersuchungskonzepte als auch abschließende Befunde diskutiert werden. Zentrale Themengebiete sind u. a. Fahrer-Fahrzeug-Interaktion, Assistenzsysteme, User Experience, Usability, Ubiquitous Computing, Mixed & Virtual Reality, Robotics & Automation, Wahrnehmungsspezifika sowie Psychophysiologie und Beanspruchung in der Mensch-Maschine-Interaktion.The proceedings of the 10th Berlin Workshop Human-Machine-Systems provide an insight into the current research in the field of human-machine-interaction. The main focus lies on the interplay between basic and applied research, which is reflected in the wide range of subjects: from theoretical and methodological issues to application oriented considerations. Again all stages of the research process are represented in the contributions of the 10th Berlin Workshop HMS. This means new research concepts as well as final results are subject of this volume. Central topics include driver-vehicleinteraction, assistance systems, user experience, usability, ubiquitous computing, mixed and virtual reality, robotics & automation, perception specifics, as well as psychophysiology and workload in human-machine-interaction