Augmented Reality Visualisierung medizinischer Bilddaten auf mobilen Geräten

Augmented Reality Anwendungen können in der Medizin Eingriffe erleichtern, beispielsweise durch intraoperative Projektion von Zugangswegen oder Tumo-ren und Risikostrukturen auf den Patienten. Gründe, weshalb die Verwendung von Augmented Reality noch keinen Einzug in den Operationssaal gefunden hat, sind unter anderem eine erschwerte Tiefenwahrnehmung der virtuellen Objekte in der echten Szene und fehlende Möglichkeiten, um die Fülle der zusätzlich visualisierten Objekte zu kontrollieren. Diesen Hindernissen entgegenzutreten ist das Ziel dieser Arbeit. Weiterhin gehört eine echtzeitfähige Implementierung zu den Anforderungen dieser Arbeit, um die Visualisierung im Rahmen eines Projektes zu nutzen, welches Augmented Reality auf mobilen Geräten direkt am Patienten zeigt. Um diese Ziele zu erreichen, wurde zunächst eine Texturprojektion kombiniert mit einem selbstentwickelten Grafikkartenprogramm realisiert, um dem Betrachter die Orientierung innerhalb der Augmented Reality Szene zu erleichtern und die Berechnung der perspektivischen Projektion der Textur zugleich effizient zu halten. Um die Tiefenwahrnehmung in der Szene zu verbessern, wurde ein weiteres Grafikkartenprogramm entwickelt, welches in eine gegebene Oberfläche eine Öffnung zeichnet, durch welche der Betrachter in das Innere des Patienten blicken kann. Weiterhin wurde ein Konzept umgesetzt, mit dessen Hilfe die Anzahl an abgebildeten Objekten in der Augmented Reality Szene gesteuert werden kann. Dieses Konzept dient außerdem der Untergliederung von Objekten in verschiedene Familien, für die dann unterschiedliche Darstellungen umgesetzt werden können. Ergebnis ist sowohl eine sichtbar verbesserte Tiefenwahrnehmung als auch ein Konzept zur Kontrolle der Fülle an abgebildeten Informationen in einer echtzeitfähigen Implementierung

MITK-IGT für die computerassistierte Weichgewebepunktion

Im Bereich der Krebsdiagnose und -therapie gewinnen neue minimalinvasive Verfahren zunehmend an Bedeutung. Beispiele hierfür sind Nadelpunktionen, bei denen zur Diagnose eine Gewebsprobe entnommen (Biopsie) oder durch Zerstörung des Gewebes im Bereich der Nadelspitze eine Krebserkrankung therapiert wird (Ablation). Eine zentrale Herausforderung hierbei ist die genaue Platzierung der Nadel. Am deutschen Krebsforschungszentrum (DKFZ) wurde ein computergestütztes Navigationssystem für Nadelinsertionen entwickelt, das sich im in-vivo Versuch als höchst akkurat zeigte. Trotz der vielversprechenden Ergebnisse kam das System bisher jedoch nicht am Patienten zum Einsatz. Dies ist unter anderem auf die schwierige Integration des Systems in den klinischen Workflow und die erhöhte Invasivität zurückzuführen. Vor diesem Hintergrund war das Ziel dieser Arbeit zum einen die Entwicklung einer flexiblen, erweiterbare Software für die navigierte Weichgewebepunktion, zum anderen die Weiterentwicklung des Navigationssystems durch die Einbindung eines neuen Feldgenerators für das elektromagnetische Trackingsystem NDI Aurora. Die Implementierung der Software erfolgte aufbauend auf der Bibliothek MITK und dem enthaltenen Modul MITK-IGT. Dabei wurde ein komponentenweiser Aufbau umgesetzt, welcher einen einfachen Austausch oder Erweiterungen der einzelnen Komponenten ermöglicht. Des Weiteren wurde der neue Feldgenerator bezüglich Genauigkeit und Präzision in der Einsatzumgebung evaluiert und es erfolgte ein Test des Navigationssystems unter klinischen Bedingungen. Abschließend kann festgestellt werden, dass durch die gezeigte Flexibilität und Erweiterbarkeit der entwickelten Software zahlreiche Möglichkeiten zur Weiterentwicklung offen stehen. Bezüglich des Feldgenerators zeigte sich das vielversprechende Potential dieses Geräts für die Weiterentwicklung medizinischer Navigationssysteme

Multi-Modal Partial Surface Matching for Intra-Operative Registration

An important task for computer-assisted surgical interventions is the alignment of pre- and intra-operative spaces allowing the transfer of pre-operative information to the current patient situation, known as intra-operative registration. Registration is usually performed by using markers or image-based techniques. Another approach is the intra-operative acquisition of organ surfaces by 3D range scanners, which are then matched to pre-operatively generated surfaces. However, this approach is not trivial, as methods for intra-operative surface matching must be able to deal with noise, distortions, deformations, and the availability of only partially overlapping, nearly flat surfaces. For these reasons, surface matching for intra-operative registration has so far only been used to account for displacements that occur in local scales, while the actual alignment is still performed manually. The main contributions of this thesis are two different approaches for automatic surface matching in intra-operative environments. The focus here is the registration of surfaces acquired by different modalities, dealing with the aforementioned issues and without relying on unique landmarks. For the first approach, surfaces are converted to graph representations and correspondences between them are identified by means of graph matching. Graphs are obtained automatically by segmenting the surfaces into regions with similar properties. As the graph matching problem is known to be NP-hard, it was solved by iteratively computing node similarity scores, and converting it to a linear assignment problem. In the second approach, correspondences are identified by the selection of two spatial configurations of landmarks that can be better fitted to each other, according to an error metric. This error metric does not only incorporate a fitting error, but also a new measure for spatial configuration reliability. The optimization problem is solved by means of a greedy algorithm. Evaluation of the two approaches was performed with several experiments, simulating intra-operative conditions. While the graph matching approach proved to be robust for the registration of small partial data, the point-based approach proved to be more reliable for noisy surfaces. Apart from being a significant contribution to the field of feature-less partial surface matching, this work represents a great effort towards the achievement of a fully automatic, marker-less, registration system for computer-assisted surgery guidance

Intraoperative Modellierung und Registrierung für ein laparoskopisches Assistenzsystem

Ziel ist die Nutzung einer präoperativen Planung bei laparoskopischen Eingriffen. Ein Problem sind Änderungen des Operationsumfelds während des Eingriffs. Im Rahmen dieser Arbeit wird ein Modell aus Bildern eines Stereoendoskops und Messwerten eines Kraftsensors vorgestellt. Ein Fokus liegt auf einem Verfahren zur Oberflächenrekonstruktion. Weiterhin werden Methoden zur initialen Registrierung von prä- und intraoperativen Modellen und zur Aufrechterhaltung der Registrierung präsentiert