Bildbasierte Weichgeweberegistrierung in der Laparoskopie

Die minimal-invasive Chirurgie bietet viele Vorteile für den Patienten. Durch die Reduzierung des Operationstraumas und der damit beschleunigten Rekonvaleszenz des Patienten können zudem die Zeit der stationären Behandlung und damit auch die Kosten für das Gesundheitssystem reduziert werden. Dem gegenüber steht die höhere Belastung der Chirurgen während der Operation. Erst nach jahrelangem Training sind Ärzte in der Lage, die Herausforderungen dieser speziellen Operationstechnik zu meistern. Um Chirurgen bei dieser schwierigen Aufgabe zu unterstützen, wurden in den letzten Jahren durch die Verfügbarkeit von neuen Technologien verstärkt computergestützte Assistenzsysteme entwickelt. Während beispielsweise in der Neurochirurgie schon kommerzielle Assistenzsysteme existieren, gibt es in der Laparoskopie ein großes ungelöstes Problem: die Weichgeweberegistrierung. Um die detaillierten Organmodelle aus präoperativen Planungsdaten (bspw. aus der Computertomografie) während der Operation nutzen zu können, müssen diese an die Position, Ausrichtung und Form des intraoperativen Organs angeglichen werden. Diese nicht-rigide Anpassung des Modells wird als Weichgeweberegistrierung bezeichnet. Dabei werden die Verschiebungen und Deformationen der Organe des Patienten sowohl durch zuvor verursache Änderungen, wie der Lagerung des Patienten oder dem Anlegen des Pneumoperitoneums (Füllen und Aufblähen des Bauchraums mit CO$_2$-Gas), als auch durch dynamische Ereignisse während der Operation, wie der Atmung des Patienten oder Manipulationen der chirurgischen Instrumente, verursacht. Im Rahmen dieser Arbeit wurden die verschiedenen Bestandteile und Schritte für die laparoskopischen Weichgeweberegistrierung untersucht. Zur Erzeugung von intraoperativen 3D-Modellen wurde ein auf Convolutional Neuronalen Netzen basiertes Stereorekonstruktionsverfahren entwickelt, welches Disparitäten endoskopischer Bilddaten durch das Training mit domänenspezifischen Trainingsdaten bestimmt. Da für endoskopische Bilddaten nur sehr schwer eine Referenz für die Tiefendaten bestimmt werden kann, wurde ein mehrstufiger Trainingsprozess entwickelt. Aufgrund der speziellen Endoskop-Optik und den Eigenheiten dieser Bildgebung, bspw. Glanzlichter und texturarme, kantenfreie Oberflächen, sind endoskopische Trainingsdaten jedoch unverzichtbar, um bestmögliche Resultate zu erzielen. Hierzu wurden einerseits virtuelle Stereobilder von endoskopischen Simulationen erzeugt, andererseits wurden vorhandene reale Aufnahmen genutzt, um daraus durch die Erkennung von Landmarken, vollautomatisch dünnbesetzte Referenzkarten zu erzeugen. Das Verfahren wurde mit einem öffentlichen Datensatz evaluiert und konnte eine hohe Genauigkeit bei geringer Laufzeit demonstrieren. Für den eigentlichen Registrierungsprozess wurde ein zweistufiges Verfahren entwickelt. Im ersten Schritt wird zu Beginn der Operation eine initiale Weichgeweberegistrierung durchgeführt. Da die Verschiebungen, Rotationen und Deformationen zwischen präoperativer Aufnahme und Operation sehr groß sein können, ist hier ein möglichst umfangreiches intraoperatives Modell des betrachteten Organs wünschenswert. Mit dem in dieser Arbeit entwickelten Mosaikverfahren kann ein globales Oberflächenmodell aus mehreren Rekonstruktionsfragmenten der einzelnen Aufnahmen erzeugt werden. Die Evaluation zeigt eine starke Verringerung des Registrierungsfehlers, im Vergleich zur Nutzung von einzelnen Oberflächenfragmenten. Um dynamische Deformationen während der Operation auf das präoperative Modell zu übertragen, wurde ein Verfahren zur dynamischen Registrierung entwickelt. Dabei werden die präoperativen Daten durch ein biomechanisches Modell repräsentiert. Dieses Modell wird durch die Projektion in das aktuelle Kamerabild mit den Punkten der intraoperativen 3D-Rekonstruktion verknüpft. Diese Verknüpfungen dienen anschließend als Randbedingungen für eine FEM-Simulation, die das biomechanische Modell in jedem Zeitschritt an das intraoperative Organ anpasst. In einer in silico Evaluation und einem ersten Tierversuch konnte das Verfahren vielversprechende Ergebnisse vorweisen. Neben den eigentlichen Verfahren zur Weichgeweberegistrierung ist auch deren Evaluation von Bedeutung. Hier zeigt sich, dass künstliche Organmodelle ein wichtiges Bindeglied zwischen Simulationen und Tierversuchen darstellen. Für die Evaluation von Registrierungsalgorithmen sind vor allem die mechanischen Eigenschaften des Organmodells von Bedeutung. Der Guss von Silikonorganen ist einfach und kostengünstig, hat aufgrund des verwendeten Silikons allerdings den Nachteil, dass die Modelle deutlich härter als vergleichbares Weichgewebe sind. Um ein weiches Organmodell zu erstellen und gleichzeitig die Vorteile des Silikongusses beizubehalten, wurde in dieser Arbeit ein spezielles 3D-Druckverfahren erforscht. Dabei wird ein Negativgussmodell des Organs aus wasserlöslichem Material mit einem 3D-Drucker hergestellt. Die Besonderheit ist eine Gitterstruktur, die sich durch das ganze Gussmodell zieht. Nach dem Einfüllen und Aushärten des Silikons kann die Gussform mitsamt der innen liegenden Gitterstruktur aufgelöst werden. Dadurch entstehen überall im Silikonmodell kleine Hohlräume, welche die Struktur des Modells schwächen. In dem die Gitterstruktur vor dem Druckprozess angepasst wird kann der Härtegrad des späteren Modells in einem Rahmen von 30-100% des Silikon-Vollmodells eingestellt werden. Mechanische Experimente konnten die zuvor in der Simulation berechneten Kennwerte bestätigen

Konzeption und Entwicklung eines trinokularen Endoskops zur robusten Oberflächenerfassung in der minimalinvasiven Chirurgie

Die minimalinvasive Chirurgie ist eine besonders anspruchsvolle Aufgabe für den Chirurgen, da die Operation ausschließlich über Endoskope und stangenartige, filigrane Instrumente erfolgt. Computerassistierte Stereo-Endoskopiesysteme erleichtern die Tiefenwahrnehmung und unterstützen bei verschiedensten Anwendungen wie z.B. der Resektion eines Nierentumors durch Augmented Reality. Eine wesentliche Aufgabe ist die robuste dreidimensionale Erfassung der beobachteten Oberfläche der Organe. Aufgrund starker Reflexionen durch die endoskopische Lichtquelle, homogener Texturen und weicher, sich bewegender Geometrien ist eine zuverlässige Oberflächenerfassung sehr herausfordernd und stellt noch ein ungelöstes Problem dar. In dieser Arbeit wird deshalb ein neuartiges miniaturisiertes Dreikamerasystem als Demonstrator für ein trinokulares Endoskop sowie ein Algorithmus zur Dreibildauswertung mit semi-globaler Optimierung entwickelt. Durch synthetische und reale Messdaten werden theoretische Überlegungen anhand von drei Hypothesen geprüft. Im Vergleich zu einer stereoskopischen Auswertung wird untersucht, ob eine Dreibildauswertung robustere Ergebnisse liefert, kleinere Referenz- und Suchfenster ermöglicht und eine rechenzeitaufwendige semi-globale Optimierung ersetzt. Es stellt sich heraus, dass die ersten beiden Annahmen grundsätzlich zutreffen, eine semi-globale Optimierung aber nur bedingt ersetzt werden kann. Weiterhin werden die Fehlereinflüsse durch Reflexionen näher spezifiziert und durch gekreuzte Polarisationsfilter sehr effektiv unterdrückt. Das vorgestellte Dreikamera-Endoskop und angepasste Auswerteverfahren tragen wesentlich zur Verbesserung der computerassistierten Endoskopie bei und bringen die Forschungen in diesem Gebiet einen Schritt voran.Minimally invasive surgery is a quite challenging task to the surgeon due to operation through an endoscope and sensitive telescopic instruments exclusively. Computer assisted stereo endoscopic systems eases depth perception and supports several tasks such as dissection of a renal tumour by augmented reality. An essential procedure is robust surface reconstruction of the observed organs. Due to strong reflections from the endoscopic light source, homogeneous textures and weak deforming geometries robust surface reconstruction becomes quite challenging and is not solved successfully yet. Therefore, in this work a novel miniaturised three camera endoscope is introduced and an algorithm for three image analysis and semi-global optimisation is implemented. Synthetic and real experimental measurements are conducted to evaluate theoretical assumptions and review three hypotheses. In contrast to stereo analysis, it is examined whether three image analysis leads to more robust results, allows for smaller matching window sizes and replaces a time-consuming semiglobal matching algorithm. The investigations show that the first two assumptions can generally be confirmed, but the semi-global matching is necessary in some cases. Additionally, errors by reflections are examined in more detail and are suppressed efficiently by crossed polarising filters. The novel three camera endoscope and customized image analysis algorithm gives a great benefit to computer assisted endoscopy and brings research a step closer to more reliable assistant systems

Intraoperative Modellierung und Registrierung für ein laparoskopisches Assistenzsystem

In diesem Buch werden Methoden vorgestellt, um ein intraoperatives Modell aus Bildern eines Stereo-Endoskops und Messwerten eines Kraft-Sensors zu generieren. Es soll im Rahmen eine Assistenzsystems für die laparoskopische Chirurgie zum Einsatz kommen. Ein Fokus liegt dabei auf einem Verfahren zur intraoperativen Rekonstruktion der Oberfläche. Weiterhin werden Methoden zur initialen Registrierung von prä- und intraoperativen Modellen sowie zur Aufrechterhaltung der Registrierung präsentiert

Intraoperative Modellierung und Registrierung für ein laparoskopisches Assistenzsystem

Ziel ist die Nutzung einer präoperativen Planung bei laparoskopischen Eingriffen. Ein Problem sind Änderungen des Operationsumfelds während des Eingriffs. Im Rahmen dieser Arbeit wird ein Modell aus Bildern eines Stereoendoskops und Messwerten eines Kraftsensors vorgestellt. Ein Fokus liegt auf einem Verfahren zur Oberflächenrekonstruktion. Weiterhin werden Methoden zur initialen Registrierung von prä- und intraoperativen Modellen und zur Aufrechterhaltung der Registrierung präsentiert