Situation Interpretation for Knowledge- and Model Based Laparoscopic Surgery

To manage the influx of information into surgical practice, new man-machine interaction methods are necessary to prevent information overflow. This work presents an approach to automatically segment surgeries into phases and select the most appropriate pieces of information for the current situation. This way, assistance systems can adopt themselves to the needs of the surgeon and not the other way around

Herausforderungen bei der Prozessunterstützung im Operationssaal: Aktivitätserfassung und Datenspeicherung als Grundlage zur Erkennung des chirurgischen Prozesses

Die aktuelle Gesundheitsversorgung ist geprägt durch eine steigende Komplexität, die durch die Verzahnung verschiedener medizinischer Bereiche und die Nutzung immer komplexerer, technisch unterstützter Behandlungsmöglichkeiten bedingt ist. Gleichzeitig stehen Kliniken und das medizinische Fachpersonal unter einem hohen Kosten- und Zeitdruck. Für das Erreichen einer optimalen Behandlung des Patienten durch minimalinvasive und mikrochirurgische Eingriffe sind zunehmend Ansätze notwendig, die auf eine Interoperabilität verschiedener Systeme setzen und die Verwendung von zusätzlichen (semi )automatischen Unterstützungssystemen ermöglichen. Diese Arbeit beschäftigt sich mit Herausforderungen bei der Prozessunterstützung im Operationssaal. Dabei liegt der Fokus auf der Aktivitätserfassung und Datenspeicherung als Grundlage zur Erkennung des chirurgischen Prozesses. In einem ersten Schritt wurde ein theoretisches Vorgehensmodell für die intraoperative Prozessunterstützung auf der Basis eines geschlossenen Regelkreises entwickelt. Dabei steht der chirurgische Prozess im Zentrum. In weiteren Schritten wurden ein System zur Erfassung des aktuellen Arbeitsschrittes auf Basis der vorhandenen Videodaten (z.B. Mikroskopie, Ultraschall) sowie eine zentrale Speicherlösung für den Operationssaal entwickelt. Diese zentralen Komponenten sollen es Systemen ermöglichen, während des Eingriffs Daten an die verschiedenen Nutzer bereitzustellen und diese gleichzeitig für eine spätere Dokumentation vorzuhalten. Im weiteren Verlauf der Arbeit werden Ansätze zum Erreichen einer Interoperabilität von Medizingeräten und IT-Systemen im Gesundheitswesen vorgestellt, da technische Systeme neben zusätzlicher Sensorik eine wertvolle Informationsquelle für die Erfassung des aktuellen Prozesses im Operationssaal darstellen. Im Rahmen der Arbeiten des Projektes OR.NET (BMBF, 2012-2016) wurde mit der IEEE 11073-SDC-Standardfamilie eine Möglichkeit zur offenen Vernetzung geschaffen. Konzeptionell integriert werden die Systeme durch eine Beschreibung von Mehrwertdiensten von der einfachen Anzeige von Geräteparametern bis hin zur Teilautomatisierung von technischen Arbeitsschritten auf Basis des Kommunikationsstandards IEEE11073-SDC. Diese wurden basierend auf dieser Basistechnologie gemeinsam mit verschiedenen Projektpartnern entwickelt und mit Klinikern und Klinikbetreibern evaluiert. Die Ergebnisse der Evaluation zeigen, dass durch eine syntaktische und semantische Interoperabilität neue, nutzbringende Funktionen umgesetzt und die Arbeit der verschiedenen Nutzergruppen im Gesundheitssystem effektiv unterstützt werden können.:Inhalt Abstract Abkürzungsverzeichnis Abbildungsverzeichnis Tabellenverzeichnis 1 Einleitung 1.1 Motivation für diese Arbeit 1.2 Zielsetzung der Arbeit 2 Grundlagen der Arbeit 2.1 Aktuelle Operationssäle 2.2 Prozessunterstützung 2.2.1 Workflow und Prozessmodellierung 2.2.2 Workflow in der Medizin 2.2.3 Kontextsensitive Systeme 2.3 Klinische Anwendungsfälle im Rahmen der Arbeit 2.3.1 Intrakranielle Eingriffe am Gehirn 2.3.2 Transsphenoidale Hypophysenadenomentfernung 2.3.3 Sanierende Ohr-OP 3 Vorgehensmodell zur Prozessunterstützung 3.1 Interpretation und Action 3.2 Data analysis und Monitoring 3.3 Mögliche Herangehensweisen bei der Umsetzung einer Prozessunterstützung 4 Erfassung prozessrelevanter Daten im Operationssaal 4.1 Stand der Forschung 4.1.1 Team Assessment und Performanzüberwachung 4.1.2 OP-Dokumentation, Qualitätssicherung und Elektronische Patientenakte (EPA) 4.1.3 Workflow Recognition 4.2 Erkennung der Interaktion zwischen Medizingerät und medizinischem Personal basierend auf der Analyse von Videodaten 4.2.1 Methode 4.2.2 Evaluation 4.2.3 Diskussion 4.3 Erfassung von Informationen durch OP-Integration 4.3.1 Stand der Forschung 4.3.2 Grundlagen des Projektes OR.NET 4.3.3 Zusammenfassung 5 Datenspeicherung im Operationssaal (Surgical Data Recorder und die Erweiterungen auf Basis von OR.NET) 5.1 Surgical Data Recorder 5.1.1 Anforderungsanalyse 5.1.2 Systemkonzept 5.1.3 Evaluationsstudie 5.2 Anpassungen des Datenaufzeichnungskonzeptes im Rahmen des OR.NET-Projekts 5.3 Diskussion und Vergleich der Ansätze 6 Mehrwertdienste auf Basis einer offenen Vernetzung 6.1 Setzen von eingriffsspezifischen Informationen auf den angeschlossenen Geräten 6.2 Anzeige von Informationen im Sichtfeld des Chirurgen 6.3 Mehrwerte durch Datenintegration 6.4 Funktionen mit Nutzung von Prozessinformationen 7 Entwicklung der OP-Demonstratoren und Evaluation der implementierten Mehrwertdienste mit verschiedenen Anwendergruppen 7.1 Anforderungsanalyse für den Leipziger Demonstrator 7.2 Infrastruktur des Demonstrators 7.3 Integrationsszenarien in den Demonstratoren 7.4 Umgesetzte Mehrwertdienste im Leipziger Demonstrator 7.5 Vorgehen bei der Evaluation des Leipziger Demonstrators 7.5.1 Technische Evaluation 7.5.2 Klinische Evaluation 7.6 Ergebnisse der Evaluation 7.6.1 Technische Evaluation 7.6.2 Klinische Evaluation 7.7 Diskussion der Ergebnisse 8 Ausblick auf Weiterentwicklungen der offenen Vernetzung im Operationssaal 9 Zusammenfassung 10 Literatur 11 Anhang 11.1 Modellierung der sanierenden Ohr-OP als EPK inkl. möglicher Vernetzungsszenarien 11.2 Übersicht der umgesetzten Use-Cases im Leipziger Demonstrator 136 11.3 Fragenkatalog OP-Personal 11.4 Fragebogen Betreiber 12 Eigenständigkeitserklärung 13 Eigene Literatur 14 Danksagun

Image-Based Scene Analysis for Computer-Assisted Laparoscopic Surgery

This thesis is concerned on image-based scene analysis for computer-assisted laparoscopic surgery. The focus lies on how to extract different types of information from laparoscopic video data. Methods for semantic analysis can be used to determine what instruments and organs are currently visible and where they are located. Quantitative analysis provides numerical information on the size and distances of structures. Workflow analysis uses information from previously seen images to estimate the progression of surgery. To demonstrate that the proposed methods function in real-world scenarios, multiple evaluations on actual laparoscopic image data recorded from surgeries were performed. The proposed methods for semantic and quantitative analysis were successfully evaluated in live phantom and animal studies and also used during a live gastric bypass on a human patient

Visual Tracking of Instruments in Minimally Invasive Surgery

Reducing access trauma has been a focal point for modern surgery and tackling the challenges that arise from new operating techniques and instruments is an exciting and open area of research. Lack of awareness and control from indirect manipulation and visualization has created a need to augment the surgeon's understanding and perception of how their instruments interact with the patient's anatomy but current methods of achieving this are inaccurate and difficult to integrate into the surgical workflow. Visual methods have the potential to recover the position and orientation of the instruments directly in the reference frame of the observing camera without the need to introduce additional hardware to the operating room and perform complex calibration steps. This thesis explores how this problem can be solved with the fusion of coarse region and fine scale point features to enable the recovery of both the rigid and articulated degrees of freedom of laparoscopic and robotic instruments using only images provided by the surgical camera. Extensive experiments on different image features are used to determine suitable representations for reliable and robust pose estimation. Using this information a novel framework is presented which estimates 3D pose with a region matching scheme while using frame-to-frame optical flow to account for challenges due to symmetry in the instrument design. The kinematic structure of articulated robotic instruments is also used to track the movement of the head and claspers. The robustness of this method was evaluated on calibrated ex-vivo images and in-vivo sequences and comparative studies are performed with state-of-the-art kinematic assisted tracking methods