Time-of-flight-assisted Kinect camera-based people detection for intuitive human robot cooperation in the surgical operating room

Scene supervision is a major tool to make medical robots safer and more intuitive. The paper shows an approach to efficiently use 3D cameras within the surgical operating room to enable for safe human robot interaction and action perception. Additionally the presented approach aims to make 3D camera-based scene supervision more reliable and accurate

Articulated Clinician Detection Using 3D Pictorial Structures on RGB-D Data

Reliable human pose estimation (HPE) is essential to many clinical applications, such as surgical workflow analysis, radiation safety monitoring and human-robot cooperation. Proposed methods for the operating room (OR) rely either on foreground estimation using a multi-camera system, which is a challenge in real ORs due to color similarities and frequent illumination changes, or on wearable sensors or markers, which are invasive and therefore difficult to introduce in the room. Instead, we propose a novel approach based on Pictorial Structures (PS) and on RGB-D data, which can be easily deployed in real ORs. We extend the PS framework in two ways. First, we build robust and discriminative part detectors using both color and depth images. We also present a novel descriptor for depth images, called histogram of depth differences (HDD). Second, we extend PS to 3D by proposing 3D pairwise constraints and a new method that makes exact inference tractable. Our approach is evaluated for pose estimation and clinician detection on a challenging RGB-D dataset recorded in a busy operating room during live surgeries. We conduct series of experiments to study the different part detectors in conjunction with the various 2D or 3D pairwise constraints. Our comparisons demonstrate that 3D PS with RGB-D part detectors significantly improves the results in a visually challenging operating environment.Comment: The supplementary video is available at https://youtu.be/iabbGSqRSg

Herausforderungen bei der Prozessunterstützung im Operationssaal: Aktivitätserfassung und Datenspeicherung als Grundlage zur Erkennung des chirurgischen Prozesses

Die aktuelle Gesundheitsversorgung ist geprägt durch eine steigende Komplexität, die durch die Verzahnung verschiedener medizinischer Bereiche und die Nutzung immer komplexerer, technisch unterstützter Behandlungsmöglichkeiten bedingt ist. Gleichzeitig stehen Kliniken und das medizinische Fachpersonal unter einem hohen Kosten- und Zeitdruck. Für das Erreichen einer optimalen Behandlung des Patienten durch minimalinvasive und mikrochirurgische Eingriffe sind zunehmend Ansätze notwendig, die auf eine Interoperabilität verschiedener Systeme setzen und die Verwendung von zusätzlichen (semi )automatischen Unterstützungssystemen ermöglichen. Diese Arbeit beschäftigt sich mit Herausforderungen bei der Prozessunterstützung im Operationssaal. Dabei liegt der Fokus auf der Aktivitätserfassung und Datenspeicherung als Grundlage zur Erkennung des chirurgischen Prozesses. In einem ersten Schritt wurde ein theoretisches Vorgehensmodell für die intraoperative Prozessunterstützung auf der Basis eines geschlossenen Regelkreises entwickelt. Dabei steht der chirurgische Prozess im Zentrum. In weiteren Schritten wurden ein System zur Erfassung des aktuellen Arbeitsschrittes auf Basis der vorhandenen Videodaten (z.B. Mikroskopie, Ultraschall) sowie eine zentrale Speicherlösung für den Operationssaal entwickelt. Diese zentralen Komponenten sollen es Systemen ermöglichen, während des Eingriffs Daten an die verschiedenen Nutzer bereitzustellen und diese gleichzeitig für eine spätere Dokumentation vorzuhalten. Im weiteren Verlauf der Arbeit werden Ansätze zum Erreichen einer Interoperabilität von Medizingeräten und IT-Systemen im Gesundheitswesen vorgestellt, da technische Systeme neben zusätzlicher Sensorik eine wertvolle Informationsquelle für die Erfassung des aktuellen Prozesses im Operationssaal darstellen. Im Rahmen der Arbeiten des Projektes OR.NET (BMBF, 2012-2016) wurde mit der IEEE 11073-SDC-Standardfamilie eine Möglichkeit zur offenen Vernetzung geschaffen. Konzeptionell integriert werden die Systeme durch eine Beschreibung von Mehrwertdiensten von der einfachen Anzeige von Geräteparametern bis hin zur Teilautomatisierung von technischen Arbeitsschritten auf Basis des Kommunikationsstandards IEEE11073-SDC. Diese wurden basierend auf dieser Basistechnologie gemeinsam mit verschiedenen Projektpartnern entwickelt und mit Klinikern und Klinikbetreibern evaluiert. Die Ergebnisse der Evaluation zeigen, dass durch eine syntaktische und semantische Interoperabilität neue, nutzbringende Funktionen umgesetzt und die Arbeit der verschiedenen Nutzergruppen im Gesundheitssystem effektiv unterstützt werden können.:Inhalt Abstract Abkürzungsverzeichnis Abbildungsverzeichnis Tabellenverzeichnis 1 Einleitung 1.1 Motivation für diese Arbeit 1.2 Zielsetzung der Arbeit 2 Grundlagen der Arbeit 2.1 Aktuelle Operationssäle 2.2 Prozessunterstützung 2.2.1 Workflow und Prozessmodellierung 2.2.2 Workflow in der Medizin 2.2.3 Kontextsensitive Systeme 2.3 Klinische Anwendungsfälle im Rahmen der Arbeit 2.3.1 Intrakranielle Eingriffe am Gehirn 2.3.2 Transsphenoidale Hypophysenadenomentfernung 2.3.3 Sanierende Ohr-OP 3 Vorgehensmodell zur Prozessunterstützung 3.1 Interpretation und Action 3.2 Data analysis und Monitoring 3.3 Mögliche Herangehensweisen bei der Umsetzung einer Prozessunterstützung 4 Erfassung prozessrelevanter Daten im Operationssaal 4.1 Stand der Forschung 4.1.1 Team Assessment und Performanzüberwachung 4.1.2 OP-Dokumentation, Qualitätssicherung und Elektronische Patientenakte (EPA) 4.1.3 Workflow Recognition 4.2 Erkennung der Interaktion zwischen Medizingerät und medizinischem Personal basierend auf der Analyse von Videodaten 4.2.1 Methode 4.2.2 Evaluation 4.2.3 Diskussion 4.3 Erfassung von Informationen durch OP-Integration 4.3.1 Stand der Forschung 4.3.2 Grundlagen des Projektes OR.NET 4.3.3 Zusammenfassung 5 Datenspeicherung im Operationssaal (Surgical Data Recorder und die Erweiterungen auf Basis von OR.NET) 5.1 Surgical Data Recorder 5.1.1 Anforderungsanalyse 5.1.2 Systemkonzept 5.1.3 Evaluationsstudie 5.2 Anpassungen des Datenaufzeichnungskonzeptes im Rahmen des OR.NET-Projekts 5.3 Diskussion und Vergleich der Ansätze 6 Mehrwertdienste auf Basis einer offenen Vernetzung 6.1 Setzen von eingriffsspezifischen Informationen auf den angeschlossenen Geräten 6.2 Anzeige von Informationen im Sichtfeld des Chirurgen 6.3 Mehrwerte durch Datenintegration 6.4 Funktionen mit Nutzung von Prozessinformationen 7 Entwicklung der OP-Demonstratoren und Evaluation der implementierten Mehrwertdienste mit verschiedenen Anwendergruppen 7.1 Anforderungsanalyse für den Leipziger Demonstrator 7.2 Infrastruktur des Demonstrators 7.3 Integrationsszenarien in den Demonstratoren 7.4 Umgesetzte Mehrwertdienste im Leipziger Demonstrator 7.5 Vorgehen bei der Evaluation des Leipziger Demonstrators 7.5.1 Technische Evaluation 7.5.2 Klinische Evaluation 7.6 Ergebnisse der Evaluation 7.6.1 Technische Evaluation 7.6.2 Klinische Evaluation 7.7 Diskussion der Ergebnisse 8 Ausblick auf Weiterentwicklungen der offenen Vernetzung im Operationssaal 9 Zusammenfassung 10 Literatur 11 Anhang 11.1 Modellierung der sanierenden Ohr-OP als EPK inkl. möglicher Vernetzungsszenarien 11.2 Übersicht der umgesetzten Use-Cases im Leipziger Demonstrator 136 11.3 Fragenkatalog OP-Personal 11.4 Fragebogen Betreiber 12 Eigenständigkeitserklärung 13 Eigene Literatur 14 Danksagun