Instrument Tracking and Visualization for Ultrasound Catheter Guided Procedures

We present an instrument tracking and visualization system for intra-cardiac ultrasound catheter guided procedures, enabled through the robotic control of ultrasound catheters. Our system allows for rapid acquisition of 2D ultrasound images and accurate reconstruction and visualization of a 3D volume. The reconstructed volume addresses the limited field of view, an inherent problem of ultrasound imaging, and serves as a navigation map for procedure guidance. Our robotic system can track a moving instrument by continuously adjusting the imaging plane and visualizing the instrument tip. The overall instrument tracking accuracy is 2.2mm RMS in position and 0.8◦ in angleEngineering and Applied Science

Emerging Challenges in Technology-based Support for Surgical Training

This paper stipulates several technological research and development thrusts that can assist in modern day approaches to simulated training of minimally invasive laparoscopic and robot surgery. Basic tenets of such training are explained, and specific areas of research are enumerated. Specifically, augmented and mixed reality are proposed as a means of improving perceptual and clinical decision-making skills, haptics are proposed as mechanism not only to provide force feedback and guidance, but also as a means of reflecting a tactile feel of surgery in simulated training scenarios. Learning optimization is discussed to fine tune the difficulty levels of various exercises. All the above elements can serve as the foundation for building computer-based virtual coaching environments that can reduce the training costs and provide a broader access to learning highly complex, technology driven surgical techniques

From Concept to Market: Surgical Robot Development

Surgical robotics and supporting technologies have really become a prime example of modern applied information technology infiltrating our everyday lives. The development of these systems spans across four decades, and only the last few years brought the market value and saw the rising customer base imagined already by the early developers. This chapter guides through the historical development of the most important systems, and provide references and lessons learnt for current engineers facing similar challenges. A special emphasis is put on system validation, assessment and clearance, as the most commonly cited barrier hindering the wider deployment of a system

Local Deformation Modelling for Non-Rigid Structure from Motion

PhDReconstructing the 3D geometry of scenes based on monocular image sequences is a long-standing problem in computer vision. Structure from motion (SfM) aims at a data-driven approach without requiring a priori models of the scene. When the scene is rigid, SfM is a well understood problem with solutions widely used in industry. However, if the scene is non-rigid, monocular reconstruction without additional information is an ill-posed problem and no satisfactory solution has yet been found. Current non-rigid SfM (NRSfM) methods typically aim at modelling deformable motion globally. Additionally, most of these methods focus on cases where deformable motion is seen as small variations from a mean shape. In turn, these methods fail at reconstructing highly deformable objects such as a flag waving in the wind. Additionally, reconstructions typically consist of low detail, sparse point-cloud representation of objects. In this thesis we aim at reconstructing highly deformable surfaces by modelling them locally. In line with a recent trend in NRSfM, we propose a piecewise approach which reconstructs local overlapping regions independently. These reconstructions are merged into a global object by imposing 3D consistency of the overlapping regions. We propose our own local model – the Quadratic Deformation model – and show how patch division and reconstruction can be formulated in a principled approach by alternating at minimizing a single geometric cost – the image re-projection error of the reconstruction. Moreover, we extend our approach to dense NRSfM, where reconstructions are preformed at the pixel level, improving the detail of state of the art reconstructions. Finally we show how our principled approach can be used to perform simultaneous segmentation and reconstruction of articulated motion, recovering meaningful segments which provide a coarse 3D skeleton of the object.Fundacao para a Ciencia e a Tecnologia (FCT) under Doctoral Grant SFRH/BD/70312/2010; European Research Council under ERC Starting Grant agreement 204871-HUMANI

Herausforderungen bei der Prozessunterstützung im Operationssaal: Aktivitätserfassung und Datenspeicherung als Grundlage zur Erkennung des chirurgischen Prozesses

Die aktuelle Gesundheitsversorgung ist geprägt durch eine steigende Komplexität, die durch die Verzahnung verschiedener medizinischer Bereiche und die Nutzung immer komplexerer, technisch unterstützter Behandlungsmöglichkeiten bedingt ist. Gleichzeitig stehen Kliniken und das medizinische Fachpersonal unter einem hohen Kosten- und Zeitdruck. Für das Erreichen einer optimalen Behandlung des Patienten durch minimalinvasive und mikrochirurgische Eingriffe sind zunehmend Ansätze notwendig, die auf eine Interoperabilität verschiedener Systeme setzen und die Verwendung von zusätzlichen (semi )automatischen Unterstützungssystemen ermöglichen. Diese Arbeit beschäftigt sich mit Herausforderungen bei der Prozessunterstützung im Operationssaal. Dabei liegt der Fokus auf der Aktivitätserfassung und Datenspeicherung als Grundlage zur Erkennung des chirurgischen Prozesses. In einem ersten Schritt wurde ein theoretisches Vorgehensmodell für die intraoperative Prozessunterstützung auf der Basis eines geschlossenen Regelkreises entwickelt. Dabei steht der chirurgische Prozess im Zentrum. In weiteren Schritten wurden ein System zur Erfassung des aktuellen Arbeitsschrittes auf Basis der vorhandenen Videodaten (z.B. Mikroskopie, Ultraschall) sowie eine zentrale Speicherlösung für den Operationssaal entwickelt. Diese zentralen Komponenten sollen es Systemen ermöglichen, während des Eingriffs Daten an die verschiedenen Nutzer bereitzustellen und diese gleichzeitig für eine spätere Dokumentation vorzuhalten. Im weiteren Verlauf der Arbeit werden Ansätze zum Erreichen einer Interoperabilität von Medizingeräten und IT-Systemen im Gesundheitswesen vorgestellt, da technische Systeme neben zusätzlicher Sensorik eine wertvolle Informationsquelle für die Erfassung des aktuellen Prozesses im Operationssaal darstellen. Im Rahmen der Arbeiten des Projektes OR.NET (BMBF, 2012-2016) wurde mit der IEEE 11073-SDC-Standardfamilie eine Möglichkeit zur offenen Vernetzung geschaffen. Konzeptionell integriert werden die Systeme durch eine Beschreibung von Mehrwertdiensten von der einfachen Anzeige von Geräteparametern bis hin zur Teilautomatisierung von technischen Arbeitsschritten auf Basis des Kommunikationsstandards IEEE11073-SDC. Diese wurden basierend auf dieser Basistechnologie gemeinsam mit verschiedenen Projektpartnern entwickelt und mit Klinikern und Klinikbetreibern evaluiert. Die Ergebnisse der Evaluation zeigen, dass durch eine syntaktische und semantische Interoperabilität neue, nutzbringende Funktionen umgesetzt und die Arbeit der verschiedenen Nutzergruppen im Gesundheitssystem effektiv unterstützt werden können.:Inhalt Abstract Abkürzungsverzeichnis Abbildungsverzeichnis Tabellenverzeichnis 1 Einleitung 1.1 Motivation für diese Arbeit 1.2 Zielsetzung der Arbeit 2 Grundlagen der Arbeit 2.1 Aktuelle Operationssäle 2.2 Prozessunterstützung 2.2.1 Workflow und Prozessmodellierung 2.2.2 Workflow in der Medizin 2.2.3 Kontextsensitive Systeme 2.3 Klinische Anwendungsfälle im Rahmen der Arbeit 2.3.1 Intrakranielle Eingriffe am Gehirn 2.3.2 Transsphenoidale Hypophysenadenomentfernung 2.3.3 Sanierende Ohr-OP 3 Vorgehensmodell zur Prozessunterstützung 3.1 Interpretation und Action 3.2 Data analysis und Monitoring 3.3 Mögliche Herangehensweisen bei der Umsetzung einer Prozessunterstützung 4 Erfassung prozessrelevanter Daten im Operationssaal 4.1 Stand der Forschung 4.1.1 Team Assessment und Performanzüberwachung 4.1.2 OP-Dokumentation, Qualitätssicherung und Elektronische Patientenakte (EPA) 4.1.3 Workflow Recognition 4.2 Erkennung der Interaktion zwischen Medizingerät und medizinischem Personal basierend auf der Analyse von Videodaten 4.2.1 Methode 4.2.2 Evaluation 4.2.3 Diskussion 4.3 Erfassung von Informationen durch OP-Integration 4.3.1 Stand der Forschung 4.3.2 Grundlagen des Projektes OR.NET 4.3.3 Zusammenfassung 5 Datenspeicherung im Operationssaal (Surgical Data Recorder und die Erweiterungen auf Basis von OR.NET) 5.1 Surgical Data Recorder 5.1.1 Anforderungsanalyse 5.1.2 Systemkonzept 5.1.3 Evaluationsstudie 5.2 Anpassungen des Datenaufzeichnungskonzeptes im Rahmen des OR.NET-Projekts 5.3 Diskussion und Vergleich der Ansätze 6 Mehrwertdienste auf Basis einer offenen Vernetzung 6.1 Setzen von eingriffsspezifischen Informationen auf den angeschlossenen Geräten 6.2 Anzeige von Informationen im Sichtfeld des Chirurgen 6.3 Mehrwerte durch Datenintegration 6.4 Funktionen mit Nutzung von Prozessinformationen 7 Entwicklung der OP-Demonstratoren und Evaluation der implementierten Mehrwertdienste mit verschiedenen Anwendergruppen 7.1 Anforderungsanalyse für den Leipziger Demonstrator 7.2 Infrastruktur des Demonstrators 7.3 Integrationsszenarien in den Demonstratoren 7.4 Umgesetzte Mehrwertdienste im Leipziger Demonstrator 7.5 Vorgehen bei der Evaluation des Leipziger Demonstrators 7.5.1 Technische Evaluation 7.5.2 Klinische Evaluation 7.6 Ergebnisse der Evaluation 7.6.1 Technische Evaluation 7.6.2 Klinische Evaluation 7.7 Diskussion der Ergebnisse 8 Ausblick auf Weiterentwicklungen der offenen Vernetzung im Operationssaal 9 Zusammenfassung 10 Literatur 11 Anhang 11.1 Modellierung der sanierenden Ohr-OP als EPK inkl. möglicher Vernetzungsszenarien 11.2 Übersicht der umgesetzten Use-Cases im Leipziger Demonstrator 136 11.3 Fragenkatalog OP-Personal 11.4 Fragebogen Betreiber 12 Eigenständigkeitserklärung 13 Eigene Literatur 14 Danksagun

Decision-Making with Multi-Step Expert Advice on the Web

This thesis deals with solving multi-step tasks by using advice from experts, which are algorithms to solve individual steps of such tasks. We contribute with methods for maximizing the number of correct task solutions by selecting and combining experts for individual task instances and methods for automating the process of solving tasks on the Web, where experts are available as Web services. Multi-step tasks frequently occur in Natural Language Processing (NLP) or Computer Vision, and as research progresses an increasing amount of exchangeable experts for the same steps are available on the Web. Service provider platforms such as Algorithmia monetize expert access by making expert services available via their platform and having customers pay for single executions. Such experts can be used to solve diverse tasks, which often consist of multiple steps and thus require pipelines of experts to generate hypotheses. We perceive two distinct problems for solving multi-step tasks with expert services: (1) Given that the task is sufficiently complex, no single pipeline generates correct solutions for all possible task instances. One thus must learn how to construct individual expert pipelines for individual task instances in order to maximize the number of correct solutions, while also taking into account the costs adhered to executing an expert. (2) To automatically solve multi-step tasks with expert services, we need to discover, execute and compose expert pipelines. With mostly textual descriptions of complex functionalities and input parameters, Web automation entails to integrate available expert services and data, interpreting user-specified task goals or efficiently finding correct service configurations. In this thesis, we present solutions to both problems: (1) We enable to learn well-performing expert pipelines assuming available reference data sets (comprising a number of task instances and solutions), where we distinguish between centralized and decentralized decision-making. We formalize the problem as specialization of a Markov Decision Process (MDP), which we refer to as Expert Process (EP) and integrate techniques from Statistical Relational Learning (SRL) or Multiagent coordination. (2) We develop a framework for automatically discovering, executing and composing expert pipelines by exploiting methods developed for the Semantic Web. We lift the representations of experts with structured vocabularies modeled with the Resource Description Framework (RDF) and extend EPs to Semantic Expert Processes (SEPs) to enable the data-driven execution of experts in Web-based architectures. We evaluate our methods in different domains, namely Medical Assistance with tasks in Image Processing and Surgical Phase Recognition, and NLP for textual data on the Web, where we deal with the task of Named Entity Recognition and Disambiguation (NERD)