Augmented Reality in Kidney Cancer

Augmented reality(AR) is the concept of a digitally created perception that enhances components of the real-world to allow better engagement with it. Within healthcare, there has been a recent expansion of AR solutions, especially in the field of surgery. Traditional renal cancer surgery has been largely replaced by minimally invasive laparoscopic (or robotic) partial nephrectomies. This has meant loss of certain intra-operative experiences such as haptic feedback and AR can aid this replacement with enhanced visual and patient-specific feedback. The kidney is a dynamic organ and current AR development has revolved around specific surgical stages such as safe arterial clamping and perfecting tumour margins. This chapter discusses the current state of AR technology in these areas with key attention to the aspects of image registration, organ tracking, tissue deformation and live imaging. The chapter then discusses limitations of AR, such as intentional blindness and depth perception and provides potential future ideas and solutions. These include inventions such as AR headsets and 3D-printed renal models (with the possibility of remote surgical intervention). AR provides a very positive outcome for the future of truly minimally invasive renal surgery. However, current AR needs validation, cost evaluation and thorough planning before being safely integrated into everyday surgical practice

On uncertainty propagation in image-guided renal navigation: Exploring uncertainty reduction techniques through simulation and in vitro phantom evaluation

Image-guided interventions (IGIs) entail the use of imaging to augment or replace direct vision during therapeutic interventions, with the overall goal is to provide effective treatment in a less invasive manner, as an alternative to traditional open surgery, while reducing patient trauma and shortening the recovery time post-procedure. IGIs rely on pre-operative images, surgical tracking and localization systems, and intra-operative images to provide correct views of the surgical scene. Pre-operative images are used to generate patient-specific anatomical models that are then registered to the patient using the surgical tracking system, and often complemented with real-time, intra-operative images. IGI systems are subject to uncertainty from several sources, including surgical instrument tracking / localization uncertainty, model-to-patient registration uncertainty, user-induced navigation uncertainty, as well as the uncertainty associated with the calibration of various surgical instruments and intra-operative imaging devices (i.e., laparoscopic camera) instrumented with surgical tracking sensors. All these uncertainties impact the overall targeting accuracy, which represents the error associated with the navigation of a surgical instrument to a specific target to be treated under image guidance provided by the IGI system. Therefore, understanding the overall uncertainty of an IGI system is paramount to the overall outcome of the intervention, as procedure success entails achieving certain accuracy tolerances specific to individual procedures. This work has focused on studying the navigation uncertainty, along with techniques to reduce uncertainty, for an IGI platform dedicated to image-guided renal interventions. We constructed life-size replica patient-specific kidney models from pre-operative images using 3D printing and tissue emulating materials and conducted experiments to characterize the uncertainty of both optical and electromagnetic surgical tracking systems, the uncertainty associated with the virtual model-to-physical phantom registration, as well as the uncertainty associated with live augmented reality (AR) views of the surgical scene achieved by enhancing the pre-procedural model and tracked surgical instrument views with live video views acquires using a camera tracked in real time. To better understand the effects of the tracked instrument calibration, registration fiducial configuration, and tracked camera calibration on the overall navigation uncertainty, we conducted Monte Carlo simulations that enabled us to identify optimal configurations that were subsequently validated experimentally using patient-specific phantoms in the laboratory. To mitigate the inherent accuracy limitations associated with the pre-procedural model-to-patient registration and their effect on the overall navigation, we also demonstrated the use of tracked video imaging to update the registration, enabling us to restore targeting accuracy to within its acceptable range. Lastly, we conducted several validation experiments using patient-specific kidney emulating phantoms using post-procedure CT imaging as reference ground truth to assess the accuracy of AR-guided navigation in the context of in vitro renal interventions. This work helped find answers to key questions about uncertainty propagation in image-guided renal interventions and led to the development of key techniques and tools to help reduce optimize the overall navigation / targeting uncertainty

Projective camera model in biomedical navigation applications

Surgical interventions pose very high demands on the spatial sense of surgeons. Especially in complex surgeries, navigation support is an important factor for the success of an operation. With the introduction of computers in surgical navigation, the field of computer assisted surgery was born. In difference to former mechanical constructions, these systems are highly adaptive and enable the development of versatile medical applications. This thesis examines different aspects of integrating a camera into surgical 3D navigation systems. Depending on the context, a camera can perform a self-localization or has to be tracked. In either case, this information is used to build intuitive visualization interfaces, where the operation planning and the reality are fused in a spatially correct manner. The accuracy and reliability of such augmented reality navigation applications is a major concern in this thesis. However, besides the high level incorporation of existing algorithms, this thesis also investigates the projective transformation at its core. It is shown that the position and behavior of a controllable tilting mirror can be described compactly with the projective camera model

Desarrollo de un sistema de realidad aumentada que incluya reconocimiento de gestos

López Bolós, J. (2010). Desarrollo de un sistema de realidad aumentada que incluya reconocimiento de gestos. http://hdl.handle.net/10251/10353.Archivo delegad

On-the-fly dense 3D surface reconstruction for geometry-aware augmented reality.

Augmented Reality (AR) is an emerging technology that makes seamless connections between virtual space and the real world by superimposing computer-generated information onto the real-world environment. AR can provide additional information in a more intuitive and natural way than any other information-delivery method that a human has ever in- vented. Camera tracking is the enabling technology for AR and has been well studied for the last few decades. Apart from the tracking problems, sensing and perception of the surrounding environment are also very important and challenging problems. Although there are existing hardware solutions such as Microsoft Kinect and HoloLens that can sense and build the environmental structure, they are either too bulky or too expensive for AR. In this thesis, the challenging real-time dense 3D surface reconstruction technologies are studied and reformulated for the reinvention of basic position-aware AR towards geometry-aware and the outlook of context- aware AR. We initially propose to reconstruct the dense environmental surface using the sparse point from Simultaneous Localisation and Map- ping (SLAM), but this approach is prone to fail in challenging Minimally Invasive Surgery (MIS) scenes such as the presence of deformation and surgical smoke. We subsequently adopt stereo vision with SLAM for more accurate and robust results. With the success of deep learning technology in recent years, we present learning based single image re- construction and achieve the state-of-the-art results. Moreover, we pro- posed context-aware AR, one step further from purely geometry-aware AR towards the high-level conceptual interaction modelling in complex AR environment for enhanced user experience. Finally, a learning-based smoke removal method is proposed to ensure an accurate and robust reconstruction under extreme conditions such as the presence of surgical smoke

Medical Robotics

The first generation of surgical robots are already being installed in a number of operating rooms around the world. Robotics is being introduced to medicine because it allows for unprecedented control and precision of surgical instruments in minimally invasive procedures. So far, robots have been used to position an endoscope, perform gallbladder surgery and correct gastroesophogeal reflux and heartburn. The ultimate goal of the robotic surgery field is to design a robot that can be used to perform closed-chest, beating-heart surgery. The use of robotics in surgery will expand over the next decades without any doubt. Minimally Invasive Surgery (MIS) is a revolutionary approach in surgery. In MIS, the operation is performed with instruments and viewing equipment inserted into the body through small incisions created by the surgeon, in contrast to open surgery with large incisions. This minimizes surgical trauma and damage to healthy tissue, resulting in shorter patient recovery time. The aim of this book is to provide an overview of the state-of-art, to present new ideas, original results and practical experiences in this expanding area. Nevertheless, many chapters in the book concern advanced research on this growing area. The book provides critical analysis of clinical trials, assessment of the benefits and risks of the application of these technologies. This book is certainly a small sample of the research activity on Medical Robotics going on around the globe as you read it, but it surely covers a good deal of what has been done in the field recently, and as such it works as a valuable source for researchers interested in the involved subjects, whether they are currently “medical roboticists” or not

Computer-assistierte Laparoskopie mit fluoreszierenden Markern

In der Medizin und insbesondere in der Urologie werden minimalinvasive laparoskopische Eingriffe immer häufiger durchgeführt, da sie schonender für die Patientinnen und Patienten sind. Durch die Verwendung eines Laparoskops wird die Orientierung und Navigation der chirurgischen Instrumente jedoch erschwert, da kein direkter Blick auf die Operationsszene möglich und das Sichtfeld eingeschränkt ist. Außerdem entfällt der Tastsinn. Die Lage relevanter Strukturen muss von den präoperativen Daten durch Erfahrung und Vorstellungskraft der Chirurginnen und Chirurgen auf das Laparoskopbild übertragen werden. Durch Methoden der erweiterten Realität (Augmented Reality, AR) können zusätzlich präoperative Daten im Laparoskopbild eingeblendet werden. Somit wird die intraoperative Orientierung erleichtert. Dazu muss eine geometrische Transformation zwischen den präoperativen Daten und dem Laparoskopbild gefunden werden – dieser Vorgang wird als Registrierung der Daten bezeichnet. In der Laparoskopie werden AR-Systeme allerdings noch nicht im klinischen Alltag eingesetzt, da bislang alle Ansätze zur intraoperativen Registrierung in der Laparoskopie nur sehr aufwändig in den Arbeitsablauf zu integrieren sind, die Ergebnisse nicht in Echtzeit angezeigt werden können oder die Registrierung während einer Operation nur unzuverlässig funktioniert. Das Ziel dieser Doktorarbeit war die Entwicklung eines Ansatzes zur robusten intraoperativen Registrierung in der Laparoskopie. Dazu wurde erstmalig ein auf nahinfraroter (NIR) Fluoreszenz basierendes Registrierungsverfahren entwickelt und angewandt. Dieser neue Ansatz ist deutlich robuster bei Verdeckung durch Rauch, Blut und Gewebe, ist echtzeitfähig und bietet zusätzlich die Chance auf eine sehr einfache Integration in den medizinischen Arbeitsablauf. Umsetzungsmöglichkeiten dieses neuen Konzepts wurden sowohl für die partielle Nephrektomie als auch für die Prostatektomie untersucht. Für die partielle Nephrektomie wurden fluoreszierende Marker aus Indocyaningrün (ICG) und einem Kontrastmittel für die Computertomografie (CT) entwickelt, die auf einem Organ mit einem Gewebeklebstoff angebracht und deren Positionen relativ zu den Organen durch CT-Aufnahmen bestimmt werden können. Durch eine 2D/3D-Registrierung können so die CT-Daten im Laparoskopbild eingeblendet werden. In mehreren Ex-vivo-Versuchen wurde die Machbarkeit und Genauigkeit des Registrierungsverfahrens mit diesen Markern gezeigt. Die Marker sind durch ihr NIR Fluoreszenzsignal herkömmlichen Nadelmarkern zur Registrierung deutlich überlegen, wenn diese von Rauch, Blut oder Gewebe verdeckt sind. Mit Nadelmarkern konnten beispielsweise bei Verdeckung durch Rauch nur 83% der Laparoskopbilder erfolgreich registriert werden, unter Blut konnten sie nur in bis zu 5% der Fälle und bei Verdeckung durch Gewebe konnten die Nadelmarker gar nicht detektiert werden. Bei Verwendung von fluoreszierenden Markern stieg dieser Anteil je nach Stärke der Verdeckung auf mindestens 88% bei Verdeckung durch Blut, 93% bei Verdeckung durch Gewebe und er betrug immer 100%, wenn sich Rauch im Sichtfeld des Laparoskops befand. Des Weiteren wurde die Anordnung der Marker in Computersimulationen untersucht, um den Einfluss der Markerpositionen zueinander und relativ zum Laparoskop zu analysieren. Es stellte sich heraus, dass für eine erfolgreiche Registrierung ein Mindestabstand vom Laparoskop zu den Markern eingehalten werden sollte. In Tierversuchen wurden erstmals fluoreszierende Marker zur Registrierung in vivo eingesetzt und die Robustheit dieser Marker gezeigt. Der Registrierungsfehler betrug im Durchschnitt nur 3 bis 12 Pixel, auch das überlagerte CT-Bild passte sehr gut zum dazugehörigen Laparoskopbild. Dabei zeigte sich, dass sich die Marker sehr gut zur Registrierung eignen und auch gegenüber Kamerabewegungen und Verdeckung durch Rauch, Blut oder Gewebe robust sind. Für die Prostatektomie wurde ein Ansatz entwickelt, bei dem eine fluoreszierende Variante des Farbstoffes 68Ga-PSMA-11 verwendet werden soll, die an den PSMA-Rezeptor bindet und dadurch in stark erhöhter Konzentration in Prostatakrebszellen vorkommt. So können unter anderem auch von Prostatakrebszellen befallene Lymphknoten mittels Fluoreszenz sichtbar gemacht und zur Registrierung genutzt werden. Die Herausforderungen und Anforderungen an dieses Konzept für die klinische Umsetzung wurden ausführlich diskutiert: Es sollte sich ohne großen Mehraufwand in den klinischen Arbeitsablauf integrieren lassen und kann zusätzlich die Strahlenbelastung für das medizinische Personal im Vergleich zu anderen Methoden reduzieren. Beide Anwendungen, die in dieser Doktorarbeit vorgestellt wurden, haben ein großes Potenzial für eine klinische Anwendung. Es gibt allerdings noch Hürden, die bis zum klinischen Transfer überwunden werden müssen, wie beispielsweise die Zulassung der Marker, das Anpassen der Registrierungssoftware an die Verteilung der befallenen Lymphknoten im Patienten oder die Berücksichtigung von Deformierungen. Bei den Ex- und In-vivo-Anwendungen zeigte sich, dass sich das vorgestellte Konzept basierend auf fluoreszierenden Markern für eine akkurate intraoperative Registrierung in Echtzeit eignet und dieses Verfahren wegen der erhöhten Robustheit durch NIR Fluoreszenz die Nachteile von herkömmlichen Registrierungsmethoden überwindet. Der nächste wichtige Schritt ist nun die Zulassung eines geeigneten Markers, damit dieses System an Patientinnen und Patienten eingesetzt werden kann und dadurch die intraoperative Orientierung und die Identifizierung relevanter Strukturen im Laparoskopbild erleichtert wird. So bietet sich die Chance, laparoskopische Einsätze für den Chirurgen oder die Chirurgin einfacher zu gestalten und gleichzeitig die Heilungschancen der Patientinnen und Patienten zu verbessern

Design and development of a VR system for exploration of medical data using haptic rendering and high quality visualization

[no abstract

Ultraschallbasierte Navigation für die minimalinvasive onkologische Nieren- und Leberchirurgie

In der minimalinvasiven onkologischen Nieren- und Leberchirurgie mit vielen Vorteilen für den Pa- tienten wird der Chirurg häufig mit Orientierungsproblemen konfrontiert. Hauptursachen hierfür sind die indirekte Sicht auf die Patientenanatomie, das eingeschränkte Blickfeld und die intra- operative Deformation der Organe. Abhilfe können Navigationssysteme schaffen, welche häufig auf intraoperativem Ultraschall basieren. Durch die Echtzeit-Bildgebung kann die Deformation des Organs bestimmt werden. Da viele Tumore im Schallbild nicht sichtbar sind, wird eine robuste automatische und deformierbare Registrierung mit dem präoperativen CT benötigt. Ferner ist eine permanente Visualisierung auch während der Manipulation am Organ notwendig. Für die Niere wurde die Eignung von Ultraschall-Elastographieaufnahmen für die bildbasierte Re- gistrierung unter Verwendung der Mutual Information evaluiert. Aufgrund schlechter Bildqualität und geringer Ausdehnung der Bilddaten hatte dies jedoch nur mäßigen Erfolg. Die Verzweigungspunkte der Blutgefäße in der Leber werden als natürliche Landmarken für die Registrierung genutzt. Dafür wurden Gefäßsegmentierungsalgorithmen für die beiden häufigsten Arten der Ultraschallbildgebung B-Mode und Power Doppler entwickelt. Die vorgeschlagene Kom- bination beider Modalitäten steigerte die Menge an Gefäßverzweigungen im Mittel um 35 %. Für die rigide Registrierung der Gefäße aus dem Ultraschall und CT werden mithilfe eines bestehen- den Graph Matching Verfahrens [OLD11b] im Mittel 9 bijektive Punktkorrespondenzen definiert. Die mittlere Registrierungsgenauigkeit liegt bei 3,45 mm. Die Menge an Punktkorrespondenzen ist für eine deformierbare Registrierung nicht ausreichend. Das entwickelte Verfahren zur Landmarkenverfeinerung fügt zwischen gematchten Punkte weitere Landmarken entlang der Gefäßmittellinien ein und sucht nach weiteren korrespondierenden Gefäß- segmenten wodurch die Zahl der Punktkorrespondenzen im Mittel auf 70 gesteigert wird. Dies erlaubt die Bestimmung der Organdeformation anhand des unterschiedlichen Gefäßverlaufes. Anhand dieser Punktkorrespondenzen kann mithilfe der Thin-Plate-Splines ein Deformationsfeld für das gesamte Organ berechnet werden. Auf diese Weise wird die Genauigkeit der Registrierung im Mittel um 44 % gesteigert. Die wichtigste Voraussetzung für das Gelingen der deformierbaren Registrierung ist eine möglichst umfassende Segmentierung der Gefäße aus dem Ultraschall. Im Rahmen der Arbeit wurde erstmals der Begriff der Regmentation auf die Segmentierung von Gefäßen und die gefäßbasierte Registrie- rung ausgeweitet. Durch diese Kombination beider Verfahren wurde die extrahierte Gefäßlänge im Mittel um 32 % gesteigert, woraus ein Anstieg der Anzahl korrespondierender Landmarken auf 98 resultiert. Hierdurch lässt sich die Deformation des Organs und somit auch die Lageveränderung des Tumors genauer und mit höherer Sicherheit bestimmen. Mit dem Wissen über die Lage des Tumors im Organ und durch Verwendung eines Markierungs- drahtes kann die Lageveränderung des Tumors während der chirurgischen Manipulation mit einem elektromagnetischen Trackingsystem überwacht werden. Durch dieses Tumortracking wird eine permanente Visualisierung mittels Video Overlay im laparoskopischen Videobild möglich. Die wichtigsten Beiträge dieser Arbeit zur gefäßbasierten Registrierung sind die Gefäßsegmen- tierung aus Ultraschallbilddaten, die Landmarkenverfeinerung zur Gewinnung einer hohen Anzahl bijektiver Punktkorrespondenzen und die Einführung der Regmentation zur Verbesserung der Ge- fäßsegmentierung und der deformierbaren Registrierung. Das Tumortracking für die Navigation ermöglicht die permanente Visualisierung des Tumors während des gesamten Eingriffes