Optical techniques for 3D surface reconstruction in computer-assisted laparoscopic surgery

One of the main challenges for computer-assisted surgery (CAS) is to determine the intra-opera- tive morphology and motion of soft-tissues. This information is prerequisite to the registration of multi-modal patient-specific data for enhancing the surgeon’s navigation capabilites by observ- ing beyond exposed tissue surfaces and for providing intelligent control of robotic-assisted in- struments. In minimally invasive surgery (MIS), optical techniques are an increasingly attractive approach for in vivo 3D reconstruction of the soft-tissue surface geometry. This paper reviews the state-of-the-art methods for optical intra-operative 3D reconstruction in laparoscopic surgery and discusses the technical challenges and future perspectives towards clinical translation. With the recent paradigm shift of surgical practice towards MIS and new developments in 3D opti- cal imaging, this is a timely discussion about technologies that could facilitate complex CAS procedures in dynamic and deformable anatomical regions

Dynamic Analysis of X-ray Angiography for Image-Guided Coronary Interventions

Percutaneous coronary intervention (PCI) is a minimally-invasive procedure for treating patients with coronary artery disease. PCI is typically performed with image guidance using X-ray angiograms (XA) in which coronary arter

Inter- and Intrafraction Motion Management for MR guided Proton Therapy of Pancreatic Carcinoma

Hintergrund: Patienten mit Bauchspeicheldrüsenkrebs könnten von der Protonentherapie (PT) profitieren, aufgrund ihres Potentials der Schonung von Risikoorganen. Jedoch führen die inter- und intrafraktionelle Beweglichkeit der Bauchspeicheldrüse zu hohen Unsicherheiten bei der Dosisapplikation und erfordern daher große Sicherheitssäume. Aufgrund des hohen Weichgewebskontrastes in der MRT und der Möglichkeit der Echtzeitbildgebung gewinnt die Unterstützung der Strahlentherapie durch die MRT stetig höheres Interesse. In der Translation von konventioneller Röntgen-geführter XT zur MR-geführten PT müssen Methoden zur Kontrolle der inter- und intrafraktionellen Organbeweglichkeit re-evaluiert, adaptiert oder neu entwickelt werden. Fragestellung/Hypothese: Für die interfraktionelle Bewegungskontrolle wurde die Hypothese aufgestellt, dass der neu entwickelte Flüssigmarker BioXmark®, injiziert in Pankreasgewebe, sichtbar in der MR-Bildgebung ist und verglichen zu üblich verwendeten soliden Markern die Bildartefakte reduziert. Für die intrafraktionelle Bewegungskontrolle wurde erwartet, dass ein Patienten-individuelles MR-kompatibles Korsett die atmungs-induzierte Pankreasbeweglichkeit reduziert, von Patienten mit Tumoren im Oberbauch gut vertragen wird und in die PT implementiert werden kann. Ein 4D MR-Linac Bewegungsphantom wurde für die Evaluierung der Geometrietreue und der Genauigkeit der Bewegungswiedergabe des genutzten diagnostischen 3.0 T MR Scanners verwendet. Es wurde erwartet, dass dieses Phantom für die Verwendung am diagnostischen MR Scanner implementiert werden kann und für die Qualitätssicherung von bewegungscharakterisierenden MR Pulssequenzen genutzt werden kann. Material und Methode: Die MR Eigenschaften von BioXmark® wurden in einer Phantomstudie durch MR Relaxometrie quantitativ analysiert und verglichen mit zwei Arten von soliden Marker. Des weiteren wurde die MR-Sichtbarkeit von BioXmark® das erste mal in ex vivo tumorösem Pankreasgewebe getestet für Markern dreier Größenkategorien (20/25 µL, 50/60 µL, 100 µL), injeziert mit jeweils drei verschiedenen Nadelgrößen (18 G, 22 G, 25 G). Ein 4D MR-Linac Bewegungsphantom wurde für den diagnostischen 3.0 T MR Scanner unserer Klinik kommissioniert und Programme für die automatische Evaluierung der 3D Geometrietreue und Genauigkeit der Bewegungscharakterisierung entwickelt. Drei Korsetts aus verschiedenen Materialien (PU, PE, 3DPE) wurden in Bezug auf die Verwendbarkeit in der PT untersucht. Des weiteren wurde der Effekt der Korsetts auf die Reduzierung der Pankreasbeweglichkeit bei einem gesunden Freiwilligen analysiert, mittels zeitaufgelöster 2D-cine MRT und respirationskorrelierter 4D-MRT in einem 1.5 T MR Scanner. Daraufhin wurde eine klinische Studie durchgeführt, die 13 Patienten mit Tumor im Oberbauch einschloss. Im Rahmen der Studie wurde der Effekt des verwendeten 3DPE Korsetts auf die Reduktion der Pankreasbeweglichkeit analysiert, mittels 2D-cine MRT und 4D-MRT in einem 3.0 T MR Scanner. Abschließend wurde die Patienten-Verträglichkeit bei Anwendung des Korsetts analysiert. Ergebnisse: Für BioXmark® wurde keine Korrelation zwischen der Intensität der Sichtbarkeit und Artefakte gefunden (RS = 0.0) und nur eine schwache Korrelation zwischen der Größe der Sichtbarkeit und Artefakte (RS = 0.4). Im Gegensatz dazu wurde für die soliden Marker eine lineare Abhängigkeit der Größe der Sichtbarkeit und Artefakte (RS = 0.99) und eine nicht-lineare Abhängigkeit zwischen der Intensität der Sichtbarkeit und Artefakte gefunden (RS = 0.964). Nach Injektion in drei ex vivo Pankreas-Resektionspräparate war BioXmark® als Hypointensität in sowohl T1- als auch T2- gewichteten MR Bildgebung sichtbar. Marker aller drei getesteten Größenkategorien waren in klinisch verwendeten MR Sequenzen detektierbar. Jedoch führte eine diffuse Gelierung oder Injektion zu nah am Geweberand zur Minderung der Detektierbarkeit. Dies hatte zur Folge hatte, dass 4 von in Summe 17 Markern in der MR-Bildgebung nicht erkennbar waren. Das MR-Linac Bewegungsphantom wurde erfolgreich am diagnostischen 3.0 T MR Scanner kommissioniert. Eine Fixierungs- und Positionierungshilfe wurde entwickelt und konstruiert, die eine sichere und reproduzierbare Positionierung des Aktuators und des Phantoms (< 0.4mm) ermöglichte. Ein Programm zur automatischen Verzerrungsanalyse wurde entwickelt, basierend auf einer Referenz-CT Aufnahme. Die Auswertung einer klinisch verwendeten 3D GRE Sequenz offenbarte eine maximale Verzerrung von 1.3mm in einem elliptischen Zylindervolumen von 15×23×6 cm³. Das Referenz-CT offenbarte zusätzlich einen Abweichung der eingestellten Targetbeweglichkeit in AP/LR Richtung. Kontrastreiche und geometrisch korrekte 2D-cine MR Bilder des sich bewegenden Phantom-Targets konnten aufgenommen werden. Ein Programm für ein automatisiertes Target-Tracking wurde entwickelt, welches eine hohe Genauigkeit der bewegungscharakterisierenden Sequenzen bestätigte (< 0.2mm in 2D-cine MRT, < 0.3mm in 4D-MRT). Eine vergleichbare Reduzierung der respirationsbedingten Pankreas-Bewegung von 46%–56% (7.7mm – 9.4 mm) wurde für die drei getesteten Korsetts gefunden. Die Materialanalyse führte jedoch zum Ausschluss des PU Korsetts für die Verwendung in der PT, aufgrund der gravierenden Heterogenität des Korsettmaterials. Das 3DPE Korsett wurde als für die PT implementierbar bewertet, wobei eine direkte Integration in der PT Planung mit der klinisch verwendeten Hounsfield-SPR Übersetzungstabelle möglich war. Das 3DPE Korsett wurde für 13 Patienten mit Tumor im Oberbauch in den PT Arbeitsablauf integriert, in welchem das Korsett von den Patienten gut toleriert wurde. Die MR-basierte Analyse der respirationsbedingten Pankreasbewegung in 9 Patienten mit und ohne Korsett ergab eine Reduzierung der Beweglichkeit um 37% (~3.3 mm). Schlussfolgerungen: BioXmark® und das entwickelte 3DPE Korsett wurden als verwendbar für die MR geführte PT bewertet. BioXmark® war in der MR-Bildgebung als Hypointensität sichtbar, unabhängig von der verwendeten MR Pulssequenz, solange die Markergröße die Voxelauflösung überschritt. Die MR-Sichtbarkeit von BioXmark® sollte jedoch in vivo getestet werden, da sich dort die Gelierung unterscheiden könnte und dementsprechend die Sichtbarkeit beeinflussen könnte. Das MR-Linac Bewegungsphantom kann in Zukunft für QA von bewegungscharakterisierenden Pulssequenzen des diagnostischen MR Scanners verwendet werden. Dies ist empfohlen, wann immer neue Pulssequenzen implementiert werden. Das entwickelte Korsett reduziert die respirationsbedingte Pankreas-Beweglichkeit in Patienten mit Tumor im Oberbauch um ~37% und kann in Zukunft für die MR geführte PT verwendet werden. Die Studie offenbarte jedoch auch, dass eine erhebliche Anzahl an Patienten nicht von der Verwendung eines Korsetts profitiert, aufgrund ihrer initial geringen Beweglichkeit bei freier Atmung (< 6 mm). Schlussfolgernd ist eine vorherige Einschätzung der Beweglichkeit jedes individuellen Patienten bei freier Atmung zu empfehlen, bevor eine Entscheidung über die Implementierung des Korsetts in der PT getroffen wird

Exploiting Temporal Image Information in Minimally Invasive Surgery

Minimally invasive procedures rely on medical imaging instead of the surgeons direct vision. While preoperative images can be used for surgical planning and navigation, once the surgeon arrives at the target site real-time intraoperative imaging is needed. However, acquiring and interpreting these images can be challenging and much of the rich temporal information present in these images is not visible. The goal of this thesis is to improve image guidance for minimally invasive surgery in two main areas. First, by showing how high-quality ultrasound video can be obtained by integrating an ultrasound transducer directly into delivery devices for beating heart valve surgery. Secondly, by extracting hidden temporal information through video processing methods to help the surgeon localize important anatomical structures. Prototypes of delivery tools, with integrated ultrasound imaging, were developed for both transcatheter aortic valve implantation and mitral valve repair. These tools provided an on-site view that shows the tool-tissue interactions during valve repair. Additionally, augmented reality environments were used to add more anatomical context that aids in navigation and in interpreting the on-site video. Other procedures can be improved by extracting hidden temporal information from the intraoperative video. In ultrasound guided epidural injections, dural pulsation provides a cue in finding a clear trajectory to the epidural space. By processing the video using extended Kalman filtering, subtle pulsations were automatically detected and visualized in real-time. A statistical framework for analyzing periodicity was developed based on dynamic linear modelling. In addition to detecting dural pulsation in lumbar spine ultrasound, this approach was used to image tissue perfusion in natural video and generate ventilation maps from free-breathing magnetic resonance imaging. A second statistical method, based on spectral analysis of pixel intensity values, allowed blood flow to be detected directly from high-frequency B-mode ultrasound video. Finally, pulsatile cues in endoscopic video were enhanced through Eulerian video magnification to help localize critical vasculature. This approach shows particular promise in identifying the basilar artery in endoscopic third ventriculostomy and the prostatic artery in nerve-sparing prostatectomy. A real-time implementation was developed which processed full-resolution stereoscopic video on the da Vinci Surgical System

Non-Rigid Liver Registration for Laparoscopy using Data-Driven Biomechanical Models

During laparoscopic liver resection, the limited access to the organ, the small field of view and lack of palpation can obstruct a surgeon’s workflow. Automatic navigation systems could use the images from preoperative volumetric organ scans to help the surgeons find their target (tumors) and risk-structures (vessels) more efficiently. This requires the preoperative data to be fused (or registered) with the intraoperative scene in order to display information at the correct intraoperative position. One key challenge in this setting is the automatic estimation of the organ’s current intra-operative deformation, which is required in order to predict the position of internal structures. Parameterizing the many patient-specific unknowns (tissue properties, boundary conditions, interactions with other tissues, direction of gravity) is very difficult. Instead, this work explores how to employ deep neural networks to solve the registration problem in a data-driven manner. To this end, convolutional neural networks are trained on synthetic data to estimate an organ’s intraoperative displacement field and thus its current deformation. To drive this estimation, visible surface cues from the intraoperative camera view must be supplied to the networks. Since reliable surface features are very difficult to find, the networks are adapted to also find correspondences between the pre- and intraoperative liver geometry automatically. This combines the search for correspondences with the biomechanical behavior estimation and allows the networks to tackle the full non-rigid registration problem in one single step. The result is a model which can quickly predict the volume deformation of a liver, given only sparse surface information. The model combines the advantages of a physically accurate biomechanical simulation with the speed and powerful feature extraction capabilities of deep neural networks. To test the method intraoperatively, a registration pipeline is developed which constructs a map of the liver and its surroundings from the laparoscopic video and then uses the neural networks to fuse the preoperative volume data into this map. The deformed organ volume can then be rendered as an overlay directly onto the laparoscopic video stream. The focus of this pipeline is to be applicable to real surgery, where everything should be quick and non-intrusive. To meet these requirements, a SLAM system is used to localize the laparoscopic camera (avoiding setup of an external tracking system), various neural networks are used to quickly interpret the scene and semi-automatic tools let the surgeons guide the system. Beyond the concrete advantages of the data-driven approach for intraoperative registration, this work also demonstrates general benefits of training a registration system preoperatively on synthetic data. The method lets the engineer decide which values need to be known explicitly and which should be estimated implicitly by the networks, which opens the door to many new possibilities.:1 Introduction 1.1 Motivation 1.1.1 Navigated Liver Surgery 1.1.2 Laparoscopic Liver Registration 1.2 Challenges in Laparoscopic Liver Registration 1.2.1 Preoperative Model 1.2.2 Intraoperative Data 1.2.3 Fusion/Registration 1.2.4 Data 1.3 Scope and Goals of this Work 1.3.1 Data-Driven, Biomechanical Model 1.3.2 Data-Driven Non-Rigid Registration 1.3.3 Building a Working Prototype 2 State of the Art 2.1 Rigid Registration 2.2 Non-Rigid Liver Registration 2.3 Neural Networks for Simulation and Registration 3 Theoretical Background 3.1 Liver 3.2 Laparoscopic Liver Resection 3.2.1 Staging Procedure 3.3 Biomechanical Simulation 3.3.1 Physical Balance Principles 3.3.2 Material Models 3.3.3 Numerical Solver: The Finite Element Method (FEM) 3.3.4 The Lagrangian Specification 3.4 Variables and Data in Liver Registration 3.4.1 Observable 3.4.2 Unknowns 4 Generating Simulations of Deforming Organs 4.1 Organ Volume 4.2 Forces and Boundary Conditions 4.2.1 Surface Forces 4.2.2 Zero-Displacement Boundary Conditions 4.2.3 Surrounding Tissues and Ligaments 4.2.4 Gravity 4.2.5 Pressure 4.3 Simulation 4.3.1 Static Simulation 4.3.2 Dynamic Simulation 4.4 Surface Extraction 4.4.1 Partial Surface Extraction 4.4.2 Surface Noise 4.4.3 Partial Surface Displacement 4.5 Voxelization 4.5.1 Voxelizing the Liver Geometry 4.5.2 Voxelizing the Displacement Field 4.5.3 Voxelizing Boundary Conditions 4.6 Pruning Dataset - Removing Unwanted Results 4.7 Data Augmentation 5 Deep Neural Networks for Biomechanical Simulation 5.1 Training Data 5.2 Network Architecture 5.3 Loss Functions and Training 6 Deep Neural Networks for Non-Rigid Registration 6.1 Training Data 6.2 Architecture 6.3 Loss 6.4 Training 6.5 Mesh Deformation 6.6 Example Application 7 Intraoperative Prototype 7.1 Image Acquisition 7.2 Stereo Calibration 7.3 Image Rectification, Disparity- and Depth- estimation 7.4 Liver Segmentation 7.4.1 Synthetic Image Generation 7.4.2 Automatic Segmentation 7.4.3 Manual Segmentation Modifier 7.5 SLAM 7.6 Dense Reconstruction 7.7 Rigid Registration 7.8 Non-Rigid Registration 7.9 Rendering 7.10 Robotic Operating System 8 Evaluation 8.1 Evaluation Datasets 8.1.1 In-Silico 8.1.2 Phantom Torso and Liver 8.1.3 In-Vivo, Human, Breathing Motion 8.1.4 In-Vivo, Human, Laparoscopy 8.2 Metrics 8.2.1 Mean Displacement Error 8.2.2 Target Registration Error (TRE) 8.2.3 Champfer Distance 8.2.4 Volumetric Change 8.3 Evaluation of the Synthetic Training Data 8.4 Data-Driven Biomechanical Model (DDBM) 8.4.1 Amount of Intraoperative Surface 8.4.2 Dynamic Simulation 8.5 Volume to Surface Registration Network (V2S-Net) 8.5.1 Amount of Intraoperative Surface 8.5.2 Dependency on Initial Rigid Alignment 8.5.3 Registration Accuracy in Comparison to Surface Noise 8.5.4 Registration Accuracy in Comparison to Material Stiffness 8.5.5 Champfer-Distance vs. Mean Displacement Error 8.5.6 In-vivo, Human Breathing Motion 8.6 Full Intraoperative Pipeline 8.6.1 Intraoperative Reconstruction: SLAM and Intraoperative Map 8.6.2 Full Pipeline on Laparoscopic Human Data 8.7 Timing 9 Discussion 9.1 Intraoperative Model 9.2 Physical Accuracy 9.3 Limitations in Training Data 9.4 Limitations Caused by Difference in Pre- and Intraoperative Modalities 9.5 Ambiguity 9.6 Intraoperative Prototype 10 Conclusion 11 List of Publications List of Figures Bibliograph

Intraoperative Planning and Execution of Arbitrary Orthopedic Interventions Using Handheld Robotics and Augmented Reality

The focus of this work is a generic, intraoperative and image-free planning and execution application for arbitrary orthopedic interventions using a novel handheld robotic device and optical see-through glasses (AR). This medical CAD application enables the surgeon to intraoperatively plan the intervention directly on the patient’s bone. The glasses and all the other instruments are accurately calibrated using new techniques. Several interventions show the effectiveness of this approach

Augmented reality (AR) for surgical robotic and autonomous systems: State of the art, challenges, and solutions

Despite the substantial progress achieved in the development and integration of augmented reality (AR) in surgical robotic and autonomous systems (RAS), the center of focus in most devices remains on improving end-effector dexterity and precision, as well as improved access to minimally invasive surgeries. This paper aims to provide a systematic review of different types of state-of-the-art surgical robotic platforms while identifying areas for technological improvement. We associate specific control features, such as haptic feedback, sensory stimuli, and human-robot collaboration, with AR technology to perform complex surgical interventions for increased user perception of the augmented world. Current researchers in the field have, for long, faced innumerable issues with low accuracy in tool placement around complex trajectories, pose estimation, and difficulty in depth perception during two-dimensional medical imaging. A number of robots described in this review, such as Novarad and SpineAssist, are analyzed in terms of their hardware features, computer vision systems (such as deep learning algorithms), and the clinical relevance of the literature. We attempt to outline the shortcomings in current optimization algorithms for surgical robots (such as YOLO and LTSM) whilst providing mitigating solutions to internal tool-to-organ collision detection and image reconstruction. The accuracy of results in robot end-effector collisions and reduced occlusion remain promising within the scope of our research, validating the propositions made for the surgical clearance of ever-expanding AR technology in the future

Magnetic resonance coronary vessel wall imaging with highly efficient respiratory motion correction

There is a need for a noninvasive imaging technique for use in longitudinal studies of sub-clinical coronary artery disease. Magnetic resonance (MR) can be used to selectively and non-invasively image the coronary wall without the use of ionising radiation. However, high-resolution 3D studies are often time consuming and unreliable, as data acquisition is generally gated to a small window of diaphragm positions around end-expiration which results in inherently poor and variable respiratory efficiency. This thesis describes the development and application of a novel technique (beat-to-beat respiratory motion correction (B2B-RMC)) for correcting respiratory motion in 3D spiral MR coronary imaging. This technique uses motion of the epicardial fat surrounding the artery as a surrogate for the motion of the artery itself and enables retrospective motion correction with respiratory efficiency close to 100%. This thesis first describes an assessment of the performance of B2B-RMC using a purpose built respiratory motion phantom with realistic coronary artery test objects. Subsequently, MR coronary angiography studies in healthy volunteers show that the respiratory efficiency of B2B-RMC far exceeds that of conventional navigator gating, yet the respiratory motion correction is equally effective. The performance and reproducibility of 3D spiral imaging with B2B-RMC for assessment of the coronary artery vessel wall is subsequently compared to that of commonly used 2D navigator gated techniques. The results demonstrate the high performance, reproducibility and reliability of 3D spiral imaging with B2B-RMC when data acquisition is gated to alternate cardiac cycles. Using this technique, a further in-vivo study demonstrates thickening of the coronary vessel wall with age in healthy subjects and these results are shown to be consistent with outward remodelling of the vessel wall. Finally, the performance of B2B-RMC in a variety of coronary vessel wall applications, including in a small cohort of patients with confirmed coronary artery disease, is presented

Improved Image Guidance in TACE Procedures

Purpose of the work in this thesis is to improve the image guidance in TACE procedures. More specifically, we intend to develop and evaluate technology that permits dynamic roadmapping based on a 3D model of the liver vasculature