Intraoperative Planning and Execution of Arbitrary Orthopedic Interventions Using Handheld Robotics and Augmented Reality

The focus of this work is a generic, intraoperative and image-free planning and execution application for arbitrary orthopedic interventions using a novel handheld robotic device and optical see-through glasses (AR). This medical CAD application enables the surgeon to intraoperatively plan the intervention directly on the patient’s bone. The glasses and all the other instruments are accurately calibrated using new techniques. Several interventions show the effectiveness of this approach

Computational ultrasound tissue characterisation for brain tumour resection

In brain tumour resection, it is vital to know where critical neurovascular structuresand tumours are located to minimise surgical injuries and cancer recurrence. Theaim of this thesis was to improve intraoperative guidance during brain tumourresection by integrating both ultrasound standard imaging and elastography in thesurgical workflow. Brain tumour resection requires surgeons to identify the tumourboundaries to preserve healthy brain tissue and prevent cancer recurrence. Thisthesis proposes to use ultrasound elastography in combination with conventionalultrasound B-mode imaging to better characterise tumour tissue during surgery.Ultrasound elastography comprises a set of techniques that measure tissue stiffness,which is a known biomarker of brain tumours. The objectives of the researchreported in this thesis are to implement novel learning-based methods for ultrasoundelastography and to integrate them in an image-guided intervention framework.Accurate and real-time intraoperative estimation of tissue elasticity can guide towardsbetter delineation of brain tumours and improve the outcome of neurosurgery. We firstinvestigated current challenges in quasi-static elastography, which evaluates tissuedeformation (strain) by estimating the displacement between successive ultrasoundframes, acquired before and after applying manual compression. Recent approachesin ultrasound elastography have demonstrated that convolutional neural networkscan capture ultrasound high-frequency content and produce accurate strain estimates.We proposed a new unsupervised deep learning method for strain prediction, wherethe training of the network is driven by a regularised cost function, composed of asimilarity metric and a regularisation term that preserves displacement continuityby directly optimising the strain smoothness. We further improved the accuracy of our method by proposing a recurrent network architecture with convolutional long-short-term memory decoder blocks to improve displacement estimation and spatio-temporal continuity between time series ultrasound frames. We then demonstrateinitial results towards extending our ultrasound displacement estimation method toshear wave elastography, which provides a quantitative estimation of tissue stiffness.Furthermore, this thesis describes the development of an open-source image-guidedintervention platform, specifically designed to combine intra-operative ultrasoundimaging with a neuronavigation system and perform real-time ultrasound tissuecharacterisation. The integration was conducted using commercial hardware andvalidated on an anatomical phantom. Finally, preliminary results on the feasibilityand safety of the use of a novel intraoperative ultrasound probe designed for pituitarysurgery are presented. Prior to the clinical assessment of our image-guided platform,the ability of the ultrasound probe to be used alongside standard surgical equipmentwas demonstrated in 5 pituitary cases

Computer-assistierte Laparoskopie mit fluoreszierenden Markern

In der Medizin und insbesondere in der Urologie werden minimalinvasive laparoskopische Eingriffe immer häufiger durchgeführt, da sie schonender für die Patientinnen und Patienten sind. Durch die Verwendung eines Laparoskops wird die Orientierung und Navigation der chirurgischen Instrumente jedoch erschwert, da kein direkter Blick auf die Operationsszene möglich und das Sichtfeld eingeschränkt ist. Außerdem entfällt der Tastsinn. Die Lage relevanter Strukturen muss von den präoperativen Daten durch Erfahrung und Vorstellungskraft der Chirurginnen und Chirurgen auf das Laparoskopbild übertragen werden. Durch Methoden der erweiterten Realität (Augmented Reality, AR) können zusätzlich präoperative Daten im Laparoskopbild eingeblendet werden. Somit wird die intraoperative Orientierung erleichtert. Dazu muss eine geometrische Transformation zwischen den präoperativen Daten und dem Laparoskopbild gefunden werden – dieser Vorgang wird als Registrierung der Daten bezeichnet. In der Laparoskopie werden AR-Systeme allerdings noch nicht im klinischen Alltag eingesetzt, da bislang alle Ansätze zur intraoperativen Registrierung in der Laparoskopie nur sehr aufwändig in den Arbeitsablauf zu integrieren sind, die Ergebnisse nicht in Echtzeit angezeigt werden können oder die Registrierung während einer Operation nur unzuverlässig funktioniert. Das Ziel dieser Doktorarbeit war die Entwicklung eines Ansatzes zur robusten intraoperativen Registrierung in der Laparoskopie. Dazu wurde erstmalig ein auf nahinfraroter (NIR) Fluoreszenz basierendes Registrierungsverfahren entwickelt und angewandt. Dieser neue Ansatz ist deutlich robuster bei Verdeckung durch Rauch, Blut und Gewebe, ist echtzeitfähig und bietet zusätzlich die Chance auf eine sehr einfache Integration in den medizinischen Arbeitsablauf. Umsetzungsmöglichkeiten dieses neuen Konzepts wurden sowohl für die partielle Nephrektomie als auch für die Prostatektomie untersucht. Für die partielle Nephrektomie wurden fluoreszierende Marker aus Indocyaningrün (ICG) und einem Kontrastmittel für die Computertomografie (CT) entwickelt, die auf einem Organ mit einem Gewebeklebstoff angebracht und deren Positionen relativ zu den Organen durch CT-Aufnahmen bestimmt werden können. Durch eine 2D/3D-Registrierung können so die CT-Daten im Laparoskopbild eingeblendet werden. In mehreren Ex-vivo-Versuchen wurde die Machbarkeit und Genauigkeit des Registrierungsverfahrens mit diesen Markern gezeigt. Die Marker sind durch ihr NIR Fluoreszenzsignal herkömmlichen Nadelmarkern zur Registrierung deutlich überlegen, wenn diese von Rauch, Blut oder Gewebe verdeckt sind. Mit Nadelmarkern konnten beispielsweise bei Verdeckung durch Rauch nur 83% der Laparoskopbilder erfolgreich registriert werden, unter Blut konnten sie nur in bis zu 5% der Fälle und bei Verdeckung durch Gewebe konnten die Nadelmarker gar nicht detektiert werden. Bei Verwendung von fluoreszierenden Markern stieg dieser Anteil je nach Stärke der Verdeckung auf mindestens 88% bei Verdeckung durch Blut, 93% bei Verdeckung durch Gewebe und er betrug immer 100%, wenn sich Rauch im Sichtfeld des Laparoskops befand. Des Weiteren wurde die Anordnung der Marker in Computersimulationen untersucht, um den Einfluss der Markerpositionen zueinander und relativ zum Laparoskop zu analysieren. Es stellte sich heraus, dass für eine erfolgreiche Registrierung ein Mindestabstand vom Laparoskop zu den Markern eingehalten werden sollte. In Tierversuchen wurden erstmals fluoreszierende Marker zur Registrierung in vivo eingesetzt und die Robustheit dieser Marker gezeigt. Der Registrierungsfehler betrug im Durchschnitt nur 3 bis 12 Pixel, auch das überlagerte CT-Bild passte sehr gut zum dazugehörigen Laparoskopbild. Dabei zeigte sich, dass sich die Marker sehr gut zur Registrierung eignen und auch gegenüber Kamerabewegungen und Verdeckung durch Rauch, Blut oder Gewebe robust sind. Für die Prostatektomie wurde ein Ansatz entwickelt, bei dem eine fluoreszierende Variante des Farbstoffes 68Ga-PSMA-11 verwendet werden soll, die an den PSMA-Rezeptor bindet und dadurch in stark erhöhter Konzentration in Prostatakrebszellen vorkommt. So können unter anderem auch von Prostatakrebszellen befallene Lymphknoten mittels Fluoreszenz sichtbar gemacht und zur Registrierung genutzt werden. Die Herausforderungen und Anforderungen an dieses Konzept für die klinische Umsetzung wurden ausführlich diskutiert: Es sollte sich ohne großen Mehraufwand in den klinischen Arbeitsablauf integrieren lassen und kann zusätzlich die Strahlenbelastung für das medizinische Personal im Vergleich zu anderen Methoden reduzieren. Beide Anwendungen, die in dieser Doktorarbeit vorgestellt wurden, haben ein großes Potenzial für eine klinische Anwendung. Es gibt allerdings noch Hürden, die bis zum klinischen Transfer überwunden werden müssen, wie beispielsweise die Zulassung der Marker, das Anpassen der Registrierungssoftware an die Verteilung der befallenen Lymphknoten im Patienten oder die Berücksichtigung von Deformierungen. Bei den Ex- und In-vivo-Anwendungen zeigte sich, dass sich das vorgestellte Konzept basierend auf fluoreszierenden Markern für eine akkurate intraoperative Registrierung in Echtzeit eignet und dieses Verfahren wegen der erhöhten Robustheit durch NIR Fluoreszenz die Nachteile von herkömmlichen Registrierungsmethoden überwindet. Der nächste wichtige Schritt ist nun die Zulassung eines geeigneten Markers, damit dieses System an Patientinnen und Patienten eingesetzt werden kann und dadurch die intraoperative Orientierung und die Identifizierung relevanter Strukturen im Laparoskopbild erleichtert wird. So bietet sich die Chance, laparoskopische Einsätze für den Chirurgen oder die Chirurgin einfacher zu gestalten und gleichzeitig die Heilungschancen der Patientinnen und Patienten zu verbessern

Deep Multimodality Image-Guided System for Assisting Neurosurgery

Intrakranielle Hirntumoren gehören zu den zehn häufigsten bösartigen Krebsarten und sind für eine erhebliche Morbidität und Mortalität verantwortlich. Die größte histologische Kategorie der primären Hirntumoren sind die Gliome, die ein äußerst heterogenes Erschei-nungsbild aufweisen und radiologisch schwer von anderen Hirnläsionen zu unterscheiden sind. Die Neurochirurgie ist meist die Standardbehandlung für neu diagnostizierte Gliom-Patienten und kann von einer Strahlentherapie und einer adjuvanten Temozolomid-Chemotherapie gefolgt werden. Die Hirntumorchirurgie steht jedoch vor großen Herausforderungen, wenn es darum geht, eine maximale Tumorentfernung zu erreichen und gleichzeitig postoperative neurologische Defizite zu vermeiden. Zwei dieser neurochirurgischen Herausforderungen werden im Folgenden vorgestellt. Erstens ist die manuelle Abgrenzung des Glioms einschließlich seiner Unterregionen aufgrund seines infiltrativen Charakters und des Vorhandenseins einer heterogenen Kontrastverstärkung schwierig. Zweitens verformt das Gehirn seine Form ̶ die so genannte "Hirnverschiebung" ̶ als Reaktion auf chirurgische Manipulationen, Schwellungen durch osmotische Medikamente und Anästhesie, was den Nutzen präopera-tiver Bilddaten für die Steuerung des Eingriffs einschränkt. Bildgesteuerte Systeme bieten Ärzten einen unschätzbaren Einblick in anatomische oder pathologische Ziele auf der Grundlage moderner Bildgebungsmodalitäten wie Magnetreso-nanztomographie (MRT) und Ultraschall (US). Bei den bildgesteuerten Instrumenten handelt es sich hauptsächlich um computergestützte Systeme, die mit Hilfe von Computer-Vision-Methoden die Durchführung perioperativer chirurgischer Eingriffe erleichtern. Die Chirurgen müssen jedoch immer noch den Operationsplan aus präoperativen Bildern gedanklich mit Echtzeitinformationen zusammenführen, während sie die chirurgischen Instrumente im Körper manipulieren und die Zielerreichung überwachen. Daher war die Notwendigkeit einer Bildführung während neurochirurgischer Eingriffe schon immer ein wichtiges Anliegen der Ärzte. Ziel dieser Forschungsarbeit ist die Entwicklung eines neuartigen Systems für die peri-operative bildgeführte Neurochirurgie (IGN), nämlich DeepIGN, mit dem die erwarteten Ergebnisse der Hirntumorchirurgie erzielt werden können, wodurch die Gesamtüberle-bensrate maximiert und die postoperative neurologische Morbidität minimiert wird. Im Rahmen dieser Arbeit werden zunächst neuartige Methoden für die Kernbestandteile des DeepIGN-Systems der Hirntumor-Segmentierung im MRT und der multimodalen präope-rativen MRT zur intraoperativen US-Bildregistrierung (iUS) unter Verwendung der jüngs-ten Entwicklungen im Deep Learning vorgeschlagen. Anschließend wird die Ergebnisvor-hersage der verwendeten Deep-Learning-Netze weiter interpretiert und untersucht, indem für den Menschen verständliche, erklärbare Karten erstellt werden. Schließlich wurden Open-Source-Pakete entwickelt und in weithin anerkannte Software integriert, die für die Integration von Informationen aus Tracking-Systemen, die Bildvisualisierung und -fusion sowie die Anzeige von Echtzeit-Updates der Instrumente in Bezug auf den Patientenbe-reich zuständig ist. Die Komponenten von DeepIGN wurden im Labor validiert und in einem simulierten Operationssaal evaluiert. Für das Segmentierungsmodul erreichte DeepSeg, ein generisches entkoppeltes Deep-Learning-Framework für die automatische Abgrenzung von Gliomen in der MRT des Gehirns, eine Genauigkeit von 0,84 in Bezug auf den Würfelkoeffizienten für das Bruttotumorvolumen. Leistungsverbesserungen wurden bei der Anwendung fort-schrittlicher Deep-Learning-Ansätze wie 3D-Faltungen über alle Schichten, regionenbasier-tes Training, fliegende Datenerweiterungstechniken und Ensemble-Methoden beobachtet. Um Hirnverschiebungen zu kompensieren, wird ein automatisierter, schneller und genauer deformierbarer Ansatz, iRegNet, für die Registrierung präoperativer MRT zu iUS-Volumen als Teil des multimodalen Registrierungsmoduls vorgeschlagen. Es wurden umfangreiche Experimente mit zwei Multi-Location-Datenbanken durchgeführt: BITE und RESECT. Zwei erfahrene Neurochirurgen führten eine zusätzliche qualitative Validierung dieser Studie durch, indem sie MRT-iUS-Paare vor und nach der deformierbaren Registrierung überlagerten. Die experimentellen Ergebnisse zeigen, dass das vorgeschlagene iRegNet schnell ist und die besten Genauigkeiten erreicht. Darüber hinaus kann das vorgeschlagene iRegNet selbst bei nicht trainierten Bildern konkurrenzfähige Ergebnisse liefern, was seine Allgemeingültigkeit unter Beweis stellt und daher für die intraoperative neurochirurgische Führung von Nutzen sein kann. Für das Modul "Erklärbarkeit" wird das NeuroXAI-Framework vorgeschlagen, um das Vertrauen medizinischer Experten in die Anwendung von KI-Techniken und tiefen neuro-nalen Netzen zu erhöhen. Die NeuroXAI umfasst sieben Erklärungsmethoden, die Visuali-sierungskarten bereitstellen, um tiefe Lernmodelle transparent zu machen. Die experimen-tellen Ergebnisse zeigen, dass der vorgeschlagene XAI-Rahmen eine gute Leistung bei der Extraktion lokaler und globaler Kontexte sowie bei der Erstellung erklärbarer Salienzkar-ten erzielt, um die Vorhersage des tiefen Netzwerks zu verstehen. Darüber hinaus werden Visualisierungskarten erstellt, um den Informationsfluss in den internen Schichten des Encoder-Decoder-Netzwerks zu erkennen und den Beitrag der MRI-Modalitäten zur end-gültigen Vorhersage zu verstehen. Der Erklärungsprozess könnte medizinischen Fachleu-ten zusätzliche Informationen über die Ergebnisse der Tumorsegmentierung liefern und somit helfen zu verstehen, wie das Deep-Learning-Modell MRT-Daten erfolgreich verar-beiten kann. Außerdem wurde ein interaktives neurochirurgisches Display für die Eingriffsführung entwickelt, das die verfügbare kommerzielle Hardware wie iUS-Navigationsgeräte und Instrumentenverfolgungssysteme unterstützt. Das klinische Umfeld und die technischen Anforderungen des integrierten multimodalen DeepIGN-Systems wurden mit der Fähigkeit zur Integration von (1) präoperativen MRT-Daten und zugehörigen 3D-Volumenrekonstruktionen, (2) Echtzeit-iUS-Daten und (3) positioneller Instrumentenver-folgung geschaffen. Die Genauigkeit dieses Systems wurde anhand eines benutzerdefi-nierten Agar-Phantom-Modells getestet, und sein Einsatz in einem vorklinischen Operati-onssaal wurde simuliert. Die Ergebnisse der klinischen Simulation bestätigten, dass die Montage des Systems einfach ist, in einer klinisch akzeptablen Zeit von 15 Minuten durchgeführt werden kann und mit einer klinisch akzeptablen Genauigkeit erfolgt. In dieser Arbeit wurde ein multimodales IGN-System entwickelt, das die jüngsten Fort-schritte im Bereich des Deep Learning nutzt, um Neurochirurgen präzise zu führen und prä- und intraoperative Patientenbilddaten sowie interventionelle Geräte in das chirurgi-sche Verfahren einzubeziehen. DeepIGN wurde als Open-Source-Forschungssoftware entwickelt, um die Forschung auf diesem Gebiet zu beschleunigen, die gemeinsame Nut-zung durch mehrere Forschungsgruppen zu erleichtern und eine kontinuierliche Weiter-entwicklung durch die Gemeinschaft zu ermöglichen. Die experimentellen Ergebnisse sind sehr vielversprechend für die Anwendung von Deep-Learning-Modellen zur Unterstützung interventioneller Verfahren - ein entscheidender Schritt zur Verbesserung der chirurgi-schen Behandlung von Hirntumoren und der entsprechenden langfristigen postoperativen Ergebnisse

Image-guided robots for dot-matrix tumor ablation

Thesis (Ph. D.)--Massachusetts Institute of Technology, Dept. of Mechanical Engineering, 2010.Cataloged from PDF version of thesis.Includes bibliographical references (p. 203-208).Advances in medical imaging now provides detailed images of solid tumors inside the body and miniaturized energy delivery systems enable tumor destruction through local heating powered by a thin electrode. However, the use of thermal ablation as a first line of treatment is limited due to the difficulty in accurately matching a desired treatment and a limited region of active heating around an electrode. The purpose of this research is to identify and quantify the current limitations of image-guided interventional procedures and subsequently develop a procedure and devices to enable accurate and efficient execution of image-based interventional plans and thus ablation of a tumor of any shape with minimal damage to surrounding tissue. Current limitations of probe placement for ablation therapy were determined by a detailed retrospective study of 50 representative CT-guided procedures. On average, 21 CT scans were performed for a given procedure (range 11-38), with the majority devoted to needle orientation and insertion (mean number of scans was 54%) and trajectory planning (mean number of scans was 19%). A regression analysis yielded that smaller and deeper lesions were associated with a higher number of CT scans for needle orientation and insertion; highlighting the difficulty in targeting. Another challenge identified was repositioning the instrument distal tip within tissue. The first robot is a patient-mounted device that aligns an instrument along a desired trajectory via two motor-actuated concentric, crossed, and partially nested hoops. A carriage rides in the hoops and grips and inserts an instrument via a two degree-of-freedom friction drive. An imagebased point-and-click user interface relates appropriate clicks on the medical images to robot commands. Mounting directly on the patient provides a sufficiently stable and safe platform for actuation and eliminates the need to compensate for chest motion; thereby reducing the cost and complexity compared to other devices. Phantom experiments in a realistic clinical setting demonstrated a mean targeting accuracy of 3.5 mm with an average of five CT scans. The second robot is for repositioning the distal tip of a medical instrument to adjacent points within tissue. The steering mechanism is based on the concept of substantially straightening a pre-curved Nitinol stylet by retracting it into a concentric outer cannula, and re-deploying it at different axial and rotational cannula positions. The proximal end of the cannula is attached to the distal end of a screw-spline that enables it to be translated and rotated with respect to the casing. Translation of the stylet relative to the cannula is achieved with a second concentric, nested smaller diameter screw that is constrained to rotate with the cannula. The robot mechanism is compatible with the CT images, light enough to be supported on a patient's chest or attached to standard stereotactic frames. Targeting experiments in a gelatin phantom demonstrated a mean targeting error of 1.8 mm between the stylet tip and that predicted with a kinematic model. Ultimately, these types of systems are envisioned being used together as part of a highly dexterous patient-mounted positioning platform that can accurately perform ablation of large and irregularly shaped tumors inside medical imaging machines - offering the potential to replace expensive and traumatic surgeries with minimally invasive out-patient procedures.by Conor James Walsh.Ph.D

Integrated navigation and visualisation for skull base surgery

Skull base surgery involves the management of tumours located on the underside of the brain and the base of the skull. Skull base tumours are intricately associated with several critical neurovascular structures making surgery challenging and high risk. Vestibular schwannoma (VS) is a benign nerve sheath tumour arising from one of the vestibular nerves and is the commonest pathology encountered in skull base surgery. The goal of modern VS surgery is maximal tumour removal whilst preserving neurological function and maintaining quality of life but despite advanced neurosurgical techniques, facial nerve paralysis remains a potentially devastating complication of this surgery. This thesis describes the development and integration of various advanced navigation and visualisation techniques to increase the precision and accuracy of skull base surgery. A novel Diffusion Magnetic Resonance Imaging (dMRI) acquisition and processing protocol for imaging the facial nerve in patients with VS was developed to improve delineation of facial nerve preoperatively. An automated Artificial Intelligence (AI)-based framework was developed to segment VS from MRI scans. A user-friendly navigation system capable of integrating dMRI and tractography of the facial nerve, 3D tumour segmentation and intraoperative 3D ultrasound was developed and validated using an anatomically-realistic acoustic phantom model of a head including the skull, brain and VS. The optical properties of five types of human brain tumour (meningioma, pituitary adenoma, schwannoma, low- and high-grade glioma) and nine different types of healthy brain tissue were examined across a wavelength spectrum of 400 nm to 800 nm in order to inform the development of an Intraoperative Hypserpectral Imaging (iHSI) system. Finally, functional and technical requirements of an iHSI were established and a prototype system was developed and tested in a first-in-patient study