SVRDA: A Web-based Dataset Annotation Tool for Slice-to-Volume Registration

Background and Objective: The lack of benchmark datasets has impeded the development of slice-to-volume registration algorithms. Such datasets are difficult to annotate, primarily due to the dimensional difference within data and the dearth of task-specific software. We aim to develop a user-friendly tool to streamline dataset annotation for slice-to-volume registration. Methods: The proposed tool, named SVRDA, is an installation-free web application for platform-agnostic collaborative dataset annotation. It enables efficient transformation manipulation via keyboard shortcuts and smooth case transitions with auto-saving. SVRDA supports configuration-based data loading and adheres to the separation of concerns, offering great flexibility and extensibility for future research. Various supplementary features have been implemented to facilitate slice-to-volume registration. Results: We validated the effectiveness of SVRDA by indirectly evaluating the post-registration segmentation quality on UK Biobank data, observing a dramatic overall improvement (24.02% in the Dice Similarity Coefficient and 48.93% in the 95th percentile Hausdorff distance, respectively) supported by highly statistically significant evidence ($p<0.001$).We further showcased the clinical usage of SVRDA by integrating it into test-retest T1 quantification on in-house magnetic resonance images, leading to more consistent results after registration. Conclusions: SVRDA can facilitate collaborative annotation of benchmark datasets while being potentially applicable to other pipelines incorporating slice-to-volume registration. Full source code and documentation are available at https://github.com/Roldbach/SVRDAComment: 18 pages, 11 figures, In submission to Computer Methods and Programs in Biomedicin

Web-based Simulation and Training Environment for Laparoscopic Camera Calibration

Endoscopic cameras are increasingly employed in image-guidance procedures, where the video images must be registered to data from other modalities. However, such cameras are susceptible to distortions, requiring calibration before images can be used for registration, tracking and 3D reconstruction. Camera calibration is learned in a laboratory setting, where configuring and adjusting the physical setup is tedious and not necessarily conducive to learning. A centralized resource that utilizes 3D interactive components needs to be available for training on camera calibration. In this project, a web-based training environment for camera calibration is implemented called SimCAM. SimCAM was developed using the Web Graphics Library (WebGL), Open Computer Vision (OpenCV) library, and custom software components. WebGL and OpenCV were used to simulate camera distortions and the calibration task. The main contributions include the implementation and validation of SimCAM. SimCAM was validated with a content validity study, where it was found to be useful as an introduction to camera calibration. Future work involves improving the supporting material and implementing more features, such as uncertainty propogation

Entwicklung von Phantomen für die interventionelle Sonographie zum Erlernen von Punktions-, Biopsie- bzw. Drainagetechniken.

Der Stellenwert der Sonographie ist in den letzten Jahren stetig größer geworden, sowohl in der bildgebenden Diagnostik als auch in der Therapie. Zahlreiche Fortschritte, insbesondere die kontrastmittelverstärkte Sonographie, haben diese Methode zum weit verbreitetsten bildgebenden Verfahren werden lassen. Dabei ist sie kostengünstig, flexibel einsetzbar und äußerst patientenschonend. Unter Sicht können gezielt und mit reduzierten Komplikationsraten invasive Maßnahmen wie Punktionen, Biopsien oder Drainagen durchgeführt werden. Sonographisch-gesteuerte, interventionelle Verfahren sind den anderen (CT oder MRT) in den meisten Fällen überlegen. Allerdings setzt die Anwendung dieser Verfahren ein intensives Üben derselben voraus. Da invasive Maßnahmen möglichst nicht an Patienten geübt werden sollten, benötigt man hierzu ein Simulationsobjekt, meist „Phantom“ genannt. Diese sind käuflich, aber sehr teuer zu erwerben. Eine Alternative stellen selbst hergestellte Phantome dar. Die wenigen bisher veröffentlichten Modelle überzeugen nicht. In dieser Arbeit wurde ein Grundmodell geschaffen, welches je nach Bedarf modifiziert und von jedermann schnell und leicht selbst hergestellt werden kann, zu einem Kostenfaktor von unter 2 € je Phantom. Die Zutaten dazu sind alle in einem normalen Lebensmittelgeschäft käuflich zu erwerben. Hierzu wurden verschiedene Geliermittel, Behältnisse, Trainingsobjekte, Zusatzstoffe, sonographische und interventionelle Geräte und Modi ausprobiert. Bei den Geliermitteln hat sich Gelatine als das Sinnvollste herausgestellt. Nahezu alle Behältnisse können benutzt werden. Am Sinnvollsten eignet sich ein eckiges, hohes, 1,6-2 l fassendes Plastikgefäß. Als Trainingsobjekte für die Punktion solider Objekte eignen sich am besten entsteinte mit möglichst kontrastfarbiger Füllung versehene Oliven. Die kontrastfarbige Füllung ermöglicht die präzise Kontrolle einer Stanzbiopsie. Die Punktion zystischer Objekte kann durch Einbringung von mit Wasser oder Joghurt gefüllten, kleinen Luftballons simuliert werden. Um Gefäßpunktionen zu trainieren, können längliche Hohlräume geschaffen werden, durch Einbringung und wieder Entfernung von am besten Plastikstangen oder -rohren. Zusatzstoffe können das Aussehen und die Haltbarkeit des Phantoms beeinflussen, für den eigentlichen Zweck sind sie aber nicht notwendig. Es zeigte sich eine gute Darstellbarkeit aller Materialien, die in realen sonographischen Interventionen benutzt werden. Selbst im Modus der kontrastmittelverstärkten Sonographie waren die Interventionsmaterialien, gut allerdings nur in Bewegung, erkennbar. Hier zeigten sich erste Ansätze für das Üben kontrastmittelverstärkter sonographischer Interventionen. Es folgt das Rezept für das Idealphantom: In einem hohen Gefäß 500 ml Wasser mit 100 g Gelatine zehn Minuten quellen lassen, dann zwei Minuten in der Mikrowelle erhitzen und dadurch die Gelatine auflösen, danach einen Liter kaltes Wasser langsam in die flüssige Gelatine einrühren. Den Behälter verschließen und bis zur halben Höhe der Gelatinefüllung in ein kaltes Wasserbad stellen. Nach circa ein bis zwei Stunden, gefüllte Oliven und/oder einen mit Wasser gefüllten kleinen Luftballon an die gewünschten Stellen vorsichtig in die nun halbfeste Gelatine platzieren. Nach weiteren sechs Stunden im Kühlschrank bei 8 °C ist das Ganze ausgehärtet und einsatzbereit. Eine Schicht Wasser auf dem Phantom ersetzt das Sonographie-Gel. Sie vermeidet Lufteinschlüsse durch die Interventionen in dem Phantom. Mit diesem Ideal-Phantom lassen sich die gängigsten Interventionen alleine oder in der Gruppe schnell, einfach und kostengünstig erlernen. Es konnte auch gezeigt werden, das ein Einsatz des Phantoms in der kontrastmittelverstärkten Sonographie grundsätzlich möglich ist

Recalage déformable a l'aide de graphes de coupes 2D et de volumes 3D

Deformable image registration plays a fundamental role in many clinical applications. In this paper we investigate the use of graphical models in the context of a particular type of image registration problem, known as slice-to-volume registration. We introduce a scalable, modular and flexible formulation that can accommodate low-rank and high order terms, that simultaneously selects the plane and estimates the in-plane deformation through a single shot optimization approach. The proposed framework is instantiated into different variants seeking either a compromise between computational efficiency (soft plane selection constraints and approximate definition of the data similarity terms through pair-wise components) or exact definition of the data terms and the constraints on the plane selection. Simulated and real-data in the context of ultrasound and magnetic resonance registration (where both framework instantiations as well as different optimization strategies are considered) demonstrate the potentials of our method.Le recalage d'images déformable est un élément essentiel dans de nombreuses applications cliniques. Dans ce rapport, nous nous intéressons aux modèles graphiques utilisés dans un type de recalage particulier : volume 3D et coupe 2D. Nous établissons un modèle modulaire, flexible et de taille variable qui intègre les potentiels d'ordres supérieurs et résoud simultanément la sélection de plan et l'estimation des transformations intra-plan, en une seule et même optimisation. Le cadre proposé peut être modifié selon plusieurs variantes cherchant soit un compromis entre l'efficacité de calcul (contraintes douces de sélection du plan et calcul approché du terme d'attache aux données par un potentiel à deux nœuds) ou une définition exacte du terme d'attache aux données et des contraintes de la sélection de plan. Nos expériences sur des données simulées et réelles pour des images ultrasons et des IRM (où différentes instanciations et méthodes d'optimisation ont été considérées) prouvent le potentiel de notre méthode

Developing Ultrasound-Guided Intervention Technologies Enabled by Sensing Active Acoustic and Photoacoustic Point Sources

Image-guided therapy is a central part of modern medicine. By incorporating medical imaging into the planning, surgical, and evaluation process, image-guided therapy has helped surgeons perform less invasive and more precise procedures. Of the most commonly used medical imaging modalities, ultrasound imaging offers a unique combination of cost-effectiveness, safety, and mobility. Advanced ultrasound guided interventional systems will often require calibration and tracking technologies to enable all of their capabilities. Many of these technologies rely on localizing point based fiducials to accomplish their task. In this thesis, I investigate how sensing and localizing active acoustic and photoacoustic point sources can have a substantial impact in intraoperative ultrasound. The goals of these methods are (1) to improve localization and visualization for point targets that are not easily distinguished under conventional ultrasound and (2) to track and register ultrasound sensors with the use of active point sources as non-physical fiducials or markers. We applied these methods to three main research topics. The first is an ultrasound calibration framework that utilizes an active acoustic source as the phantom to aid in in-plane segmentation as well as out-of-plane estimation. The second is an interventional photoacoustic surgical system that utilizes the photoacoustic effect to create markers for tracking ultrasound transducers. We demonstrate variations of this idea to track a wide range of ultrasound transducers (three-dimensional, two-dimensional, bi-planar). The third is a set of interventional tool tracking methods combining the use of acoustic elements embedded onto the tool with the use of photoacoustic markers

Technologies for Biomechanically-Informed Image Guidance of Laparoscopic Liver Surgery

Laparoscopic surgery for liver resection has a number medical advantages over open surgery, but also comes with inherent technical challenges. The surgeon only has a very limited field of view through the imaging modalities routinely employed intra-operatively, laparoscopic video and ultrasound, and the pneumoperitoneum required to create the operating space and gaining access to the organ can significantly deform and displace the liver from its pre-operative configuration. This can make relating what is visible intra-operatively to the pre-operative plan and inferring the location of sub-surface anatomy a very challenging task. Image guidance systems can help overcome these challenges by updating the pre-operative plan to the situation in theatre and visualising it in relation to the position of surgical instruments. In this thesis, I present a series of contributions to a biomechanically-informed image-guidance system made during my PhD. The most recent one is work on a pipeline for the estimation of the post-insufflation configuration of the liver by means of an algorithm that uses a database of segmented training images of patient abdomens where the post-insufflation configuration of the liver is known. The pipeline comprises an algorithm for inter and intra-subject registration of liver meshes by means of non-rigid spectral point-correspondence finding. My other contributions are more fundamental and less application specific, and are all contained and made available to the public in the NiftySim open-source finite element modelling package. Two of my contributions to NiftySim are of particular interest with regards to image guidance of laparoscopic liver surgery: 1) a novel general purpose contact modelling algorithm that can be used to simulate contact interactions between, e.g., the liver and surrounding anatomy; 2) membrane and shell elements that can be used to, e.g., simulate the Glisson capsule that has been shown to significantly influence the organ’s measured stiffness