Multi-dimensional volume rendering for PC- based medical simulation

Ph.DDOCTOR OF PHILOSOPH

A virtual training simulator for learning cataract surgery with phacoemulsification

Author name used in this publication: Fu-Lai Chung2009-2010 > Academic research: refereed > Publication in refereed journalAccepted ManuscriptPublishe

Haptics-based Modeling and Simulation of Micro-Implants Surgery

Ph.DDOCTOR OF PHILOSOPH

Experimental evaluation of user performance on two-dimensional and three-dimensional perspective displays in discrete-event simulation

Several experiments were carried out to compare the impacts of using a two dimensional (2D) plan view or a three dimensional (3D) perspective view in discrete event simulation visual displays. The experiments measured the performance of participants in spotting errors, describing the model, and suggesting improvements to the system. The participants using the 3D perspective display performed much better in spotting errors, taking on average about one third of the time of participants observing the 2D display. They also did much better in describing the model. There was no significant difference in suggesting improvements although this may have been because this task was easy. Most participants preferred the 3D perspective view when asked to compare the displays. The experiments indicate that the detailed design of the visual display may have a considerable effect on some of the tasks in a simulation project and hence on whether the overall project is successful

A Modular and Open-Source Framework for Virtual Reality Visualisation and Interaction in Bioimaging

Life science today involves computational analysis of a large amount and variety of data, such as volumetric data acquired by state-of-the-art microscopes, or mesh data from analysis of such data or simulations. The advent of new imaging technologies, such as lightsheet microscopy, has resulted in the users being confronted with an ever-growing amount of data, with even terabytes of imaging data created within a day. With the possibility of gentler and more high-performance imaging, the spatiotemporal complexity of the model systems or processes of interest is increasing as well. Visualisation is often the first step in making sense of this data, and a crucial part of building and debugging analysis pipelines. It is therefore important that visualisations can be quickly prototyped, as well as developed or embedded into full applications. In order to better judge spatiotemporal relationships, immersive hardware, such as Virtual or Augmented Reality (VR/AR) headsets and associated controllers are becoming invaluable tools. In this work we present scenery, a modular and extensible visualisation framework for the Java VM that can handle mesh and large volumetric data, containing multiple views, timepoints, and color channels. scenery is free and open-source software, works on all major platforms, and uses the Vulkan or OpenGL rendering APIs. We introduce scenery's main features, and discuss its use with VR/AR hardware and in distributed rendering. In addition to the visualisation framework, we present a series of case studies, where scenery can provide tangible benefit in developmental and systems biology: With Bionic Tracking, we demonstrate a new technique for tracking cells in 4D volumetric datasets via tracking eye gaze in a virtual reality headset, with the potential to speed up manual tracking tasks by an order of magnitude. We further introduce ideas to move towards virtual reality-based laser ablation and perform a user study in order to gain insight into performance, acceptance and issues when performing ablation tasks with virtual reality hardware in fast developing specimen. To tame the amount of data originating from state-of-the-art volumetric microscopes, we present ideas how to render the highly-efficient Adaptive Particle Representation, and finally, we present sciview, an ImageJ2/Fiji plugin making the features of scenery available to a wider audience.:Abstract Foreword and Acknowledgements Overview and Contributions Part 1 - Introduction 1 Fluorescence Microscopy 2 Introduction to Visual Processing 3 A Short Introduction to Cross Reality 4 Eye Tracking and Gaze-based Interaction Part 2 - VR and AR for System Biology 5 scenery — VR/AR for Systems Biology 6 Rendering 7 Input Handling and Integration of External Hardware 8 Distributed Rendering 9 Miscellaneous Subsystems 10 Future Development Directions Part III - Case Studies C A S E S T U D I E S 11 Bionic Tracking: Using Eye Tracking for Cell Tracking 12 Towards Interactive Virtual Reality Laser Ablation 13 Rendering the Adaptive Particle Representation 14 sciview — Integrating scenery into ImageJ2 & Fiji Part IV - Conclusion 15 Conclusions and Outlook Backmatter & Appendices A Questionnaire for VR Ablation User Study B Full Correlations in VR Ablation Questionnaire C Questionnaire for Bionic Tracking User Study List of Tables List of Figures Bibliography Selbstständigkeitserklärun

Intraoperative Planning and Execution of Arbitrary Orthopedic Interventions Using Handheld Robotics and Augmented Reality

The focus of this work is a generic, intraoperative and image-free planning and execution application for arbitrary orthopedic interventions using a novel handheld robotic device and optical see-through glasses (AR). This medical CAD application enables the surgeon to intraoperatively plan the intervention directly on the patient’s bone. The glasses and all the other instruments are accurately calibrated using new techniques. Several interventions show the effectiveness of this approach

Echtzeitinteraktion und -simulation deformierbarer dreidimensionaler Objekte für mikrochirurgische Trainingsmodule

Virtual-Reality-Simulatoren kommen in vielen Bereichen zum Einsatz. Ein Beispiel dafür ist das Training am Flugsimulator bei der Pilotenausbildung. MicroSim ist ein auf virtueller Realität basierender Simulator, an dem abstrakte mikrochirurgische Fertigkeiten sowie komplexe Operationsvorgänge der vaskulären Anastomose erlernt und trainiert werden sollen. Die vorliegende Arbeit trägt zur Entwicklung von MicroSim bei. Das Ziel der Arbeit ist die Entwicklung prototypischer Module für das mikrochirurgische Training an MicroSim. Um die Realität in MicroSim nachzustellen, müssen virtuelle Nachbildungen der Instrumente und des Gewebes erstellt und in Echtzeit simuliert werden. Durch die gewöhnliche Handhabung echter mikrochirurgischer Instrumente steuert der Benutzer die entsprechenden virtuellen Nachbildungen. Für MicroSim, bei dem Gewebe durch den Druck einer Pinzette nicht nur bewegt, sondern auch gegriffen oder gerissen werden kann, existierte bisher kein Algorithmus, der dieses Szenario in einem Echtzeit-Simulator abbildet. Für die Simulation der Anastomose muss zusätzlich die Interaktion zwischen den Blutgefäßen simuliert werden. Im Gegensatz zu der Benutzerinteraktion, bei der ein Festkörper mit einem deformierbaren Körper interagiert, interagieren bei der Kollision zwischen den Blutgefäßen zwei deformierbare Objekte miteinander. Die Schwierigkeit besteht darin, die komplexen Kollisionsflächen exakt zu bestimmen und eine Kraft zu berechnen um die Kollision realistisch aufzulösen. Für die Darstellung des Gewebes werden Tetraedernetze durch ein Masse-Feder-Modell simuliert. Es existiert eine Vielzahl an Ansätzen für die Erstellung einfacher und komplexer Tetraedernetze. Auch die Simulation von Tetraedernetzen ist breit erforscht. Jedoch eignen sich viele Algorithmen der Fachliteratur nur bedingt für die interaktive Simulation. Durch unvorhersehbare Benutzereingaben treten kurzfristig hohe Kräfte im Simulator auf. Dies kann zu hohen numerischen Fehlern während des Integrationsschrittes führen. Für die Interaktion müssen Kollisionen mit dem Gewebe realistisch aufgelöst werden. Algorithmen für die Kollisionserkennung und -auflösung müssen an konkrete Problemstellungen angepasst werden. Für die Erkennung kann auf Algorithmen aus der Fachliteratur zurückgegriffen werden. Im Gegensatz dazu sind Lösungsansätze für die Auflösung der Kollisionen meist nicht direkt übertragbar. Diese müssen sowohl für die realistische Interaktion der Pinzette mit dem Gewebe als auch für die Simulation der Blutgefäße bei der Simulation des Vernähen für MicroSim entwickelt werden. Um die Interaktion zwischen Mensch und Simulator zu implementieren, werden die Anforderungen an MicroSim definiert. Dafür werden mikrochirurgische Operationen analysiert, bei denen kleinste Blutgefäße von umliegendem Bindegewebe gesäubert werden, um anschließend vernäht werden zu können. Bei der Erkennung der Kollisionen zwischen Instrumenten und Gewebe werden die Instrumente durch Hüllkörper (Bounding Volumes) approximiert. Bei der Kollision wird Kraft auf das Gewebe übertragen. Um die verschiedenen Interaktionen der Instrumente mit dem Gewebe abbilden zu können, wird ein Algorithmus implementiert, der die Kollisionen wie folgt auflöst: Befindet sich Gewebe zwischen mehreren Bounding Volumes werden die Teile, die während der Kollisionserkennung in die Bounding Volumes eindringen, festgehalten, wodurch das Gewebe gegriffen werden kann. Um das Gewebe durch das feste Zusammenpressen der Pinzette teilen zu können, wird im Inneren der Bounding Volumes eine Linie definiert. Überschreitet das Gewebe während der Kollisionserkennung diese Linie wird ein Algorithmus für topologische Veränderungen angewendet. Diese werden durch ein Remeshing-Verfahren modelliert, das für das verwendete Simulationsmodell implementiert wird. Um Kollisionen des Tetraedernetzes aufzulösen, wird die benötigte Kraft auf Basis eines numerischen Integrationsverfahrens berechnet. Die Simulation verwendet das Velocity Verlet-Verfahren. Die medizinischen Trainingsmodule, in denen die Algorithmen zum Einsatz kommen, werden abschließend prototypisch implementiert. Mit den Resultaten der Arbeit können mit Hilfe der Erfahrungswerten von Chirurgen, medizinisch relevante Trainingsmodule in MicroSim implementiert werden. Ein Großteil von MicroSim wurde in mehreren Publikationen veröffentlicht. MicroSim wurde in Kooperation mit der VRmagic GmbH entwickelt

Construction of Physics-based brain atlas and its application

Ph.DDOCTOR OF PHILOSOPH