Handling Topological Changes during Elastic Registration: Application to Augmented Reality in Laparoscopic Surgery

International audiencePurpose: Locating the internal structures of an organ is a critical aspect of many surgical procedures. Minimally invasive surgery, associated with augmented reality techniques, offers the potential to visualize inner structures, allowing for improved analysis, depth perception or for supporting planning and decision systems.Methods: Most of the current methods dealing with rigid or non-rigid augmented reality make the assumption that the topology of the organ is not modified. As surgery relies essentially on cutting and dissection of anatomical structures, such methods are limited to the early stages of the surgery.We solve this shortcoming with the introduction of a method for physics-based elastic registration using a single view from a monocular camera.Singularities caused by topological changes are detected and propagated to the pre-operative model. This significantly improves the coherence between the actual laparoscopic view and the model, and provides added value in terms of navigation and decision-making, e.g. by overlaying the internal structures of an organ on the laparoscopic view.Results: Our real time augmentation method is assessed on several scenarios, using synthetic objects and real organs. In all cases, the impact of our approach is demonstrated, both qualitatively and quantitatively.Conclusion: The presented approach tackles the challenge of localizing internal structures throughout a complete surgical procedure, even after surgical cuts. This information is crucial for surgeons to improve the outcome for their surgical procedure and avoid complications

Serial FEM/XFEM-Based Update of Preoperative Brain Images Using Intraoperative MRI

Current neuronavigation systems cannot adapt to changing intraoperative conditions over time. To overcome this limitation, we present an experimental end-to-end system capable of updating 3D preoperative images in the presence of brain shift and successive resections. The heart of our system is a nonrigid registration technique using a biomechanical model, driven by the deformations of key surfaces tracked in successive intraoperative images. The biomechanical model is deformed using FEM or XFEM, depending on the type of deformation under consideration, namely, brain shift or resection. We describe the operation of our system on two patient cases, each comprising five intraoperative MR images, and we demonstrate that our approach significantly improves the alignment of nonrigidly registered images

An interactive meshless cutting model for nonlinear viscoelastic soft tissue in surgical simulators

In this paper, we present a novel interactive cutting simulation model for soft tissue based on the meshless framework. Unlike most existing methods that consider the cutting process of soft tissue in an over simplified manner, the presented model is able to simulate the complete cutting process that includes three stages: deformation before cutting open (DBCO), cutting open (CO), and deformation after cutting open (DACO). To characterize the complicated physical and mechanical properties of soft tissue, both nonlinearity and viscoelasticity were incorporated into the equations governing the motion of soft tissue. A line contact model was used for simulating the cutting process after analyzing the two major types of surgical instruments, i.e., scalpel and electrostick. The cutting speed and angle were taken into account in order to improve haptic rendering. Biomechanical tests and simulation experiments verified the validity of the introduced model. Specifically, the displacement vs. cutting force curves can be divided into three segments corresponding to the three stages of the cutting process. The results were also applied in a liver cutting simulating system and satisfactory visual effect and haptic feedback were achieved

Interaktive Echtzeitsimulation deformierbarer Oberflächen für Trainingssysteme in der Augenchirurgie

Die Arbeit befasst sich mit Simulations-Algorithmen für virtuelle Augenoperationen. Sie konzentriert sich auf die Simulation von Membranen, die im Verlauf eines chirurgischen Eingriffs aus dem Auge entfernt werden müssen. Es werden Algorithmen vorgestellt, die eine realistische Interaktion zwischen Membran und chirurgischem Instrument ermöglichen, und die eine physikalisch plausible Riss-Simulation garantieren

Real-time simulation of surgery by Proper Generalized Decomposition techniques

La simulación quirúrgica por ordenador en tiempo real se ha convertido en una alternativa muy atractiva a los simuladores quirúrgicos tradicionales. Entre otras ventajas, los simuladores por ordenador consiguen ahorros importantes de tiempo y de costes de mantenimiento, y permiten que los estudiantes practiquen sus habilidades quirúrgicas en un entorno seguro tantas veces como sea necesario. Sin embargo, a pesar de las capacidades de los ordenadores actuales, la cirugía computacional sigue siendo un campo de investigación exigente. Uno de sus mayores retos es la alta velocidad a la que se tienen que resolver complejos problemas de mecánica de medios continuos para que los interfaces hápticos puedan proporcionar un sentido del tacto realista (en general, se necesitan velocidades de respuesta de 500-1000 Hz).Esta tesis presenta algunos métodos numéricos novedosos para la simulación interactiva de dos procedimientos quirúrgicos habituales: el corte y el rasgado (o desgarro) de tejidos blandos. El marco común de los métodos presentados es el uso de la Descomposición Propia Generalizada (PGD en inglés) para la generación de vademécums computacionales, esto es, metasoluciones generales de problemas paramétricos de altas dimensiones que se pueden evaluar a velocidades de respuesta compatibles con entornos hápticos.En el caso del corte, los vademécums computacionales se utilizan de forma conjunta con técnicas basadas en XFEM, mientras que la carga de cálculo se distribuye entre una etapa off-line (previa a la ejecución interactiva) y otra on-line (en tiempo de ejecución). Durante la fase off-line, para el órgano en cuestión se precalculan tanto un vademécum computacional para cualquier posición de una carga, como los desplazamientos producidos por un conjunto de cortes. Así, durante la etapa on-line, los resultados precalculados se combinan de la forma más adecuada para obtener en tiempo real la respuesta a las acciones dirigidas por el usuario. En cuanto al rasgado, a partir de una ecuación paramétrica basada en mecánica del daño continuo, se obtiene un vademécum computacional. La complejidad del modelo se reduce mediante técnicas de Descomposición Ortogonal Propia (POD en inglés), y el vademécum se incorpora a una formulación incremental explícita que se puede interpretar como una especie de integrador temporal.A modo de ejemplo, el método para el corte se aplica a la simulación de un procedimiento quirúrgico refractivo de la córnea conocido como queratotomía radial, mientras que el método para el rasgado se centra en la simulación de la colecistectomía laparoscópica (la extirpación de la vesícula biliar mediante laparoscopia). En ambos casos, los métodos implementados ofrecen excelentes resultados en términos de velocidades de respuesta y producen simulaciones muy realistas desde los puntos de vista visual y háptico.The real-time computer-based simulation of surgery has proven to be an appealing alternative to traditional surgical simulators. Amongst other advantages, computer-based simulators provide considerable savings on time and maintenance costs, and allow trainees to practice their surgical skills in a safe environment as often as necessary. However, in spite of the current computer capabilities, computational surgery continues to be a challenging field of research. One of its major issues is the high speed at which complex problems in continuum mechanics have to be solved so that haptic interfaces can render a realistic sense of touch (generally, feedback rates of 500–1 000 Hz are required). This thesis introduces some novel numerical methods for the interactive simulation of two usual surgical procedures: cutting and tearing of soft tissues. The common framework of the presented methods is the use of the Proper Generalised Decomposition (PGD) for the generation of computational vademecums, i. e. general meta-solutions of parametric high-dimensional problems that can be evaluated at feedback rates compatible with haptic environments. In the case of cutting, computational vademecums are used jointly with XFEM-based techniques, and the computing workload is distributed into an off-line and an on-line stage. During the off-line stage, both a computational vademecum for any position of a load and the displacements produced by a set of cuts are pre-computed for the organ under consideration. Thus, during the on-line stage, the pre-computed results are properly combined together to obtain in real-time the response to the actions driven by the user. Concerning tearing, a computational vademecum is obtained from a parametric equation based on continuum damage mechanics. The complexity of the model is reduced by Proper Orthogonal Decomposition (POD) techniques, and the vademecum is incorporated into an explicit incremental formulation that can be viewed as a sort of time integrator. By way of example, the cutting method is applied to the simulation of a corneal refractive surgical procedure known as radial keratotomy, whereas the tearing method focuses on the simulation of laparoscopic cholecystectomy (i. e. the removal of the gallbladder). In both cases, the implemented methods offer excellent performances in terms of feedback rates, and produce.<br /

Real-time hybrid cutting with dynamic fluid visualization for virtual surgery

It is widely accepted that a reform in medical teaching must be made to meet today's high volume training requirements. Virtual simulation offers a potential method of providing such trainings and some current medical training simulations integrate haptic and visual feedback to enhance procedure learning. The purpose of this project is to explore the capability of Virtual Reality (VR) technology to develop a training simulator for surgical cutting and bleeding in a general surgery

Echtzeitinteraktion und -simulation deformierbarer dreidimensionaler Objekte für mikrochirurgische Trainingsmodule

Virtual-Reality-Simulatoren kommen in vielen Bereichen zum Einsatz. Ein Beispiel dafür ist das Training am Flugsimulator bei der Pilotenausbildung. MicroSim ist ein auf virtueller Realität basierender Simulator, an dem abstrakte mikrochirurgische Fertigkeiten sowie komplexe Operationsvorgänge der vaskulären Anastomose erlernt und trainiert werden sollen. Die vorliegende Arbeit trägt zur Entwicklung von MicroSim bei. Das Ziel der Arbeit ist die Entwicklung prototypischer Module für das mikrochirurgische Training an MicroSim. Um die Realität in MicroSim nachzustellen, müssen virtuelle Nachbildungen der Instrumente und des Gewebes erstellt und in Echtzeit simuliert werden. Durch die gewöhnliche Handhabung echter mikrochirurgischer Instrumente steuert der Benutzer die entsprechenden virtuellen Nachbildungen. Für MicroSim, bei dem Gewebe durch den Druck einer Pinzette nicht nur bewegt, sondern auch gegriffen oder gerissen werden kann, existierte bisher kein Algorithmus, der dieses Szenario in einem Echtzeit-Simulator abbildet. Für die Simulation der Anastomose muss zusätzlich die Interaktion zwischen den Blutgefäßen simuliert werden. Im Gegensatz zu der Benutzerinteraktion, bei der ein Festkörper mit einem deformierbaren Körper interagiert, interagieren bei der Kollision zwischen den Blutgefäßen zwei deformierbare Objekte miteinander. Die Schwierigkeit besteht darin, die komplexen Kollisionsflächen exakt zu bestimmen und eine Kraft zu berechnen um die Kollision realistisch aufzulösen. Für die Darstellung des Gewebes werden Tetraedernetze durch ein Masse-Feder-Modell simuliert. Es existiert eine Vielzahl an Ansätzen für die Erstellung einfacher und komplexer Tetraedernetze. Auch die Simulation von Tetraedernetzen ist breit erforscht. Jedoch eignen sich viele Algorithmen der Fachliteratur nur bedingt für die interaktive Simulation. Durch unvorhersehbare Benutzereingaben treten kurzfristig hohe Kräfte im Simulator auf. Dies kann zu hohen numerischen Fehlern während des Integrationsschrittes führen. Für die Interaktion müssen Kollisionen mit dem Gewebe realistisch aufgelöst werden. Algorithmen für die Kollisionserkennung und -auflösung müssen an konkrete Problemstellungen angepasst werden. Für die Erkennung kann auf Algorithmen aus der Fachliteratur zurückgegriffen werden. Im Gegensatz dazu sind Lösungsansätze für die Auflösung der Kollisionen meist nicht direkt übertragbar. Diese müssen sowohl für die realistische Interaktion der Pinzette mit dem Gewebe als auch für die Simulation der Blutgefäße bei der Simulation des Vernähen für MicroSim entwickelt werden. Um die Interaktion zwischen Mensch und Simulator zu implementieren, werden die Anforderungen an MicroSim definiert. Dafür werden mikrochirurgische Operationen analysiert, bei denen kleinste Blutgefäße von umliegendem Bindegewebe gesäubert werden, um anschließend vernäht werden zu können. Bei der Erkennung der Kollisionen zwischen Instrumenten und Gewebe werden die Instrumente durch Hüllkörper (Bounding Volumes) approximiert. Bei der Kollision wird Kraft auf das Gewebe übertragen. Um die verschiedenen Interaktionen der Instrumente mit dem Gewebe abbilden zu können, wird ein Algorithmus implementiert, der die Kollisionen wie folgt auflöst: Befindet sich Gewebe zwischen mehreren Bounding Volumes werden die Teile, die während der Kollisionserkennung in die Bounding Volumes eindringen, festgehalten, wodurch das Gewebe gegriffen werden kann. Um das Gewebe durch das feste Zusammenpressen der Pinzette teilen zu können, wird im Inneren der Bounding Volumes eine Linie definiert. Überschreitet das Gewebe während der Kollisionserkennung diese Linie wird ein Algorithmus für topologische Veränderungen angewendet. Diese werden durch ein Remeshing-Verfahren modelliert, das für das verwendete Simulationsmodell implementiert wird. Um Kollisionen des Tetraedernetzes aufzulösen, wird die benötigte Kraft auf Basis eines numerischen Integrationsverfahrens berechnet. Die Simulation verwendet das Velocity Verlet-Verfahren. Die medizinischen Trainingsmodule, in denen die Algorithmen zum Einsatz kommen, werden abschließend prototypisch implementiert. Mit den Resultaten der Arbeit können mit Hilfe der Erfahrungswerten von Chirurgen, medizinisch relevante Trainingsmodule in MicroSim implementiert werden. Ein Großteil von MicroSim wurde in mehreren Publikationen veröffentlicht. MicroSim wurde in Kooperation mit der VRmagic GmbH entwickelt

A state machine for real-time cutting of tetrahedral meshes

We introduce an algorithm that consistently and accurately processes arbitrary intersections in tetrahedral meshes in real-time. The intersection surfaces are modeled up to the current cut tool position at every point in time. Tetrahedra are subdivided by using a progressive method, which inserts the required sub-structures step by step. A state machine tracks the topology of each tetrahedron and controls the progressive subdivision. In order to keep the state machine as small and clear as possible, each topological pattern of a tetrahedral intersection appears only once. These topological patterns are mapped onto the actual case of a tetrahedral intersection by some given transformation operations. The state transitions, which contain the specific subdivision operations, are described in a predefined lookup table, which is written in a simple script language. The handling of reverse movements and possible trembling of the users hand, as well as a recursive continuation of the state machine concept, complement the proposed algorithm. In three examples, covering free form modeling, volume visualization, and surgery simulation, we indicate the large field of applications in which our algorithm can be utilized