Image guidance in neurosurgical procedures, the "Visages" point of view.

This paper gives an overview of the evolution of clinical neuroinformatics in the domain of neurosurgery. It shows how image guided neurosurgery (IGNS) is evolving according to the integration of new imaging modalities before, during and after the surgical procedure and how this acts as the premise of the Operative Room of the future. These different issues, as addressed by the VisAGeS INRIA/INSERM U746 research team (http://www.irisa.fr/visages), are presented and discussed in order to exhibit the benefits of an integrated work between physicians (radiologists, neurologists and neurosurgeons) and computer scientists to give adequate answers toward a more effective use of images in IGNS

Surgical GPS Proof of Concept for Scoliosis Surgery

Scoliotic deformities may be addressed with either anterior or posterior approaches for scoliosis correction procedures. While typically quite invasive, the impact of these operations may be reduced through the use of computer-assisted surgery. A combination of physician-designated anatomical landmarks and surgical ontologies allows for real-time intraoperative guidance during computer-assisted surgical interventions. Predetermined landmarks are labeled on an identical patient model, which seeks to encompass vertebrae, intervertebral disks, ligaments, and other soft tissues. The inclusion of this anatomy permits the consideration of hypothetical forces that are previously not well characterized in a patient-specific manner. Updated ontologies then suggest procedural directions throughout the surgical corridor, observing the positioning of both the physician and the anatomical landmarks of interest at the present moment. Merging patient-specific models, physician-designated landmarks, and ontologies to produce real-time recommendations magnifies the successful outcome of scoliosis correction through enhanced pre-surgical planning, reduced invasiveness, and shorted recovery time

De la neurochirurgie guidée par l'image,<br />au processus neurochirurgical assisté par la connaissance et l'information

La totalité des services français de neurochirurgie est aujourd'hui équipée de systèmes de neuronavigation. Ces systèmes de chirurgie guidée par l'image permettent le lien direct entre le patient, en salle d'opération, et ses images pré opératoires ; c'est-à-dire que le neurochirurgien, en salle d'opération et à tout instant, connaît, à partir d'un point désigné sur le patient par un outil, le point correspondant dans ses images d'IRM ou de Scanner X. Ceci est possible grâce à des localisateurs tridimensionnels et des logiciels de recalage d'images. Les bénéfices de tels systèmes pour le patient ont déjà été montrés. Ils rendent notamment la chirurgie plus sûre et moins invasive.Il est important de considérer le concept de chirurgie guidée par l'image comme un processus qui ne se réduit pas à la seule étape de réalisation du geste chirurgical. Depuis près d'une dizaine d'années, il existe un consensus sur l'importance de l'étape de préparation pour anticiper la réalisation du geste. Ce processus peut aussi inclure des étapes de choix de la stratégie chirurgicale, de simulation ou de répétition du geste et de suivi post opératoire du patient. Chaque étape de ce processus se fonde sur des observations liées au patient, comme ses images pré opératoires, sur des connaissances génériques explicites, comme des livres ou des atlas numériques d'anatomie, et sur des connaissances implicites résultant de l'expérience du chirurgien. Malgré cela, dans les systèmes actuels de chirurgie guidée par l'image, la seule information explicite utilisée est, le plus souvent, réduite à une simple imagerie anatomique. Alors que si l'on introduisait dans ces systèmes les images multimodales du patient, on prendrait mieux en compte la complexité anatomique, physiologique et métabolique des structures cérébrales. Sans compter que dans ces systèmes, la préparation de la procédure chirurgicale se réduit principalement à la définition de la cible et d'une trajectoire d'accès rectiligne. Si l'on considérait la procédure comme une succession d'étapes et d'actions, on permettrait au neurochirurgien de mieux préparer et, donc, de mieux réaliser son geste. Son savoir-faire implicite pourrait être explicité. Enfin, ces systèmes ne tiennent pas compte des déformations anatomiques intra opératoires dues, notamment, au geste chirurgical. Ainsi, les images pré opératoires du patient deviennent rapidement obsolètes et ne correspondent plus à la réalité anatomique du patient.Il existe donc un fossé entre la chirurgie telle qu'elle est vue par ces systèmes et la réalité chirurgicale. C'est ce fossé que je cherche à combler.Mes travaux de recherche se situent dans le domaine du génie biologique et médical. Ils incluent des aspects liés au traitement d'images et à l'informatique médicale. Le domaine d'application est la neurochirurgie. Les méthodes mises en oeuvre dans les travaux que je présenterai s'appuient sur un concept de coopération entre observations et connaissances. Ainsi, sur l'aspect observations, je présenterai l'introduction d'images multimodales du patient, dans le processus chirurgical, qu'elles soient pré ou intra opératoires. Sur l'aspect connaissances, je présenterai une démarche qui permet de formaliser certaines connaissances relatives à la neurochirurgie.La méthodologie de recherche que j'ai utilisée suit une approche itérative, où l'application clinique est centrale. A partir des connaissances médicales, les spécifications d'un nouveau projet sont définies. Ces spécifications entraînent le développement de nouvelles méthodes et leur implémentation par le biais d'un prototype d'application. Ce prototype permet, grâce àune utilisation pré clinique, d'évaluer ces méthodes. Cette implémentation et cette phase d'utilisation autorisent aussi un retour vers la méthode, pour vérifier la pertinence des choix réalisés et pour contribuer à son amélioration. Enfin, cette boucle permet une validation des connaissances initiales et un possible enrichissement de celles-ci. Les objectifs de mes recherches sont donc, à la fois, l'élaboration de nouveaux systèmes d'intérêt thérapeutique et la génération de nouvelles connaissances chirurgicales.Ce document aborde trois domaines principaux : la neurochirurgie guidée par l'image, la neurochirurgie guidée par l'information et la validation des outils de traitement d'images médicales en chirurgie guidée par l'image. Pour chacun de ces domaines, je présenterai le contexte et l'état de l'art, les contributions personnelles apportées au domaine et ses perspectives d'évolution.Dans le premier chapitre, je présenterai comment l'imagerie médicale peut assister la chirurgie. Pour cela, j'introduirai les méthodes de traitement d'images, plus particulièrement le recalage et la fusion d'images médicales. Ces dernières sont incontournables en neurochirurgie guidée par l'image, le principe même de ce type de chirurgie étant cette mise en correspondance géométrique entre repère des images et repère du patient. Puis, je présenterai le principe du processus chirurgical assisté par l'image, en décrivant les différentes étapes mises en jeu dans un tel processus. Je présenterai mes contributions : 1) l'introduction du concept de neuronavigation multimodale et multi informationnelle, et 2) l'introduction du concept de virtualité augmentée, en complément aux approches de réalité augmentée.Dans le deuxième chapitre, je présenterai le concept récent de chirurgie guidée par l'information, qui s'appuie sur une formalisation du processus chirurgical et des connaissances associées. Nous verrons que ce processus peut être étudié selon différents angles, chaque angle d'étude correspondant à un objectif applicatif précis. Je présenterai une méthodologie complète permettant supervision et apprentissage par : 1) la prise en compte, dans le processus de chirurgie guidée par l'image multimodale, de certaines connaissances implicites du chirurgien, notamment liées à son expertise chirurgicale, en les rendant explicites, et 2) la génération de connaissances sur la chirurgie.Les deux premiers chapitres démontrent comment il peut être intéressant de faire coopérer images et connaissances. Dans le troisième chapitre, nous proposerons d'appliquer ce concept de coopération entre observations et connaissances au contexte des déformations anatomiques intra opératoires. Nous montrerons la complexité de ce phénomène, et de ses causes, et les limites des méthodes présentées dans la littérature. Nous décrirons succinctement comment ce concept pourra être appliqué dans le cadre d'un projet de recherche qui débute.Dans le quatrième chapitre, j'insisterai sur l'importance de la validation des outils de traitement d'images en chirurgie guidée par l'image. J'introduirai la terminologie et la méthodologie liées à la validation principalement technique des outils de traitement d'images, en soulignant le besoin de standardisation. Je présenterai mes contributions au domaine : la définition d'une méthodologie standardisée pour la validation des méthodes de recalage d'images médicales, basée sur la comparaison avec une référence.Je terminerai, dans le cinquième chapitre, par une ébauche de description des évolutions à court et à long terme de la chirurgie, s'inspirant des réflexions et résultats des chapitres précédents

Interfaces for Modular Surgical Planning and Assistance Systems

Modern surgery of the 21st century relies in many aspects on computers or, in a wider sense, digital data processing. Department administration, OR scheduling, billing, and - with increasing pervasion - patient data management are performed with the aid of so called Surgical Information Systems (SIS) or, more general, Hospital Information Systems (HIS). Computer Assisted Surgery (CAS) summarizes techniques which assist a surgeon in the preparation and conduction of surgical interventions. Today still predominantly based on radiology images, these techniques include the preoperative determination of an optimal surgical strategy and intraoperative systems which aim at increasing the accuracy of surgical manipulations. CAS is a relatively young field of computer science. One of the unsolved "teething troubles" of CAS is the absence of technical standards for the interconnectivity of CAS system. Current CAS systems are usually "islands of information" with no connection to other devices within the operating room or hospital-wide information systems. Several workshop reports and individual publications point out that this situation leads to ergonomic, logistic, and economic limitations in hospital work. Perioperative processes are prolonged by the manual installation and configuration of an increasing amount of technical devices. Intraoperatively, a large amount of the surgeons'' attention is absorbed by the requirement to monitor and operate systems. The need for open infrastructures which enable the integration of CAS devices from different vendors in order to exchange information as well as commands among these devices through a network has been identified by numerous experts with backgrounds in medicine as well as engineering. This thesis contains two approaches to the integration of CAS systems: - For perioperative data exchange, the specification of new data structures as an amendment to the existing DICOM standard for radiology image management is presented. The extension of DICOM towards surgical application allows for the seamless integration of surgical planning and reporting systems into DICOM-based Picture Archiving and Communication Systems (PACS) as they are installed in most hospitals for the exchange and long-term archival of patient images and image-related patient data. - For the integration of intraoperatively used CAS devices, such as, e.g., navigation systems, video image sources, or biosensors, the concept of a surgical middleware is presented. A c++ class library, the TiCoLi, is presented which facilitates the configuration of ad-hoc networks among the modules of a distributed CAS system as well as the exchange of data streams, singular data objects, and commands between these modules. The TiCoLi is the first software library for a surgical field of application to implement all of these services. To demonstrate the suitability of the presented specifications and their implementation, two modular CAS applications are presented which utilize the proposed DICOM extensions for perioperative exchange of surgical planning data as well as the TiCoLi for establishing an intraoperative network of autonomous, yet not independent, CAS modules.Die moderne Hochleistungschirurgie des 21. Jahrhunderts ist auf vielerlei Weise abhängig von Computern oder, im weiteren Sinne, der digitalen Datenverarbeitung. Administrative Abläufe, wie die Erstellung von Nutzungsplänen für die verfügbaren technischen, räumlichen und personellen Ressourcen, die Rechnungsstellung und - in zunehmendem Maße - die Verwaltung und Archivierung von Patientendaten werden mit Hilfe von digitalen Informationssystemen rationell und effizient durchgeführt. Innerhalb der Krankenhausinformationssysteme (KIS, oder englisch HIS) stehen für die speziellen Bedürfnisse der einzelnen Fachabteilungen oft spezifische Informationssysteme zur Verfügung. Chirurgieinformationssysteme (CIS, oder englisch SIS) decken hierbei vor allen Dingen die Bereiche Operationsplanung sowie Materialwirtschaft für spezifisch chirurgische Verbrauchsmaterialien ab. Während die genannten HIS und SIS vornehmlich der Optimierung administrativer Aufgaben dienen, stehen die Systeme der Computerassistierten Chirugie (CAS) wesentlich direkter im Dienste der eigentlichen chirugischen Behandlungsplanung und Therapie. Die CAS verwendet Methoden der Robotik, digitalen Bild- und Signalverarbeitung, künstlichen Intelligenz, numerischen Simulation, um nur einige zu nennen, zur patientenspezifischen Behandlungsplanung und zur intraoperativen Unterstützung des OP-Teams, allen voran des Chirurgen. Vor allen Dingen Fortschritte in der räumlichen Verfolgung von Werkzeugen und Patienten ("Tracking"), die Verfügbarkeit dreidimensionaler radiologischer Aufnahmen (CT, MRT, ...) und der Einsatz verschiedener Robotersysteme haben in den vergangenen Jahrzehnten den Einzug des Computers in den Operationssaal - medienwirksam - ermöglicht. Weniger prominent, jedoch keinesfalls von untergeordnetem praktischen Nutzen, sind Beispiele zur automatisierten Überwachung klinischer Messwerte, wie etwa Blutdruck oder Sauerstoffsättigung. Im Gegensatz zu den meist hochgradig verteilten und gut miteinander verwobenen Informationssystemen für die Krankenhausadministration und Patientendatenverwaltung, sind die Systeme der CAS heutzutage meist wenig oder überhaupt nicht miteinander und mit Hintergrundsdatenspeichern vernetzt. Eine Reihe wissenschaftlicher Publikationen und interdisziplinärer Workshops hat sich in den vergangen ein bis zwei Jahrzehnten mit den Problemen des Alltagseinsatzes von CAS Systemen befasst. Mit steigender Intensität wurde hierbei auf den Mangel an infrastrukturiellen Grundlagen für die Vernetzung intraoperativ eingesetzter CAS Systeme miteinander und mit den perioperativ eingesetzten Planungs-, Dokumentations- und Archivierungssystemen hingewiesen. Die sich daraus ergebenden negativen Einflüsse auf die Effizienz perioperativer Abläufe - jedes Gerät muss manuell in Betrieb genommen und mit den spezifischen Daten des nächsten Patienten gefüttert werden - sowie die zunehmende Aufmerksamkeit, welche der Operateur und sein Team auf die Überwachung und dem Betrieb der einzelnen Geräte verwenden muss, werden als eine der "Kinderkrankheiten" dieser relativ jungen Technologie betrachtet und stehen einer Verbreitung über die Grenzen einer engagierten technophilen Nutzergruppe hinaus im Wege. Die vorliegende Arbeit zeigt zwei parallel von einander (jedoch, im Sinne der Schnittstellenkompatibilität, nicht gänzlich unabhängig voneinander) zu betreibende Ansätze zur Integration von CAS Systemen. - Für den perioperativen Datenaustausch wird die Spezifikation zusätzlicher Datenstrukturen zum Transfer chirurgischer Planungsdaten im Rahmen des in radiologischen Bildverarbeitungssystemen weit verbreiteten DICOM Standards vorgeschlagen und an zwei Beispielen vorgeführt. Die Erweiterung des DICOM Standards für den perioperativen Einsatz ermöglicht hierbei die nahtlose Integration chirurgischer Planungssysteme in existierende "Picture Archiving and Communication Systems" (PACS), welche in den meisten Fällen auf dem DICOM Standard basieren oder zumindest damit kompatibel sind. Dadurch ist einerseits der Tatsache Rechnung getragen, dass die patientenspezifische OP-Planung in hohem Masse auf radiologischen Bildern basiert und andererseits sicher gestellt, dass die Planungsergebnisse entsprechend der geltenden Bestimmungen langfristig archiviert und gegen unbefugten Zugriff geschützt sind - PACS Server liefern hier bereits wohlerprobte Lösungen. - Für die integration intraoperativer CAS Systeme, wie etwa Navigationssysteme, Videobildquellen oder Sensoren zur Überwachung der Vitalparameter, wird das Konzept einer "chirurgischen Middleware" vorgestellt. Unter dem Namen TiCoLi wurde eine c++ Klassenbibliothek entwickelt, auf deren Grundlage die Konfiguration von ad-hoc Netzwerken während der OP-Vorbereitung mittels plug-and-play Mechanismen erleichtert wird. Nach erfolgter Konfiguration ermöglicht die TiCoLi den Austausch kontinuierlicher Datenströme sowie einzelner Datenpakete und Kommandos zwischen den Modulen einer verteilten CAS Anwendung durch ein Ethernet-basiertes Netzwerk. Die TiCoLi ist die erste frei verfügbare Klassenbibliothek welche diese Funktionalitäten dediziert für einen Einsatz im chirurgischen Umfeld vereinigt. Zum Nachweis der Tauglichkeit der gezeigten Spezifikationen und deren Implementierungen, werden zwei modulare CAS Anwendungen präsentiert, welche die vorgeschlagenen DICOM Erweiterungen zum perioperativen Austausch von Planungsergebnissen sowie die TiCoLi zum intraoperativen Datenaustausch von Messdaten unter echzeitnahen Anforderungen verwenden