Application of Augmented Reality to Visualizing Anatomical Airways

Visualizing information in three dimensions provides an increased understanding of the data presented. Furthermore, the ability to manipulate or interact with data visualized in three dimensions is superior. Within the medical community, augmented reality is being used for interactive, three-dimensional (3D) visualization. This type of visualization, which enhances the real world with computer generated information, requires a display device, a computer to generate the 3D data, and a system to track the user. In addition to these requirements, however, the hardware must be properly integrated to insure correct visualization. To this end, we present components of an integrated augmented reality system consisting of a novel head-mounted projective display, a Linux-based PC, and a commercially available optical tracking system. We demonstrate the system with the visualization of anatomical airways superimposed on a human patient simulator

Reconstructing while registering: a novel approach for markerless augmented reality

Colloque avec actes et comité de lecture. internationale.International audienceThis paper addresses the registration problem for unprepared multi-planar scenes. An interactive process is proposed to get accurate results using nothing else than the texture information of the planes. In particular, the classical preparation steps (camera calibration, scene acquisition) are greatly simplified, since included in the on-line registration process. Some results are shown on indoor and outdoor scenes. Videos available at url : http://www.loria.fr/~gsimon/Ismar

Image-Guided Robotic Dental Implantation With Natural-Root-Formed Implants

Dental implantation is now recognized as the standard of the care for tooth replacement. Although many studies show high short term survival rates greater than 95%, long term studies (\u3e 5 years) have shown success rates as low as 41.9%. Reasons affecting the long term success rates might include surgical factors such as limited accuracy of implant placement, lack of spacing controls, and overheating during the placement. In this dissertation, a comprehensive solution for improving the outcome of current dental implantation is presented, which includes computer-aided preoperative planning for better visualization of patient-specific information and automated robotic site-preparation for superior placement and orientation accuracy. Surgical planning is generated using patient-specific three-dimensional (3D) models which are reconstructed from Cone-beam CT images. An innovative image-guided robotic site-preparation system for implants insertion is designed and implemented. The preoperative plan of the implant insertion is transferred into intra-operative operations of the robot using a two-step registration procedure with the help of a Coordinate Measurement Machine (CMM). The natural-root implants mimic the root structure of natural teeth and were proved by Finite Element Method (FEM) to provide superior stress distribution than current cylinder-shape implants. However, due to their complicated geometry, manual site-preparation for these implants cannot be accomplished. Our innovative image-guided robotic implantation system provides the possibility of using this advanced type of implant. Phantom experiments with patient-specific jaw models were performed to evaluate the accuracy of positioning and orientation. Fiducial Registration Error (FRE) values less than 0.20 mm and final Target Registration Error (TRE) values after the two-step registration of 0.36±0.13 mm (N=5) were achieved. Orientation error was 1.99±1.27° (N=14). Robotic milling of the natural-root implant shape with single- and double-root was also tested, and the results proved that their complicated volumes can be removed as designed by the robot. The milling time for single- and double-root shape was 177 s and 1522 s, respectively

Augmented Reality and Health Informatics: A Study based on Bibliometric and Content Analysis of Scholarly Communication and Social Media

Healthcare outcomes have been shown to improve when technology is used as part of patient care. Health Informatics (HI) is a multidisciplinary study of the design, development, adoption, and application of IT-based innovations in healthcare services delivery, management, and planning. Augmented Reality (AR) is an emerging technology that enhances the user’s perception and interaction with the real world. This study aims to illuminate the intersection of the field of AR and HI. The domains of AR and HI by themselves are areas of significant research. However, there is a scarcity of research on augmented reality as it applies to health informatics. Given both scholarly research and social media communication having contributed to the domains of AR and HI, research methodologies of bibliometric and content analysis on scholarly research and social media communication were employed to investigate the salient features and research fronts of the field. The study used Scopus data (7360 scholarly publications) to identify the bibliometric features and to perform content analysis of the identified research. The Altmetric database (an aggregator of data sources) was used to determine the social media communication for this field. The findings from this study included Publication Volumes, Top Authors, Affiliations, Subject Areas and Geographical Locations from scholarly publications as well as from a social media perspective. The highest cited 200 documents were used to determine the research fronts in scholarly publications. Content Analysis techniques were employed on the publication abstracts as a secondary technique to determine the research themes of the field. The study found the research frontiers in the scholarly communication included emerging AR technologies such as tracking and computer vision along with Surgical and Learning applications. There was a commonality between social media and scholarly communication themes from an applications perspective. In addition, social media themes included applications of AR in Healthcare Delivery, Clinical Studies and Mental Disorders. Europe as a geographic region dominates the research field with 50% of the articles and North America and Asia tie for second with 20% each. Publication volumes show a steep upward slope indicating continued research. Social Media communication is still in its infancy in terms of data extraction, however aggregators like Altmetric are helping to enhance the outcomes. The findings from the study revealed that the frontier research in AR has made an impact in the surgical and learning applications of HI and has the potential for other applications as new technologies are adopted

Simulateur collaboratif de chirurgie d'instrumentation du rachis scoliotique en réalité virtuelle avec interface haptique logicielle

RÉSUMÉ La scoliose est une déformation tridimensionnelle de la colonne vertébrale qui nécessite, dans les cas graves, une intervention chirurgicale invasive et très délicate visant à redresser la colonne. Les outils disponibles pour l’entraînement des médecins, tels que les cadavres et les rachis synthétiques, présentent des inconvénients majeurs : les jeunes cadavres disponibles atteints de scoliose se font rares; le réalisme du comportement biomécanique est questionnable; ces deux types d’outils ne peuvent être réutilisés; ils ne représentent pas toute la variété des cas scoliotiques. Les technologies de la réalité virtuelle et les simulations numériques peuvent offrir des solutions pour contourner ces inconvénients. Afin d’aborder cette problématique, l’objectif général de la recherche a consisté à élaborer un prototype logiciel de simulateur collaboratif de chirurgie d’instrumentation du rachis scoliotique en réalité virtuelle incluant un retour d’effort logiciel pour les manoeuvres correctrices principales de la chirurgie, offrant ainsi un outil d’entraînement et d’apprentissage alternatif aux outils traditionnels. Ce projet est entré dans la continuité des travaux de recherche d’étudiants et d’associés de recherche de la Chaire de recherche industrielle CRSNG/Medtronic en biomécanique de la colonne vertébrale, et s’est distingué principalement par la mise en place de l’aspect collaboratif pour un contexte d’entraînement réaliste avec des participants distants, ainsi que le développement et l’évaluation d’une interface haptique logicielle. La revue bibliographique a suggéré que la chirurgie orthopédique ne semble pas encore bénéficier du potentiel offert par la réalité virtuelle et les interfaces haptiques quant à la simulation et à l’entraînement virtuel autant que d’autres types de chirurgies. La plupart des chirurgies pour lesquelles des simulateurs ont été développés impliquent des organes démontrant une certaine compliance, un espace de travail relativement restreint et des forces de faibles amplitudes, pouvant être simulées à l’aide de systèmes haptiques commerciaux génériques. Au contraire, la chirurgie d’instrumentation du rachis scoliotique nécessite l’application d’efforts de grande amplitude pour des mouvements relativement lents à peu de degrés de liberté, requérant un système haptique spécifique. De plus, les modèles physiques, bien que plus complexes et lourds en termes de temps de calculs que les modèles géométriques, sont nécessaires à l’obtention d’une expérience haptique réaliste. À la lumière de ces observations, nous avons émis deux hypothèses de recherche. La première hypothèse supposait que les principales manoeuvres correctrices effectuées lors d’une chirurgie d’instrumentation du rachis scoliotique peuvent être modélisées et simulées en réalité virtuelle immersive à l’aide d’une interface haptique logicielle et d’un modèle biomécanique personnalisé à ±15 % des valeurs d’efforts réelles telles que perçues par des chirurgiens experts. La seconde hypothèse supposait qu’une boucle de rendu haptique multifréquence, basée sur un algorithme de prédiction / correction, permettra d’atteindre la fréquence minimale requise (1000 Hz) pour un retour d’effort fonctionnel dans un contexte d’entraînement réaliste.---------ABSTRACT Scoliosis is a three-dimensional deformation of the spine requiring, in severe cases, a highly delicate and invasive surgical operation to correct the spinal deformities. Available tools for surgical training, such as cadavers and synthetic spines, have major drawbacks: limited availability of young cadaveric spines with scoliosis; questionable behaviour realism; destruction after first use; limited variability in scoliotic cases for training. Virtual reality technologies and computer simulations can offer solutions to these drawbacks. To address this problem, the general objective of this research consisted in elaborating the software prototype of a collaborative virtual reality scoliosis instrumentation surgery simulator, including force feedback for the main corrective surgical manoeuvres, as an alternative training and learning tool. This project has been a continuation of previous work from graduate students and research associates of the NSERC/Medtronic Industrial Research Chair in Spine Biomechanics, and focused on setting up and testing the collaborative aspect for a realistic training context with remote participants, as well as developing and evaluating a software haptic interface. The literature review suggested that orthopaedic surgery does not seem to benefit from virtual reality technologies and haptic interfaces regarding simulation and virtual training as much as other types of surgeries. Most surgeries for which simulators have been developed involve organs with a certain compliance, a relatively confined workspace and “delicate” forces, and can be simulated with generic commercial haptic devices. On the contrary, scoliosis instrumentation surgery involves the application of high forces through moderately slow and of few degrees of freedom movements, requiring a haptic device specific to scoliosis surgery. Also, physical models, although more complex and computationally expensive than geometric models, are necessary for a realistic haptic experience. In light of these observations, we stated two hypotheses. The first hypothesis was that the main corrective manoeuvres of scoliosis instrumentation surgery can be modeled and simulated in immersive virtual reality with a software haptic interface and a patient-specific biomechanical model at ±15 % of the actual force values as perceived by expert surgeons. The second hypothesis was that a multirate haptic rendering loop, based on a prediction / correction algorithm, will achieve the minimal required update rate (1000 Hz) for a functional force feedback in a realistic training context

De la neurochirurgie guidée par l'image,<br />au processus neurochirurgical assisté par la connaissance et l'information

La totalité des services français de neurochirurgie est aujourd'hui équipée de systèmes de neuronavigation. Ces systèmes de chirurgie guidée par l'image permettent le lien direct entre le patient, en salle d'opération, et ses images pré opératoires ; c'est-à-dire que le neurochirurgien, en salle d'opération et à tout instant, connaît, à partir d'un point désigné sur le patient par un outil, le point correspondant dans ses images d'IRM ou de Scanner X. Ceci est possible grâce à des localisateurs tridimensionnels et des logiciels de recalage d'images. Les bénéfices de tels systèmes pour le patient ont déjà été montrés. Ils rendent notamment la chirurgie plus sûre et moins invasive.Il est important de considérer le concept de chirurgie guidée par l'image comme un processus qui ne se réduit pas à la seule étape de réalisation du geste chirurgical. Depuis près d'une dizaine d'années, il existe un consensus sur l'importance de l'étape de préparation pour anticiper la réalisation du geste. Ce processus peut aussi inclure des étapes de choix de la stratégie chirurgicale, de simulation ou de répétition du geste et de suivi post opératoire du patient. Chaque étape de ce processus se fonde sur des observations liées au patient, comme ses images pré opératoires, sur des connaissances génériques explicites, comme des livres ou des atlas numériques d'anatomie, et sur des connaissances implicites résultant de l'expérience du chirurgien. Malgré cela, dans les systèmes actuels de chirurgie guidée par l'image, la seule information explicite utilisée est, le plus souvent, réduite à une simple imagerie anatomique. Alors que si l'on introduisait dans ces systèmes les images multimodales du patient, on prendrait mieux en compte la complexité anatomique, physiologique et métabolique des structures cérébrales. Sans compter que dans ces systèmes, la préparation de la procédure chirurgicale se réduit principalement à la définition de la cible et d'une trajectoire d'accès rectiligne. Si l'on considérait la procédure comme une succession d'étapes et d'actions, on permettrait au neurochirurgien de mieux préparer et, donc, de mieux réaliser son geste. Son savoir-faire implicite pourrait être explicité. Enfin, ces systèmes ne tiennent pas compte des déformations anatomiques intra opératoires dues, notamment, au geste chirurgical. Ainsi, les images pré opératoires du patient deviennent rapidement obsolètes et ne correspondent plus à la réalité anatomique du patient.Il existe donc un fossé entre la chirurgie telle qu'elle est vue par ces systèmes et la réalité chirurgicale. C'est ce fossé que je cherche à combler.Mes travaux de recherche se situent dans le domaine du génie biologique et médical. Ils incluent des aspects liés au traitement d'images et à l'informatique médicale. Le domaine d'application est la neurochirurgie. Les méthodes mises en oeuvre dans les travaux que je présenterai s'appuient sur un concept de coopération entre observations et connaissances. Ainsi, sur l'aspect observations, je présenterai l'introduction d'images multimodales du patient, dans le processus chirurgical, qu'elles soient pré ou intra opératoires. Sur l'aspect connaissances, je présenterai une démarche qui permet de formaliser certaines connaissances relatives à la neurochirurgie.La méthodologie de recherche que j'ai utilisée suit une approche itérative, où l'application clinique est centrale. A partir des connaissances médicales, les spécifications d'un nouveau projet sont définies. Ces spécifications entraînent le développement de nouvelles méthodes et leur implémentation par le biais d'un prototype d'application. Ce prototype permet, grâce àune utilisation pré clinique, d'évaluer ces méthodes. Cette implémentation et cette phase d'utilisation autorisent aussi un retour vers la méthode, pour vérifier la pertinence des choix réalisés et pour contribuer à son amélioration. Enfin, cette boucle permet une validation des connaissances initiales et un possible enrichissement de celles-ci. Les objectifs de mes recherches sont donc, à la fois, l'élaboration de nouveaux systèmes d'intérêt thérapeutique et la génération de nouvelles connaissances chirurgicales.Ce document aborde trois domaines principaux : la neurochirurgie guidée par l'image, la neurochirurgie guidée par l'information et la validation des outils de traitement d'images médicales en chirurgie guidée par l'image. Pour chacun de ces domaines, je présenterai le contexte et l'état de l'art, les contributions personnelles apportées au domaine et ses perspectives d'évolution.Dans le premier chapitre, je présenterai comment l'imagerie médicale peut assister la chirurgie. Pour cela, j'introduirai les méthodes de traitement d'images, plus particulièrement le recalage et la fusion d'images médicales. Ces dernières sont incontournables en neurochirurgie guidée par l'image, le principe même de ce type de chirurgie étant cette mise en correspondance géométrique entre repère des images et repère du patient. Puis, je présenterai le principe du processus chirurgical assisté par l'image, en décrivant les différentes étapes mises en jeu dans un tel processus. Je présenterai mes contributions : 1) l'introduction du concept de neuronavigation multimodale et multi informationnelle, et 2) l'introduction du concept de virtualité augmentée, en complément aux approches de réalité augmentée.Dans le deuxième chapitre, je présenterai le concept récent de chirurgie guidée par l'information, qui s'appuie sur une formalisation du processus chirurgical et des connaissances associées. Nous verrons que ce processus peut être étudié selon différents angles, chaque angle d'étude correspondant à un objectif applicatif précis. Je présenterai une méthodologie complète permettant supervision et apprentissage par : 1) la prise en compte, dans le processus de chirurgie guidée par l'image multimodale, de certaines connaissances implicites du chirurgien, notamment liées à son expertise chirurgicale, en les rendant explicites, et 2) la génération de connaissances sur la chirurgie.Les deux premiers chapitres démontrent comment il peut être intéressant de faire coopérer images et connaissances. Dans le troisième chapitre, nous proposerons d'appliquer ce concept de coopération entre observations et connaissances au contexte des déformations anatomiques intra opératoires. Nous montrerons la complexité de ce phénomène, et de ses causes, et les limites des méthodes présentées dans la littérature. Nous décrirons succinctement comment ce concept pourra être appliqué dans le cadre d'un projet de recherche qui débute.Dans le quatrième chapitre, j'insisterai sur l'importance de la validation des outils de traitement d'images en chirurgie guidée par l'image. J'introduirai la terminologie et la méthodologie liées à la validation principalement technique des outils de traitement d'images, en soulignant le besoin de standardisation. Je présenterai mes contributions au domaine : la définition d'une méthodologie standardisée pour la validation des méthodes de recalage d'images médicales, basée sur la comparaison avec une référence.Je terminerai, dans le cinquième chapitre, par une ébauche de description des évolutions à court et à long terme de la chirurgie, s'inspirant des réflexions et résultats des chapitres précédents