Simulateur collaboratif de chirurgie d'instrumentation du rachis scoliotique en réalité virtuelle avec interface haptique logicielle

RÉSUMÉ La scoliose est une déformation tridimensionnelle de la colonne vertébrale qui nécessite, dans les cas graves, une intervention chirurgicale invasive et très délicate visant à redresser la colonne. Les outils disponibles pour l’entraînement des médecins, tels que les cadavres et les rachis synthétiques, présentent des inconvénients majeurs : les jeunes cadavres disponibles atteints de scoliose se font rares; le réalisme du comportement biomécanique est questionnable; ces deux types d’outils ne peuvent être réutilisés; ils ne représentent pas toute la variété des cas scoliotiques. Les technologies de la réalité virtuelle et les simulations numériques peuvent offrir des solutions pour contourner ces inconvénients. Afin d’aborder cette problématique, l’objectif général de la recherche a consisté à élaborer un prototype logiciel de simulateur collaboratif de chirurgie d’instrumentation du rachis scoliotique en réalité virtuelle incluant un retour d’effort logiciel pour les manoeuvres correctrices principales de la chirurgie, offrant ainsi un outil d’entraînement et d’apprentissage alternatif aux outils traditionnels. Ce projet est entré dans la continuité des travaux de recherche d’étudiants et d’associés de recherche de la Chaire de recherche industrielle CRSNG/Medtronic en biomécanique de la colonne vertébrale, et s’est distingué principalement par la mise en place de l’aspect collaboratif pour un contexte d’entraînement réaliste avec des participants distants, ainsi que le développement et l’évaluation d’une interface haptique logicielle. La revue bibliographique a suggéré que la chirurgie orthopédique ne semble pas encore bénéficier du potentiel offert par la réalité virtuelle et les interfaces haptiques quant à la simulation et à l’entraînement virtuel autant que d’autres types de chirurgies. La plupart des chirurgies pour lesquelles des simulateurs ont été développés impliquent des organes démontrant une certaine compliance, un espace de travail relativement restreint et des forces de faibles amplitudes, pouvant être simulées à l’aide de systèmes haptiques commerciaux génériques. Au contraire, la chirurgie d’instrumentation du rachis scoliotique nécessite l’application d’efforts de grande amplitude pour des mouvements relativement lents à peu de degrés de liberté, requérant un système haptique spécifique. De plus, les modèles physiques, bien que plus complexes et lourds en termes de temps de calculs que les modèles géométriques, sont nécessaires à l’obtention d’une expérience haptique réaliste. À la lumière de ces observations, nous avons émis deux hypothèses de recherche. La première hypothèse supposait que les principales manoeuvres correctrices effectuées lors d’une chirurgie d’instrumentation du rachis scoliotique peuvent être modélisées et simulées en réalité virtuelle immersive à l’aide d’une interface haptique logicielle et d’un modèle biomécanique personnalisé à ±15 % des valeurs d’efforts réelles telles que perçues par des chirurgiens experts. La seconde hypothèse supposait qu’une boucle de rendu haptique multifréquence, basée sur un algorithme de prédiction / correction, permettra d’atteindre la fréquence minimale requise (1000 Hz) pour un retour d’effort fonctionnel dans un contexte d’entraînement réaliste.---------ABSTRACT Scoliosis is a three-dimensional deformation of the spine requiring, in severe cases, a highly delicate and invasive surgical operation to correct the spinal deformities. Available tools for surgical training, such as cadavers and synthetic spines, have major drawbacks: limited availability of young cadaveric spines with scoliosis; questionable behaviour realism; destruction after first use; limited variability in scoliotic cases for training. Virtual reality technologies and computer simulations can offer solutions to these drawbacks. To address this problem, the general objective of this research consisted in elaborating the software prototype of a collaborative virtual reality scoliosis instrumentation surgery simulator, including force feedback for the main corrective surgical manoeuvres, as an alternative training and learning tool. This project has been a continuation of previous work from graduate students and research associates of the NSERC/Medtronic Industrial Research Chair in Spine Biomechanics, and focused on setting up and testing the collaborative aspect for a realistic training context with remote participants, as well as developing and evaluating a software haptic interface. The literature review suggested that orthopaedic surgery does not seem to benefit from virtual reality technologies and haptic interfaces regarding simulation and virtual training as much as other types of surgeries. Most surgeries for which simulators have been developed involve organs with a certain compliance, a relatively confined workspace and “delicate” forces, and can be simulated with generic commercial haptic devices. On the contrary, scoliosis instrumentation surgery involves the application of high forces through moderately slow and of few degrees of freedom movements, requiring a haptic device specific to scoliosis surgery. Also, physical models, although more complex and computationally expensive than geometric models, are necessary for a realistic haptic experience. In light of these observations, we stated two hypotheses. The first hypothesis was that the main corrective manoeuvres of scoliosis instrumentation surgery can be modeled and simulated in immersive virtual reality with a software haptic interface and a patient-specific biomechanical model at ±15 % of the actual force values as perceived by expert surgeons. The second hypothesis was that a multirate haptic rendering loop, based on a prediction / correction algorithm, will achieve the minimal required update rate (1000 Hz) for a functional force feedback in a realistic training context

Gesture Interaction at a Distance

The aim of this work is to explore, from a perspective of human behavior, which\ud gestures are suited to control large display surfaces from a short distance away; why that is so; and, equally important, how such an interface can be made a reality. A well-known example of the type of interface that is the focus in this thesis is portrayed in the science fiction movie ‘Minority Report’. The lead character of this movie uses hand gestures such as pointing, picking-up and throwing-away to interact with a wall-sized display in a believable way. Believable, because the gestures are familiar from everyday life and because the interface responds predictably. Although only fictional in this movie, such gesture-based interfaces can, when realized, be applied in any environment that is equipped with large display surfaces. For example, in a laboratory for analyzing and interpreting large data sets; in interactive shopping windows to casually browse a product list; and in the operating room to easily access a patient’s MRI scans. The common denominator is that the user cannot or may not touch the display: the interaction occurs at arms-length and larger distances