Plataformas de realidad aumentada y realidad virtual para la formación y la práctica médica

Tesis por compendio de publicaciones[ES] En esta tesis se ha investigado la aplicación de las tecnologías de Realidad Aumentada y Realidad Virtual en medicina, tanto a nivel formativo como para la práctica médica. Nos centramos en la implementación de diferentes sistemas software, además de incluir estudios de sistemas existentes, análisis de los resultados obtenidos y evaluación de estos. La Realidad Aumentada y la Realidad virtual tienen una gran capacidad de aplicación en muchos ámbitos, pero esta tesis se centra en su aplicación en el campo de la medicina a través del diseño, implementación y estudio de diferentes aplicaciones con estas tecnologías aplicadas al ámbito de la formación médica y la práctica clínica, en este último caso concretamente orientándose a la visualización médica avanzada de imágenes radiológicas. Se analizará cómo la grabación y visualización de forma interactiva de contenidos 360 puede mejorar considerablemente el aprendizaje de los alumnos. Se han implementado diferentes simuladores de Realidad Virtual con el objetivo de analizar cómo pueden mejorar la formación práctica de los estudiantes de medicina. También se ha diseñado un sistema para realizar una formación a distancia empleando la Realidad Virtual, lo cual hoy en día resulta de gran interés, teniendo en cuenta cómo la pandemia causada por la enfermedad COVID-19 está cambiando los procedimientos formativos. Otro de los objetivos ha sido el diseño y estudio de una aplicación de Realidad Aumentada para formación médica en anatomía humana. Finalmente, se analiza el proyecto que más tiempo ha ocupado en la elaboración de esta tesis: Nextmed. Se trata de un proyecto de implementación propia en colaboración cuyo objetivo principal es cambiar el modo en que los profesionales trabajan con las imágenes médicas, aprovechando el potencial de la Realidad Aumentada, la Realidad Virtual, la Visión Artificial y la Inteligencia Artificial. Es importante recalcar que, gran parte del trabajo de esta tesis es la implementación de los proyectos software indicados anteriormente y que se explican en las diferentes publicaciones. En la sección INTRODUCCIÓN, se justifica la elaboración de esta tesis realizando una breve retrospección en la que se analizan diferentes necesidades identificadas por diferentes actores clave respecto a técnicas avanzadas de visualización de conceptos. Se indican además los objetivos principales de esta tesis y se explica cómo está organizado el documento. A continuación, incluimos en MARCO TEÓRICO un análisis de los conceptos principales que son necesarios asimilar para comprender el contenido de esta tesis, así como un estudio del estado del arte y una breve introducción histórica necesaria para poner en contexto todo el trabajo desarrollado. Se ha decidido mantener la estructura habitual de un artículo científico para esta tesis, facilitando así su lectura de forma paralela a los artículos científicos que la acompañan y que amplían o complementan la información presentada. Teniendo esto en cuenta, el siguiente capítulo es el de MATERIALES EMPLEADOS Y METODOLOGÍA. Cabe recordar que gran parte del trabajo realizado para esta tesis es la implementación de diferentes sistemas de Realidad Aumentada y Realidad Virtual, empleando Visión Artificial e Inteligencia Artificial, que se han creado durante los últimos cuatro años. En este capítulo se analizan las diferentes librerías de software y aplicaciones empleadas, así como el hardware utilizado, para la implementación de los proyectos. También se incluye información sobre la metodología, indicando cómo se ha llevado a cabo esa fase de implementación de los proyectos, muy similar en todos ellos, incorporando el diagrama de clases de cada proyecto, que muestra la complejidad del código fuente con los diferentes scripts diseñados. El capítulo de RESULTADOS OBTENIDOS se focaliza en mostrar los sistemas diseñados. Se incluyen además los resultados de las evaluaciones llevadas a cabo, aunque cabe recordar que, al igual que ocurre con el resto de los capítulos, el contenido principal se encuentra en los propios artículos, a pesar de que los diferentes capítulos de la tesis amplían o complementan dicho contenido. En los capítulos finales, realizamos un análisis de los resultados de la investigación realizada en esta tesis, incluyendo el estado actual de las tecnologías en medicina y los resultados obtenidos, en la DISCUSIÓN. En el capítulo LÍNEAS DE TRABAJO FUTURAS se realiza una observación detallada de cómo se pueden mejorar los proyectos implementados y cómo estas tecnologías podrían avanzar en el futuro. Finalmente, se presentan las conclusiones del trabajo realizado en el capítulo CONCLUSIONES. Al haber presentado esta tesis en la modalidad de tesis por compendio de artículos, el contenido principal de la misma se encuentra reflejada en los propios artículos científicos y capítulos de libro publicados que encontramos en los anexos. En el ANEXO XII se incluye un premio obtenido en una de las comunicaciones realizadas, mientras que en el ANEXO XIII se pueden consultar algunas de las publicaciones principales que la prensa ha realizado en relación al trabajo realizado para esta tesis. Debido al carácter innovador de los proyectos implementados y de los resultados obtenidos, así como al éxito en la evaluación de estos y la buena aceptación de la sociedad, han sido numerosas las apariciones en periódicos, o incluso radio y televisión. Este trabajo de Tesis doctoral se presenta bajo la modalidad de compendio de artículos, en función de la normativa de la Universidad de Salamanca, citada en el capítulo II del Reglamento de Doctorado, en su artículo 14.1., sobre la elaboración y defensa de La Tesis Doctoral

NextMed, Augmented and Virtual Reality platform for 3D medical imaging visualization

The visualization of the radiological results with more advanced techniques than the current ones, such as Augmented Reality and Virtual Reality technologies, represent a great advance for medical professionals, by eliminating their imagination capacity as an indispensable requirement for the understanding of medical images. The problem is that for its application it is necessary to segment the anatomical areas of interest, and this currently involves the intervention of the human being. The Nextmed project is presented as a complete solution that includes DICOM images import, automatic segmentation of certain anatomical structures, 3D mesh generation of the segmented area, visualization engine with Augmented Reality and Virtual Reality, all thanks to different software platforms that have been implemented and detailed, including results obtained from real patients. We will focus on the visualization platform using both Augmented and Virtual Reality technologies to allow medical professionals to work with 3d model representation of medical images in a different way taking advantage of new technologies

Nextmed: Automatic Imaging Segmentation, 3D Reconstruction, and 3D Model Visualization Platform Using Augmented and Virtual Reality

The visualization of medical images with advanced techniques, such as augmented reality and virtual reality, represent a breakthrough for medical professionals. In contrast to more traditional visualization tools lacking 3D capabilities, these systems use the three available dimensions. To visualize medical images in 3D, the anatomical areas of interest must be segmented. Currently, manual segmentation, which is the most commonly used technique, and semi-automatic approaches can be time consuming because a doctor is required, making segmentation for each individual case unfeasible. Using new technologies, such as computer vision and artificial intelligence for segmentation algorithms and augmented and virtual reality for visualization techniques implementation, we designed a complete platform to solve this problem and allow medical professionals to work more frequently with anatomical 3D models obtained from medical imaging. As a result, the Nextmed project, due to the different implemented software applications, permits the importation of digital imaging and communication on medicine (dicom) images on a secure cloud platform and the automatic segmentation of certain anatomical structures with new algorithms that improve upon the current research results. A 3D mesh of the segmented structure is then automatically generated that can be printed in 3D or visualized using both augmented and virtual reality, with the designed software systems. The Nextmed project is unique, as it covers the whole process from uploading dicom images to automatic segmentation, 3D reconstruction, 3D visualization, and manipulation using augmented and virtual reality. There are many researches about application of augmented and virtual reality for medical image 3D visualization; however, they are not automated platforms. Although some other anatomical structures can be studied, we focused on one case: a lung study. Analyzing the application of the platform to more than 1000 dicom images and studying the results with medical specialists, we concluded that the installation of this system in hospitals would provide a considerable improvement as a tool for medical image visualization

Generación de herramientas de aprendizaje médico, con sistemas de visión virtual híbrida estereoscópica

Memoria ID-0117. Ayudas de la Universidad de Salamanca para la innovación docente, curso 2017-2018

Desarrollo de entornos tecnológicos, de ambientes inmersivos, para la innovación en la docencia de la anatomía y la cirugía

Memoria ID-0124. Ayudas de la Universidad de Salamanca para la innovación docente, curso 2016-2017

Desarrollo de entornos tecnológicos, de ambientes inmersivos, para la innovación en la docencia de la anatomía y la cirugía

Memoria ID-0124. Ayudas de la Universidad de Salamanca para la innovación docente, curso 2016-2017

Plan de investigación: Entornos Virtuales de Simulación para Formación Médica

En este plan de investigación, se analizarán las diferentes oportunidades que ofrecen las tecnologías de Realidad Aumentada y Realidad Virtual al ámbito de la formación en la medicina. Se realizará un estudio con una base fundamental enfocada hacia el aprendizaje de la Anatomía Humana, además de otras aplicaciones orientadas a otras materias como la cardiología, la cirugía, odontología y la radiología. Además, este trabajo de Tesis Doctoral no se limitará únicamente al estudio y análisis de otros proyectos, sino que se desarrollarán diferentes sistemas de Realidad Aumentada y Realidad Virtual para el ámbito médico

Stereoscopic vision with virtual reality headsets to study cranial bones

Sin financiaciónNo data (2017)UE

Virtual Reality Educational Tool for Human Anatomy

Virtual Reality is becoming widespread in our society within very different areas, from industry to entertainment. It has many advantages in education as well, since it allows visualizing almost any object or going anywhere in a unique way. We will be focusing on medical education, and more specifically anatomy, where its use is especially interesting because it allows studying any structure of the human body by placing the user inside each one. By allowing virtual immersion in a body structure such as the interior of the cranium, stereoscopic vision goggles make these innovative teaching technologies a powerful tool for training in all areas of health sciences. The aim of this study is to illustrate the teaching potential of applying Virtual Reality in the field of human anatomy, where it can be used as a tool for education in medicine. A Virtual Reality Software was developed as an educational tool. This technological procedure is based entirely on software which will run in stereoscopic goggles to give users the sensation of being in a virtual environment, clearly showing the different bones and foramina which make up the cranium, and accompanied by audio explanations. Throughout the results the structure of the cranium is described in detailed from both inside and out. Importance of an exhaustive morphological knowledge of cranial fossae is further discussed. Application for the design of microsurgery is also commented.Sin financiación2.098 JCR (2017) Q2, 46/94 Health Care Sciences and Services; Q3, 13/25 Medical InformaticsUE