Nextmed: Automatic Imaging Segmentation, 3D Reconstruction, and 3D Model Visualization Platform Using Augmented and Virtual Reality

The visualization of medical images with advanced techniques, such as augmented reality and virtual reality, represent a breakthrough for medical professionals. In contrast to more traditional visualization tools lacking 3D capabilities, these systems use the three available dimensions. To visualize medical images in 3D, the anatomical areas of interest must be segmented. Currently, manual segmentation, which is the most commonly used technique, and semi-automatic approaches can be time consuming because a doctor is required, making segmentation for each individual case unfeasible. Using new technologies, such as computer vision and artificial intelligence for segmentation algorithms and augmented and virtual reality for visualization techniques implementation, we designed a complete platform to solve this problem and allow medical professionals to work more frequently with anatomical 3D models obtained from medical imaging. As a result, the Nextmed project, due to the different implemented software applications, permits the importation of digital imaging and communication on medicine (dicom) images on a secure cloud platform and the automatic segmentation of certain anatomical structures with new algorithms that improve upon the current research results. A 3D mesh of the segmented structure is then automatically generated that can be printed in 3D or visualized using both augmented and virtual reality, with the designed software systems. The Nextmed project is unique, as it covers the whole process from uploading dicom images to automatic segmentation, 3D reconstruction, 3D visualization, and manipulation using augmented and virtual reality. There are many researches about application of augmented and virtual reality for medical image 3D visualization; however, they are not automated platforms. Although some other anatomical structures can be studied, we focused on one case: a lung study. Analyzing the application of the platform to more than 1000 dicom images and studying the results with medical specialists, we concluded that the installation of this system in hospitals would provide a considerable improvement as a tool for medical image visualization

Plataformas de realidad aumentada y realidad virtual para la formación y la práctica médica

Tesis por compendio de publicaciones[ES] En esta tesis se ha investigado la aplicación de las tecnologías de Realidad Aumentada y Realidad Virtual en medicina, tanto a nivel formativo como para la práctica médica. Nos centramos en la implementación de diferentes sistemas software, además de incluir estudios de sistemas existentes, análisis de los resultados obtenidos y evaluación de estos. La Realidad Aumentada y la Realidad virtual tienen una gran capacidad de aplicación en muchos ámbitos, pero esta tesis se centra en su aplicación en el campo de la medicina a través del diseño, implementación y estudio de diferentes aplicaciones con estas tecnologías aplicadas al ámbito de la formación médica y la práctica clínica, en este último caso concretamente orientándose a la visualización médica avanzada de imágenes radiológicas. Se analizará cómo la grabación y visualización de forma interactiva de contenidos 360 puede mejorar considerablemente el aprendizaje de los alumnos. Se han implementado diferentes simuladores de Realidad Virtual con el objetivo de analizar cómo pueden mejorar la formación práctica de los estudiantes de medicina. También se ha diseñado un sistema para realizar una formación a distancia empleando la Realidad Virtual, lo cual hoy en día resulta de gran interés, teniendo en cuenta cómo la pandemia causada por la enfermedad COVID-19 está cambiando los procedimientos formativos. Otro de los objetivos ha sido el diseño y estudio de una aplicación de Realidad Aumentada para formación médica en anatomía humana. Finalmente, se analiza el proyecto que más tiempo ha ocupado en la elaboración de esta tesis: Nextmed. Se trata de un proyecto de implementación propia en colaboración cuyo objetivo principal es cambiar el modo en que los profesionales trabajan con las imágenes médicas, aprovechando el potencial de la Realidad Aumentada, la Realidad Virtual, la Visión Artificial y la Inteligencia Artificial. Es importante recalcar que, gran parte del trabajo de esta tesis es la implementación de los proyectos software indicados anteriormente y que se explican en las diferentes publicaciones. En la sección INTRODUCCIÓN, se justifica la elaboración de esta tesis realizando una breve retrospección en la que se analizan diferentes necesidades identificadas por diferentes actores clave respecto a técnicas avanzadas de visualización de conceptos. Se indican además los objetivos principales de esta tesis y se explica cómo está organizado el documento. A continuación, incluimos en MARCO TEÓRICO un análisis de los conceptos principales que son necesarios asimilar para comprender el contenido de esta tesis, así como un estudio del estado del arte y una breve introducción histórica necesaria para poner en contexto todo el trabajo desarrollado. Se ha decidido mantener la estructura habitual de un artículo científico para esta tesis, facilitando así su lectura de forma paralela a los artículos científicos que la acompañan y que amplían o complementan la información presentada. Teniendo esto en cuenta, el siguiente capítulo es el de MATERIALES EMPLEADOS Y METODOLOGÍA. Cabe recordar que gran parte del trabajo realizado para esta tesis es la implementación de diferentes sistemas de Realidad Aumentada y Realidad Virtual, empleando Visión Artificial e Inteligencia Artificial, que se han creado durante los últimos cuatro años. En este capítulo se analizan las diferentes librerías de software y aplicaciones empleadas, así como el hardware utilizado, para la implementación de los proyectos. También se incluye información sobre la metodología, indicando cómo se ha llevado a cabo esa fase de implementación de los proyectos, muy similar en todos ellos, incorporando el diagrama de clases de cada proyecto, que muestra la complejidad del código fuente con los diferentes scripts diseñados. El capítulo de RESULTADOS OBTENIDOS se focaliza en mostrar los sistemas diseñados. Se incluyen además los resultados de las evaluaciones llevadas a cabo, aunque cabe recordar que, al igual que ocurre con el resto de los capítulos, el contenido principal se encuentra en los propios artículos, a pesar de que los diferentes capítulos de la tesis amplían o complementan dicho contenido. En los capítulos finales, realizamos un análisis de los resultados de la investigación realizada en esta tesis, incluyendo el estado actual de las tecnologías en medicina y los resultados obtenidos, en la DISCUSIÓN. En el capítulo LÍNEAS DE TRABAJO FUTURAS se realiza una observación detallada de cómo se pueden mejorar los proyectos implementados y cómo estas tecnologías podrían avanzar en el futuro. Finalmente, se presentan las conclusiones del trabajo realizado en el capítulo CONCLUSIONES. Al haber presentado esta tesis en la modalidad de tesis por compendio de artículos, el contenido principal de la misma se encuentra reflejada en los propios artículos científicos y capítulos de libro publicados que encontramos en los anexos. En el ANEXO XII se incluye un premio obtenido en una de las comunicaciones realizadas, mientras que en el ANEXO XIII se pueden consultar algunas de las publicaciones principales que la prensa ha realizado en relación al trabajo realizado para esta tesis. Debido al carácter innovador de los proyectos implementados y de los resultados obtenidos, así como al éxito en la evaluación de estos y la buena aceptación de la sociedad, han sido numerosas las apariciones en periódicos, o incluso radio y televisión. Este trabajo de Tesis doctoral se presenta bajo la modalidad de compendio de artículos, en función de la normativa de la Universidad de Salamanca, citada en el capítulo II del Reglamento de Doctorado, en su artículo 14.1., sobre la elaboración y defensa de La Tesis Doctoral

Escenarios de aprendizaje personalizados a partir de la evaluación del pensamiento computacional para el aprendizaje de competencias de programación mediante un entorno b-Learning y gamificación

[EN]The teacher is a key piece of the functionality and efficiency of a university educational model, because, by determining a learning environment under his experience and creativity, he can get that students achieve specific professional competences, especially that teacher who has changed the paradigm focused on himself and has focused on the student, in addition to making use of educational strategies that support the teaching - learning process. Computer programming is an activity that creates software technology and continues to be a profession with high global demand for qualified personnel, which has led universities to offer different alternatives of educational offer, that is, the model of face-to-face learning is not the only way to offer the acquisition of respective competences to the creation of software. In the subject sheets or study programs of the programming courses, it is usually indicated what is going to be taught and an orientation of the strategy to achieve the proposed objectives, that is, the content of the course is indicated, the methods and the techniques, as well as, the media and didactic materials, but do not mention technologies or rely on a technological medium. The Internet may well provide information to students about the contents of the class, offer program codes and videos that illustrate the development with new technologies, but there is the problem of acquiring the basic skills to learn computer programming and development of software in general, mainly the cognitive ability to solve problems through a methodology. The proposal, planning and intervention in class of educational strategies, are the best actions that the teacher can do in the search to help the student overcome the excess of information that can be found on the internet and thus create a work plan to innovate in the higher education. The present doctoral thesis, the result of research work carried out, has the purpose of contributing to the acquisition of the basic skills of programming of students that participate in a b-Learning environment designed based on their singularity of learning and personalization of contents from the cognitive level of computational thinking, besides adding gamification as a motivating activity. To achieve the above objective, educational strategies are proposed that motivate students to acquire the basic skills of programming: i. computational thinking evaluation, ii. personalized education and iii. gamification. The research has clearly differentiated two phases, the first where it was possible to carry out a planning of the activities that allowed the evaluation of the computational thinking, the creation of learning scenarios based on the obtained results and the creation of the elements of gamification; the second phase where the intervention of strategies was carried out in the classroom and the collection of information that measured the effectiveness of the proposed actions to achieve the stated objective. It should be noted that the planning phase was replicable in a different university and country, INACAP - Chile, exposing the contribution and added value of the research due to its adaptability for a different educational context. The main conclusion of the investigation is that motivation of the student, through the recognition of the computational thinking skills that he possesses, the offer of study options considering his individuality in the learning process of the basic programming competences in an environment of gamification and the use of a b-Learning environment, allows reducing the percentage of university dropout without sacrificing the level of educational quality; however, the lack of autonomy of students is a strong challenge to overcome considering the constant changes that technological trends mark in software creation environments and that university graduates will have to learn independently.[ES]El docente es una pieza clave de la funcionalidad y eficiencia de un modelo educativo universitario, pues, al determinar bajo su experiencia y creatividad un ambiente de aprendizaje, puede lograr que los estudiantes alcancen competencias profesionales específicas, sobre todo aquel docente que ha cambiado el paradigma centrado en sí mismo y se ha enfocado en el estudiante, además de hacer uso de estrategias educativas que apoyen el proceso de enseñanza - aprendizaje. La programación de computadoras es una actividad que crea tecnología de software y sigue siendo una profesión con alta demanda global de personal calificado, lo que ha llevado a las universidades a ofrecer diferentes alternativas de oferta educativa, es decir, el modelo de aprendizaje presencial ya no es la única forma en que se ofrece la adquisición de competencias respectivas a la creación de software. En las hojas de asignatura o programas de estudio de las materias de programación generalmente está indicado lo que se va a enseñar y una orientación de la estrategia para alcanzar los objetivos planteados, es decir, está indicado el contenido del curso, los métodos y las técnicas, así como los medios y materiales didácticos, pero no hacen mención de tecnologías o de apoyarse de un medio tecnológico. Internet bien puede proporcionar información a los estudiantes acerca de los contenidos de la clase, ofrecer códigos de programas y vídeos que ilustran el desarrollo con tecnologías nuevas, pero existe el problema de la adquisición de las competencias básicas para aprender la programación de computadoras y el desarrollo de software en general, principalmente la capacidad cognitiva para resolver problemas a través de una metodología. La propuesta, planeación e intervención en clase de estrategias educativas, son las mejores acciones que puede hacer el docente en la búsqueda de ayudar al estudiante a superar el exceso de información que puede encontrar en Internet y así crear un plan de trabajo para innovar en la educación superior. La presente tesis doctoral, resultado del trabajo de investigación realizado, tiene la finalidad de contribuir a la adquisición de las competencias básicas de programación de los estudiantes que participen en un ambiente b-Learning diseñado con base a su singularidad de aprendizaje y personalización de contenidos a partir del nivel cognitivo de su pensamiento computacional, además de agregar gamificación como acción motivadora. Para lograr el objetivo anterior, se proponen estrategias educativas que logren motivar a los estudiantes en la adquisición de las competencias básicas de programación: i. evaluación del pensamiento computacional, ii. educación personalizada y iii. gamificación. La investigación tiene claramente diferenciadas dos fases, la primera donde se pudo realizar una planeación de las actividades que permitieran la evaluación del pensamiento computacional, la creación de escenarios de aprendizaje con base a los resultados obtenidos y la creación de los elementos de gamificación; la segunda etapa en donde se llevó a cabo la intervención de las estrategias en el aula y la recolección de información que midió la eficacia de las acciones propuestas para lograr el objetivo planteado. Hay que destacar que la fase de planeación fue posible replicarla en una universidad y país diferente, INACAP – Chile, exponiendo la aportación y valor agregado de la investigación debido a su adaptabilidad para un diferente contexto educativo. La conclusión principal de la investigación es que la motivación del estudiante, a través del reconocimiento de las habilidades de pensamiento computacional que posee, la oferta de opciones de estudio considerando su individualidad en el proceso de aprendizaje de las competencias básicas de programación en un ambiente de gamificación y el uso de un entorno b-Learning, permite reducir el porcentaje de la deserción universitaria sin sacrificar el nivel de calidad educativo; sin embargo, la falta de autonomía de los estudiantes es un fuerte reto a vencer considerando los constantes cambios que las tendencias tecnológicas marcan en ambientes de creación de software y que de forma autónoma tendrán que aprender los egresados universitarios