En este proyecto se ha desarrollado una herramienta que combina técnicas clásicas de visión por computador para tomar medidas precisas junto con técnicas de aprendizaje profundo. Esto permite crear un sistema capaz de entender la escena que está viendo, a la vez que la posiciona en el espacio de manera precisa, permitiendo incluso tomar medidas en verdadera magnitud. La fusión de estos dos tipos de tecnología permite abrir una nueva línea de trabajo, estableciendo las bases para la extracción semántica del interior de un paciente en un entorno quirúrgico.El principal reto abordado en el proyecto es la identificación de las regiones internas del paciente (el hígado en este caso) a partir de imágenes planas tomadas con cámaras monoculares estándar, como un endoscopio. El objetivo final es la estimación de la pose (posición con respecto a la cámara, compuesta de traslación y rotación) del hígado, que se utilizará para localizar partes internas no visibles, como vasos sanguíneos o tumores, sobre el órgano en realidad aumentada durante una intervención quirúrgica.Para el entrenamiento de la red neuronal se ha utilizado un modelo sintético del hígado, obtenido a partir de un simulador quirúrgico desarrollado en el Grupo AMB del Instituto de Investigación en Ingeniería de Aragón (I3A). La principal dificultad del proyecto radica en el entrenamiento de la red para la obtención de la pose de forma precisa. Para ello, se ha reentrenado un modelo de red neuronal con imágenes del hígado, tanto sobre fondos homogéneos como sobre fondos simulando una intervención laparoscópica, con el objetivo de realizar predicciones en condiciones lo más realistas posibles.Finalmente, la información obtenida mediante la red neuronal se ha incorporado a ORB-SLAM, para la obtención de resultados en tiempo real.La principal novedad introducida en este proyecto es el uso conjunto de redes neuronales con ORB-SLAM. Esto permite realizar estimaciones de pose y escalado automáticamente sin la necesidad de utilizar información adicional, de modo que la herramienta se puede utilizar directamente con cámaras de laparoscopia, sin tener que recurrir a sensores adicionales como acelerómetros o LIDAR.<br /
