Reconocimiento visual de imágenes de endoscopia con Deep Learning

La recopilación y el análisis de imágenes son una pieza fundamental dentro de los procesos de diagnóstico médico. Si bien siempre lo han sido, las aplicaciones de técnicas de Machine Learning en el ámbito de la medicina añaden agilidad y automatización a los procesos, permitiendo la diagnosis precoz. Este trabajo se centra en el procesado de imágenes de endoscopia mediante estas técnicas. Se trabaja en técnicas para la segmentación o clasificación de zonas de interés en las imágenes, por ejemplo reconstrucción 3D de la parte del cuerpo que aparece en esta imagen para detección y diagnóstico de enfermedades. En los últimos años se están proponiendo modelos de Machine Learning para el procesado de imágenes de endoscopia cada vez más precisos y eficientes, pero las imágenes de endoscopia presentan aun un reto que dificulta la generalización de los métodos de procesado: puede existir una gran variabilidad entre los imágenes debida a las condiciones particulares en las que se graban los vídeos de endoscopia. Esta variabilidad hace necesario adaptar los modelos a las imágenes particulares con las que se quiere trabajar para obtener mejores resultados.El objetivo de este trabajo es conseguir los modelos más adecuados y mejor adaptados para preprocesar las imágenes de un nuevo dataset muy amplio capturado en el marco de un proyecto Europeo. Las tareas realizadas para con- seguirlo se han agrupado en dos bloques:Se han estudiado técnicas del estado del arte supervisadas para segmentación de herramientas en imágenes de endoscopia. Además, se han estudiado técnicas eficientes en casos más generales de segmentación semántica. Se han re-entrenado los métodos existentes con datos de endoscopia reales (un dataset publicado para un challenge de segmentación de herramientas de endoscopia; otro dataset propio del proyecto en el que se desarrolla este trabajo). Se ha hecho el fine-tuning de las técnicas ya existentes para endoscopia utilizando el dataset propio del proyecto. Se ha hecho entrenado desde cero el modelo más eficiente con el dataset público, para adaptarlo a imaágenes de endoscopia y luego el fine-tuning de este mismo modelo con el dataset del proyecto. Se han evaluado todos estos modelos antes y después del re-entrenamiento (fine-tuning) con los dos datasets descritos previamente.También se han estudiado algunas técnicas no supervisadas para análisis de datos, en particular para reducir dimensionalidad y poder visualizar de manera más adecuada un resumen de conjuntos de datos muy grandes utilizando características extraídas por los modelos de segmentación previamente estudia- dos para describir estos datos. Se ha utilizado el método PCA para reducción de dimensionalidad, y el método t-SNE para análisis y visualización del contenido de vídeos de endoscopia. En particular se ha analizado la distribución de los datos en las visualizaciones obtenidas después de aplicar estos dos métodos a los descriptores de los datos.Como conclusiones principales, se puede notar primero que el re-entrenamiento hecho de los modelos ya existentes de segmentación permiten efectivamente ob- tener modelos adaptados a las imágenes del proyecto con valores de las métricas de evaluación parecidos a los del estado del arte. Se puede también notar que las visualizaciones obtenidas con las técnicas no supervisadas muestran que los descriptores extraídos por estos mismos modelos de segmentación permiten agrupar los datos según criterios sobre el contenido semántico de cada frame.<br /