Diabetic retinopathy diagnosis through multi-agent approaches

Programa Doutoral em Engenharia BiomédicaDiabetic retinopathy has been revealed as a serious public health problem in occidental world, since it is the most common cause of vision impairment among people of working age. The early diagnosis and an adequate treatment can prevent loss of vision. Thus, a regular screening program to detect diabetic retinopathy in the early stages could be efficient for the prevention of blindness. Due to its characteristics, digital color fundus photographs have been the preferred eye examination method adopted in these programs. Nevertheless, due to the growing incidence of diabetes in population, ophthalmologists have to observe a huge number of images. Therefore, the development of computational tools that can assist the diagnosis is of major importance. Several works have been published in the recent past years for this purpose; but an automatic system for clinical practice has yet to come. In general, these algorithms are used to normalize, segment and extract information from images to be utilized by classifiers which aim to classify the regions of the fundus image. These methods are mostly based on global approaches that cannot be locally adapted to the image properties and therefore, none of them perform as needed because of fundus images complexity. This thesis focuses on the development of new tools based on multi-agent approaches, to assist the diabetic retinopathy early diagnosis. The fundus image automatic segmentation concerning the diabetic retinopathy diagnosis should comprise both pathological (dark and bright lesions) and anatomical features (optic disc, blood vessels and fovea). In that way, systems for the optic disc detection, bright lesions segmentation, blood vessels segmentation and dark lesions segmentation were implemented and, when possible, compared to those approaches already described in literature. Two kinds of agent based systems were investigated and applied to digital color fundus photographs: ant colony system and multi-agent system composed of reactive agents with interaction mechanisms between them. The ant colony system was used to the optic disc detection and for bright lesion segmentation. Multi-agent system models were developed for the blood vessel segmentation and for small dark lesion segmentation. The multi-agent system models created in this study are not image processing techniques on their own, but they are used as tools to improve the traditional algorithms results at the micro level. The results of all the proposed approaches are very promising and reveal that the systems created perform better than other recent methods described in the literature. Therefore, the main scientific contribution of this thesis is to prove that multi-agent systems based approaches can be efficient in segmenting structures in retinal images. Such an approach overcomes the classic image processing algorithms that are limited to macro results and do not consider the local characteristics of images. Hence, multi-agent systems based approaches could be a fundamental tool, responsible for a very efficient system development to be used in screening programs concerning diabetic retinopathy early diagnosis.A retinopatia diabética tem-se revelado como um problema sério de saúde pública no mundo ocidental, uma vez que é a principal causa de cegueira entre as pessoas em idade ativa. Contudo, a perda de visão pode ser prevenida através da deteção precoce da doença e de um tratamento adequado. Por isso, um programa regular de rastreio e monitorização da retinopatia diabética pode ser eficiente na prevenção da deterioração da visão. Devido às suas características, a fotografia digital colorida do fundo do olho tem sido o exame adotado neste tipo de programas. No entanto, devido ao aumento da incidência da diabetes na população, o número de imagens a serem analisadas pelos oftalmologistas é elevado. Assim sendo, é muito importante o desenvolvimento de ferramentas computacionais para auxiliar no diagnóstico desta patologia. Nos últimos anos, têm sido vários os trabalhos publicados com este propósito; porém, não existe ainda um sistema automático (ou recomendável) para ser usado nas práticas clínicas. No geral, estes algoritmos são usados para normalizar, segmentar e extrair informação das imagens que vai ser utilizada por classificadores, cujo objetivo é identificar as regiões da imagem que se procuram. Estes métodos são maioritariamente baseados em abordagens globais que não podem ser localmente adaptadas às propriedades das imagens e, portanto, nenhum apresenta a performance necessária devido à complexidade das imagens do fundo do olho. Esta tese foca-se no desenvolvimento de novas ferramentas computacionais baseadas em sistemas multi-agente, para auxiliar na deteção precoce da retinopatia diabética. A segmentação automática das imagens do fundo do olho com o objetivo de diagnosticar a retinopatia diabética, deve englobar características patológicas (lesões claras e escuras) e anatómicas (disco ótico, vasos sanguíneos e fóvea). Deste modo, foram criados sistemas para a deteção do disco ótico e para a segmentação das lesões claras, dos vasos sanguíneos e das lesões escuras e, quando possível, estes foram comparados com abordagens já descritas na literatura. Dois tipos de sistemas baseados em agentes foram investigados e aplicados nas imagens digitais coloridas do fundo do olho: sistema de colónia de formigas e sistema multi-agente constituído por agentes reativos e com mecanismos de interação entre eles. O sistema de colónia de formigas foi usado para a deteção do disco ótico e para a segmentação das lesões claras. Modelos de sistemas multi-agente foram desenvolvidos para a segmentação dos vasos sanguíneos e das lesões escuras. Os modelos multi-agentes criados ao longo deste estudo não são por si só técnicas de processamento de imagem, mas são sim usados como ferramentas para melhorar os resultados dos algoritmos tradicionais no baixo nível. Os resultados de todas as abordagens propostas são muito promissores e revelam que os sistemas criados apresentam melhor performance que outras abordagens recentes descritas na literatura. Posto isto, a maior contribuição científica desta tese é provar que abordagens baseadas em sistemas multi-agente podem ser eficientes na segmentação de estruturas em imagens da retina. Uma abordagem deste tipo ultrapassa os algoritmos clássicos de processamento de imagem, que se limitam aos resultados de alto nível e não têm em consideração as propriedades locais das imagens. Portanto, as abordagens baseadas em sistemas multi-agente podem ser uma ferramenta fundamental, responsável pelo desenvolvimento de um sistema eficiente para ser usado nos programas de rastreio e monitorização da retinopatia diabética.Work supported by FEDER funds through the "Programa Operacional Factores de Competitividade – COMPETE" and by national funds by FCT- Fundação para a Ciência e a Tecnologia. C. Pereira thanks the FCT for the SFRH / BD / 61829 / 2009 grant

Automated Reconstruction of Dendritic and Axonal Trees by Global Optimization with Geometric Priors

We present a novel probabilistic approach to fully automated delineation of tree structures in noisy 2D images and 3D image stacks. Unlike earlier methods that rely mostly on local evidence, ours builds a set of candidate trees over many different subsets of points likely to belong to the optimal tree and then chooses the best one according to a global objective function that combines image evidence with geometric priors. Since the best tree does not necessarily span all the points, the algorithm is able to eliminate false detections while retaining the correct tree topology. Manually annotated brightfield micrographs, retinal scans and the DIADEM challenge datasets are used to evaluate the performance of our method. We used the DIADEM metric to quantitatively evaluate the topological accuracy of the reconstructions and showed that the use of the geometric regularization yields a substantial improvemen

A Review on Machine Learning Methods in Diabetic Retinopathy Detection

Ocular disorders have a broad spectrum. Some of them, such as Diabetic Retinopathy, are more common in low-income or low-resource countries. Diabetic Retinopathy is a cause related to vision loss and ocular impairment in the world. By identifying the symptoms in the early stages, it is possible to prevent the progress of the disease and also reach blindness. Considering the prevalence of different branches of Artificial Intelligence in many fields, including medicine, and the significant progress achieved in the use of big data to investigate ocular impairments, the potential of Artificial Intelligence algorithms to process and analyze Fundus images was used to identify symptoms associated with Diabetic Retinopathy. Under the studies, the proposed models for transformers provide better interpretability for doctors and scientists. Artificial Intelligence algorithms are also helpful in anticipating future health issues after appraising premature cases of the ailment. Especially in ophthalmology, a trustworthy diagnosis of visual outcomes helps physicians in advising disease and clinical decision-making while reducing health management costs

Contributions to Ensemble Classifiers with Image Analysis Applications

134 p.Ésta tesis tiene dos aspectos fundamentales, por un lado, la propuesta denuevas arquitecturas de clasificadores y, por otro, su aplicación a el análisis deimagen.Desde el punto de vista de proponer nuevas arquitecturas de clasificaciónla tesis tiene dos contribucciones principales. En primer lugar la propuestade un innovador ensemble de clasificadores basado en arquitecturas aleatorias,como pueden ser las Extreme Learning Machines (ELM), Random Forest (RF) yRotation Forest, llamado Hybrid Extreme Rotation Forest (HERF) y su mejoraAnticipative HERF (AHERF) que conlleva una selección del modelo basada enel rendimiento de predicción para cada conjunto de datos específico. Ademásde lo anterior, proveemos una prueba formal tanto del AHERF, como de laconvergencia de los ensembles de regresores ELMs que mejoran la usabilidad yreproducibilidad de los resultados.En la vertiente de aplicación hemos estado trabajando con dos tipos de imágenes:imágenes hiperespectrales de remote sensing, e imágenes médicas tanto depatologías específicas de venas de sangre como de imágenes para el diagnósticode Alzheimer. En todos los casos los ensembles de clasificadores han sido la herramientacomún además de estrategias especificas de aprendizaje activo basadasen dichos ensembles de clasificadores. En el caso concreto de la segmentaciónde vasos sanguíneos nos hemos enfrentado con problemas, uno relacionado conlos trombos del Aneurismas de Aorta Abdominal en imágenes 3D de tomografíacomputerizada y el otro la segmentación de venas sangineas en la retina. Losresultados en ambos casos en términos de rendimiento en clasificación y ahorrode tiempo en la segmentación humana nos permiten recomendar esos enfoquespara la práctica clínica.Chapter 1Background y contribuccionesDado el espacio limitado para realizar el resumen de la tesis hemos decididoincluir un resumen general con los puntos más importantes, una pequeña introducciónque pudiera servir como background para entender los conceptos básicosde cada uno de los temas que hemos tocado y un listado con las contribuccionesmás importantes.1.1 Ensembles de clasificadoresLa idea de los ensembles de clasificadores fue propuesta por Hansen y Salamon[4] en el contexto del aprendizaje de las redes neuronales artificiales. Sutrabajo mostró que un ensemble de redes neuronales con un esquema de consensogrupal podía mejorar el resultado obtenido con una única red neuronal.Los ensembles de clasificadores buscan obtener unos resultados de clasificaciónmejores combinando clasificadores débiles y diversos [8, 9]. La propuesta inicialde ensemble contenía una colección homogena de clasificadores individuales. ElRandom Forest es un claro ejemplo de ello, puesto que combina la salida de unacolección de árboles de decisión realizando una votación por mayoría [2, 3], yse construye utilizando una técnica de remuestreo sobre el conjunto de datos ycon selección aleatoria de variables.2CHAPTER 1. BACKGROUND Y CONTRIBUCCIONES 31.2 Aprendizaje activoLa construcción de un clasificador supervisado consiste en el aprendizaje de unaasignación de funciones de datos en un conjunto de clases dado un conjunto deentrenamiento etiquetado. En muchas situaciones de la vida real la obtenciónde las etiquetas del conjunto de entrenamiento es costosa, lenta y propensa aerrores. Esto hace que la construcción del conjunto de entrenamiento sea unatarea engorrosa y requiera un análisis manual exaustivo de la imagen. Esto se realizanormalmente mediante una inspección visual de las imágenes y realizandoun etiquetado píxel a píxel. En consecuencia el conjunto de entrenamiento esaltamente redundante y hace que la fase de entrenamiento del modelo sea muylenta. Además los píxeles ruidosos pueden interferir en las estadísticas de cadaclase lo que puede dar lugar a errores de clasificación y/o overfitting. Por tantoes deseable que un conjunto de entrenamiento sea construido de una manera inteligente,lo que significa que debe representar correctamente los límites de clasemediante el muestreo de píxeles discriminantes. La generalización es la habilidadde etiquetar correctamente datos que no se han visto previamente y quepor tanto son nuevos para el modelo. El aprendizaje activo intenta aprovecharla interacción con un usuario para proporcionar las etiquetas de las muestrasdel conjunto de entrenamiento con el objetivo de obtener la clasificación másprecisa utilizando el conjunto de entrenamiento más pequeño posible.1.3 AlzheimerLa enfermedad de Alzheimer es una de las causas más importantes de discapacidaden personas mayores. Dado el envejecimiento poblacional que es una realidaden muchos países, con el aumento de la esperanza de vida y con el aumentodel número de personas mayores, el número de pacientes con demencia aumentarátambién. Debido a la importancia socioeconómica de la enfermedad enlos países occidentales existe un fuerte esfuerzo internacional focalizado en laenfermedad del Alzheimer. En las etapas tempranas de la enfermedad la atrofiacerebral suele ser sutil y está espacialmente distribuida por diferentes regionescerebrales que incluyen la corteza entorrinal, el hipocampo, las estructuras temporaleslateral e inferior, así como el cíngulo anterior y posterior. Son muchoslos esfuerzos de diseño de algoritmos computacionales tratando de encontrarbiomarcadores de imagen que puedan ser utilizados para el diagnóstico no invasivodel Alzheimer y otras enfermedades neurodegenerativas.CHAPTER 1. BACKGROUND Y CONTRIBUCCIONES 41.4 Segmentación de vasos sanguíneosLa segmentación de los vasos sanguíneos [1, 7, 6] es una de las herramientas computacionalesesenciales para la evaluación clínica de las enfermedades vasculares.Consiste en particionar un angiograma en dos regiones que no se superponen:la región vasculares y el fondo. Basándonos en los resultados de dicha particiónse pueden extraer, modelar, manipular, medir y visualizar las superficies vasculares.Éstas estructuras son muy útiles y juegan un rol muy imporntate en lostratamientos endovasculares de las enfermedades vasculares. Las enfermedadesvasculares son una de las principales fuentes de morbilidad y mortalidad en todoel mundo.Aneurisma de Aorta Abdominal El Aneurisma de Aorta Abdominal (AAA)es una dilatación local de la Aorta que ocurre entre las arterias renal e ilíaca. Eldebilitamiento de la pared de la aorta conduce a su deformación y la generaciónde un trombo. Generalmente, un AAA se diagnostica cuando el diámetro anterioposteriormínimo de la aorta alcanza los 3 centímetros [5]. La mayoría delos aneurismas aórticos son asintomáticos y sin complicaciones. Los aneurismasque causan los síntomas tienen un mayor riesgo de ruptura. El dolor abdominalo el dolor de espalda son las dos principales características clínicas que sugiereno bien la reciente expansión o fugas. Las complicaciones son a menudo cuestiónde vida o muerte y pueden ocurrir en un corto espacio de tiempo. Por lo tanto,el reto consiste en diagnosticar lo antes posible la aparición de los síntomas.Imágenes de Retina La evaluación de imágenes del fondo del ojo es una herramientade diagnóstico de la patología vascular y no vascular. Dicha inspecciónpuede revelar hipertensión, diabetes, arteriosclerosis, enfermedades cardiovascularese ictus. Los principales retos para la segmentación de vasos retinianos son:(1) la presencia de lesiones que se pueden interpretar de forma errónea comovasos sanguíneos; (2) bajo contraste alrededor de los vasos más delgados, (3)múltiples escalas de tamaño de los vasos.1.5 ContribucionesÉsta tesis tiene dos tipos de contribuciones. Contribuciones computacionales ycontribuciones orientadas a una aplicación o prácticas.CHAPTER 1. BACKGROUND Y CONTRIBUCCIONES 5Desde un punto de vista computacional las contribuciones han sido las siguientes:¿ Un nuevo esquema de aprendizaje activo usando Random Forest y el cálculode la incertidumbre que permite una segmentación de imágenes rápida,precisa e interactiva.¿ Hybrid Extreme Rotation Forest.¿ Adaptative Hybrid Extreme Rotation Forest.¿ Métodos de aprendizaje semisupervisados espectrales-espaciales.¿ Unmixing no lineal y reconstrucción utilizando ensembles de regresoresELM.Desde un punto de vista práctico:¿ Imágenes médicas¿ Aprendizaje activo combinado con HERF para la segmentación deimágenes de tomografía computerizada.¿ Mejorar el aprendizaje activo para segmentación de imágenes de tomografíacomputerizada con información de dominio.¿ Aprendizaje activo con el clasificador bootstrapped dendritic aplicadoa segmentación de imágenes médicas.¿ Meta-ensembles de clasificadores para detección de Alzheimer conimágenes de resonancia magnética.¿ Random Forest combinado con aprendizaje activo para segmentaciónde imágenes de retina.¿ Segmentación automática de grasa subcutanea y visceral utilizandoresonancia magnética.¿ Imágenes hiperespectrales¿ Unmixing no lineal y reconstrucción utilizando ensembles de regresoresELM.¿ Métodos de aprendizaje semisupervisados espectrales-espaciales concorrección espacial usando AHERF.¿ Método semisupervisado de clasificación utilizando ensembles de ELMsy con regularización espacial