Automatic Classification of Bright Retinal Lesions via Deep Network Features

The diabetic retinopathy is timely diagonalized through color eye fundus images by experienced ophthalmologists, in order to recognize potential retinal features and identify early-blindness cases. In this paper, it is proposed to extract deep features from the last fully-connected layer of, four different, pre-trained convolutional neural networks. These features are then feeded into a non-linear classifier to discriminate three-class diabetic cases, i.e., normal, exudates, and drusen. Averaged across 1113 color retinal images collected from six publicly available annotated datasets, the deep features approach perform better than the classical bag-of-words approach. The proposed approaches have an average accuracy between 91.23% and 92.00% with more than 13% improvement over the traditional state of art methods.Comment: Preprint submitted to Journal of Medical Imaging | SPIE (Tue, Jul 28, 2017

Cotton Wool Spots in Eye Fundus Scope

Diabetes mellitus é uma doença com um impacto significativo na saúde pública. Trata-se de uma alteração do metabolismo de hidratos de carbono, gorduras e proteínas que são resultado de uma deficiência ou ausência total de secreção/resistência à insulina por parte das células beta do pâncreas. Existem 3 tipos de diabetes, o denominado tipo 1 em que o doente é dependente de insulina, o tipo 2 em que o doente é dependente de insulina e a diabetes gestacional que aparece durante a fase de gravidez. A retinopatia diabética é uma complicação que pode resultar em cegueira. Se for detetada numa fase inicial, pode ser tratada por cirurgia a laser. No entanto, é dificil deteta-la numa fase inicial, uma vez que progride sem sintomas até ocorrer perda de visão de forma irreversível. Assim, se podermos detetar / encontrar exudados algodonosos no fundo de olho utilizando reconhecimento de imagem, anotação automática, sistemas de apoio à decisão de avaliação do risco, conjugados com uma aplicação móvel que permita a aquisição de imagens de fundo de olho, poderemos detetar mais cedo e tratar, evitando o risco cegueira do paciente. Este projeto tem como objetivo desenvolver uma aplicação smartphone baseada em algoritmos de baixo custo, que podem ser altamente eficientes nas imagens de baixa qualidade provenientes da câmara de um smartphone, que pode ser usada como um sistema de apoio à decisão. Este sistema também pode ser extendido a outras doenças oculares, como uma ferramenta útil para o rastreio de saúde ocular nos países em desenvolvimento, reforçar a proximidade dos programas de rastreio para a população. Os principais objetivos são desenvolver sistema fiável de apoio à decisão, considerando exudados algodonosos, juntamente com pontos vermelhos, em vez do sistema actualmente em uso em Portugal, que considera apenas os pontos vermelhos. O número casos Retinopatia Diabética em todo o mundo justifica o desenvolvimento de um sistema de suporte à decisão automatizado para triagem rápida e de baixo custo da Retinopatia Diabética.Diabetes mellitus é uma doença com um impacto significativo na saúde pública. Trata-se de uma alteração do metabolismo de hidratos de carbono, gorduras e proteínas que são resultado de uma deficiência ou ausência total de secreção/resistência à insulina por parte das células beta do pâncreas. Existem 3 tipos de diabetes, o denominado tipo 1 em que o doente é dependente de insulina, o tipo 2 em que o doente é dependente de insulina e a diabetes gestacional que aparece durante a fase de gravidez. A retinopatia diabética é uma complicação que pode resultar em cegueira. Se for detetada numa fase inicial, pode ser tratada por cirurgia a laser. No entanto, é dificil deteta-la numa fase inicial, uma vez que progride sem sintomas até ocorrer perda de visão de forma irreversível. Assim, se podermos detetar / encontrar exudados algodonosos no fundo de olho utilizando reconhecimento de imagem, anotação automática, sistemas de apoio à decisão de avaliação do risco, conjugados com uma aplicação móvel que permita a aquisição de imagens de fundo de olho, poderemos detetar mais cedo e tratar, evitando o risco cegueira do paciente. Este projeto tem como objetivo desenvolver uma aplicação smartphone baseada em algoritmos de baixo custo, que podem ser altamente eficientes nas imagens de baixa qualidade provenientes da câmara de um smartphone, que pode ser usada como um sistema de apoio à decisão. Este sistema também pode ser extendido a outras doenças oculares, como uma ferramenta útil para o rastreio de saúde ocular nos países em desenvolvimento, reforçar a proximidade dos programas de rastreio para a população. Os principais objetivos são desenvolver sistema fiável de apoio à decisão, considerando exudados algodonosos, juntamente com pontos vermelhos, em vez do sistema actualmente em uso em Portugal, que considera apenas os pontos vermelhos. O número casos Retinopatia Diabética em todo o mundo justifica o desenvolvimento de um sistema de suporte à decisão automatizado para triagem rápida e de baixo custo da Retinopatia Diabética.Diabetes mellitus is a disease with significant impact in public health. It is a complex disorder of carbohydrate, fat and protein metabolism that is a result of a deficiency, or complete lack of insulin secretion by the Beta cells of pancreas, or resistance to Insulin. There are 3 types of diabetes, namely type 1 where the patient is insulin-dependent, type 2 where the patient is non insulin-dependent and gestational diabetes that appears during the pregnancy phase.Retinopathy is a diabetes complication that can result in blindness. If detected in an early stage, it can be treated by laser surgery. However its early detection is frequently missed, since it progresses without symptoms until irreversible vision loss occurs.So if we can detect/find cotton wool spots in eye fundus scope by using image recognition, automatic annotation, decision-support systems for risk assessment, conjugate with a mobile app acquiring eye fundus images, we might detect early and treat avoiding patient blindness risk.This project aims to develop a smartphone-based on low computational-cost algorithms, which can be highly efficient in the lower quality images of the smartphone camera, that can be used as a decision-support system. This system may also be extended to other eye diseases, as an useful tool for eye health screening in developing countries and enhance the proximity of screening programs to the population.The main expected contribution is to develop a good decision-support system, considering cotton wool spots, together with red dots, instead of the actual system in use in Portugal which only considers red dots. The number of Diabetic Retinopathy cases worldwide justifies the development of an automated decision-support system for quick and cost effective screening of Diabetic Retinopathy

Automatic segmentation of exudates in colour retinal fundus images

This work aims at the development of an algorithm that allows the automatic detection of exudates in retinal fundus images. The detection of exudates allows diabetic retinopathy (DR) to be diagnosed, consequently it is an important task for the control and the treatment of people suffering DR. In addition, an increase of 35\% of people suffering from diabetes is predicted and, therefore, of people who will suffer from DR in the coming years. As a result, an important burden for ophthalmologists will be expected. For all this, it's highly needed the development of an automatic system for the detection of exudates. Two different algorithms are proposed. Background subtraction to deal with uneven illumination and mathematical morphology operators are used for exudate location. Finally, dynamic thresholding is applied for exudate segmentation. In the first algorithm dynamic thresholding is combined with the Kirsch edge detector. In the second one, a template and morphological operators are used to differentiate bright elements from exudates is used. The methods have been validated in three public datasets named e-ophta-EX, HEI-MED and DiaretDB1. The first two datasets have been used to validated the algorithms both at lesion level and image-level. However, DiaretDB1 was only used to validate the algorithms at image-level due to its ground truth does not mark exact boundaries of exudates. The results for the image-level validation are better for the second algorithm obtaining an AUC of 0.84, 0.75 and 0.84 for e-ophta-EX, HEI-MED and DiaretDB1, respectively. The results obtained with the evaluation at lesion-level are the same for the two methods and are quantified in terms of sensitivity and PPV. We have achieved values of sensitivity and PPV of 0.54 and 0.52, respectively, in e-ophta-EX and, 0.52 and 0.52, respectively, in HEI-MED for method 1. For method 2, we have obtained values for sensitivity and PPV of 0.5 and 0.57, respectively, for e-ophta-EX and 0.42 and 0.76, respectively, for HEI-MED.Outgoin

Classification of visualization exudates fundus images results using support vector machine

This paper classifies the characteristics of normal and exudates fundus images by determine its accuracy for diagnostic purposes. Image normalization was performed on 149 fundus images (81 normal and 68 exudates) from MESSIDOR databases to standardize the colours in the fundus images. The OD removed fundus image and fundus image with the exudates areas removed. The SVM1 classifier was applied to 30 test fundus images to determine the best optimal parameter. The kernel function settings; linear, polynomial, quadratic and RBF have an effect on the classification results. For SVM1, the best parameter in classifying pixels is linear kernel function. The visualization results using CAC and radar chart are classified using ts accuracy. It has proven to discriminated exudates and non exudates pixels in fundus image using linear kernel function of SVM1 to diagnose DR.Keywords: Diabetic retinopathy (DR); Optic disc (OD); Support Vector Machine (SVM); AC); Radial Basis Function (RBF)

Deep learning analysis of eye fundus images to support medical diagnosis

Machine learning techniques have been successfully applied to support medical decision making of cancer, heart diseases and degenerative diseases of the brain. In particular, deep learning methods have been used for early detection of abnormalities in the eye that could improve the diagnosis of different ocular diseases, especially in developing countries, where there are major limitations to access to specialized medical treatment. However, the early detection of clinical signs such as blood vessel, optic disc alterations, exudates, hemorrhages, drusen, and microaneurysms presents three main challenges: the ocular images can be affected by noise artifact, the features of the clinical signs depend specifically on the acquisition source, and the combination of local signs and grading disease label is not an easy task. This research approaches the problem of combining local signs and global labels of different acquisition sources of medical information as a valuable tool to support medical decision making in ocular diseases. Different models for different eye diseases were developed. Four models were developed using eye fundus images: for DME, it was designed a two-stages model that uses a shallow model to predict an exudate binary mask. Then, the binary mask is stacked with the raw fundus image into a 4-channel array as an input of a deep convolutional neural network for diabetic macular edema diagnosis; for glaucoma, it was developed three deep learning models. First, it was defined a deep learning model based on three-stages that contains an initial stage for automatically segment two binary masks containing optic disc and physiological cup segmentation, followed by an automatic morphometric features extraction stage from previous segmentations, and a final classification stage that supports the glaucoma diagnosis with intermediate medical information. Two late-data-fusion methods that fused morphometric features from cartesian and polar segmentation of the optic disc and physiological cup with features extracted from raw eye fundus images. On the other hand, two models were defined using optical coherence tomography. First, a customized convolutional neural network termed as OCT-NET to extract features from OCT volumes to classify DME, DR-DME and AMD conditions. In addition, this model generates images with highlighted local information about the clinical signs, and it estimates the number of slides inside a volume with local abnormalities. Finally, a 3D-Deep learning model that uses OCT volumes as an input to estimate the retinal thickness map useful to grade AMD. The methods were systematically evaluated using ten free public datasets. The methods were compared and validated against other state-of-the-art algorithms and the results were also qualitatively evaluated by ophthalmology experts from Fundación Oftalmológica Nacional. In addition, the proposed methods were tested as a diagnosis support tool of diabetic macular edema, glaucoma, diabetic retinopathy and age-related macular degeneration using two different ocular imaging representations. Thus, we consider that this research could be potentially a big step in building telemedicine tools that could support medical personnel for detecting ocular diseases using eye fundus images and optical coherence tomography.Las técnicas de aprendizaje automático se han aplicado con éxito para apoyar la toma de decisiones médicas sobre el cáncer, las enfermedades cardíacas y las enfermedades degenerativas del cerebro. En particular, se han utilizado métodos de aprendizaje profundo para la detección temprana de anormalidades en el ojo que podrían mejorar el diagnóstico de diferentes enfermedades oculares, especialmente en países en desarrollo, donde existen grandes limitaciones para acceder a tratamiento médico especializado. Sin embargo, la detección temprana de signos clínicos como vasos sanguíneos, alteraciones del disco óptico, exudados, hemorragias, drusas y microaneurismas presenta tres desafíos principales: las imágenes oculares pueden verse afectadas por artefactos de ruido, las características de los signos clínicos dependen específicamente de fuente de adquisición, y la combinación de signos locales y clasificación de la enfermedad no es una tarea fácil. Esta investigación aborda el problema de combinar signos locales y etiquetas globales de diferentes fuentes de adquisición de información médica como una herramienta valiosa para apoyar la toma de decisiones médicas en enfermedades oculares. Se desarrollaron diferentes modelos para diferentes enfermedades oculares. Se desarrollaron cuatro modelos utilizando imágenes de fondo de ojo: para DME, se diseñó un modelo de dos etapas que utiliza un modelo superficial para predecir una máscara binaria de exudados. Luego, la máscara binaria se apila con la imagen de fondo de ojo original en una matriz de 4 canales como entrada de una red neuronal convolucional profunda para el diagnóstico de edema macular diabético; para el glaucoma, se desarrollaron tres modelos de aprendizaje profundo. Primero, se definió un modelo de aprendizaje profundo basado en tres etapas que contiene una etapa inicial para segmentar automáticamente dos máscaras binarias que contienen disco óptico y segmentación fisiológica de la copa, seguido de una etapa de extracción de características morfométricas automáticas de segmentaciones anteriores y una etapa de clasificación final que respalda el diagnóstico de glaucoma con información médica intermedia. Dos métodos de fusión de datos tardíos que fusionaron características morfométricas de la segmentación cartesiana y polar del disco óptico y la copa fisiológica con características extraídas de imágenes de fondo de ojo crudo. Por otro lado, se definieron dos modelos mediante tomografía de coherencia óptica. Primero, una red neuronal convolucional personalizada denominada OCT-NET para extraer características de los volúmenes OCT para clasificar las condiciones DME, DR-DME y AMD. Además, este modelo genera imágenes con información local resaltada sobre los signos clínicos, y estima el número de diapositivas dentro de un volumen con anomalías locales. Finalmente, un modelo de aprendizaje 3D-Deep que utiliza volúmenes OCT como entrada para estimar el mapa de espesor retiniano útil para calificar AMD. Los métodos se evaluaron sistemáticamente utilizando diez conjuntos de datos públicos gratuitos. Los métodos se compararon y validaron con otros algoritmos de vanguardia y los resultados también fueron evaluados cualitativamente por expertos en oftalmología de la Fundación Oftalmológica Nacional. Además, los métodos propuestos se probaron como una herramienta de diagnóstico de edema macular diabético, glaucoma, retinopatía diabética y degeneración macular relacionada con la edad utilizando dos representaciones de imágenes oculares diferentes. Por lo tanto, consideramos que esta investigación podría ser potencialmente un gran paso en la construcción de herramientas de telemedicina que podrían ayudar al personal médico a detectar enfermedades oculares utilizando imágenes de fondo de ojo y tomografía de coherencia óptica.Doctorad

Image preprocessing in classification and identification of diabetic eye diseases

Diabetic eye disease (DED) is a cluster of eye problem that affects diabetic patients. Identifying DED is a crucial activity in retinal fundus images because early diagnosis and treatment can eventually minimize the risk of visual impairment. The retinal fundus image plays a significant role in early DED classification and identification. An accurate diagnostic model’s development using a retinal fundus image depends highly on image quality and quantity. This paper presents a methodical study on the significance of image processing for DED classification. The proposed automated classification framework for DED was achieved in several steps: image quality enhancement, image segmentation (region of interest), image augmentation (geometric transformation), and classification. The optimal results were obtained using traditional image processing methods with a new build convolution neural network (CNN) architecture. The new built CNN combined with the traditional image processing approach presented the best performance with accuracy for DED classification problems. The results of the experiments conducted showed adequate accuracy, specificity, and sensitivity. © 2021, The Author(s)