Joint segmentation and classification of retinal arteries/veins from fundus images

Objective Automatic artery/vein (A/V) segmentation from fundus images is required to track blood vessel changes occurring with many pathologies including retinopathy and cardiovascular pathologies. One of the clinical measures that quantifies vessel changes is the arterio-venous ratio (AVR) which represents the ratio between artery and vein diameters. This measure significantly depends on the accuracy of vessel segmentation and classification into arteries and veins. This paper proposes a fast, novel method for semantic A/V segmentation combining deep learning and graph propagation. Methods A convolutional neural network (CNN) is proposed to jointly segment and classify vessels into arteries and veins. The initial CNN labeling is propagated through a graph representation of the retinal vasculature, whose nodes are defined as the vessel branches and edges are weighted by the cost of linking pairs of branches. To efficiently propagate the labels, the graph is simplified into its minimum spanning tree. Results The method achieves an accuracy of 94.8% for vessels segmentation. The A/V classification achieves a specificity of 92.9% with a sensitivity of 93.7% on the CT-DRIVE database compared to the state-of-the-art-specificity and sensitivity, both of 91.7%. Conclusion The results show that our method outperforms the leading previous works on a public dataset for A/V classification and is by far the fastest. Significance The proposed global AVR calculated on the whole fundus image using our automatic A/V segmentation method can better track vessel changes associated to diabetic retinopathy than the standard local AVR calculated only around the optic disc.Comment: Preprint accepted in Artificial Intelligence in Medicin

Machine Learning Techniques, Detection and Prediction of Glaucoma– A Systematic Review

Globally, glaucoma is the most common factor in both permanent blindness and impairment. However, the majority of patients are unaware they have the condition, and clinical practise continues to face difficulties in detecting glaucoma progression using current technology. An expert ophthalmologist examines the retinal portion of the eye to see how the glaucoma is progressing. This method is quite time-consuming, and doing it manually takes more time. Therefore, using deep learning and machine learning techniques, this problem can be resolved by automatically diagnosing glaucoma. This systematic review involved a comprehensive analysis of various automated glaucoma prediction and detection techniques. More than 100 articles on Machine learning (ML) techniques with understandable graph and tabular column are reviewed considering summery, method, objective, performance, advantages and disadvantages. In the ML techniques such as support vector machine (SVM), and K-means. Fuzzy c-means clustering algorithm are widely used in glaucoma detection and prediction. Through the systematic review, the most accurate technique to detect and predict glaucoma can be determined which can be utilized for future betterment

Deep learning model for glaucoma diagnosis and its stages classification based on fundus images

학위논문 (박사)-- 서울대학교 대학원 : 의과대학 의학과, 2019. 2. 김홍기.Abstract Introduction: This study is concerned with an ensemble method of convolutional neural networks for automatically screening tests for glaucoma and classifying the severity of glaucoma based on fundus photographs. In order to automate the glaucoma screening and classifying severity stages, we defined and trained 48 convolutional neural network models with different characteristics. Finally, the final readings were obtained through the ensemble method proposed in this study from the models in which the study has been finished and their performance was evaluated. Methods: In this study, 4,445 fundus photographs from 2,801 patients were collected for the training of the convolutional neural network model. The collected fundus photographs were classified into a normal group (unaffected control class) and a glaucoma group by 4 ophthalmology and glaucoma specialists, and the glaucoma group was further divided into an early-stage glaucoma class and a late-stage glaucoma class by referring to the mean deviation (MD) of visual field test results. At this time, the mean deviation value of -6dB or less was classified as a late-stage glaucoma class. Also, up to one fundus photograph was used per side, left and right, for each patient. Out of the all fundus photographs, 3,460 photographs of 2,204 people were used to train the convolutional neural network model, except for the photographs with poor image quality and the ones without 100% agreement on the grade of glaucoma by 4 specialists. The performance of the model was evaluated using the accuracy, sensitivity, specificity, and area under the receiver operating characteristic (AUROC). At this time, the performance of the proposed ensemble method in this study was compared with InceptionNet-v3 as a baseline model. The performance evaluation results of the two methods were tested using the Shapiro-Wilk normality test and the paired t-test was used to test the statistical significance of the performance differences between the two methods. Results: The performance of the convolutional neural network ensemble method proposed in this study was evaluated separately, one related to the glaucoma screening test and one with the classification of glaucoma severity. The accuracy of the glaucoma screening test was 96.62% (95% confidence interval [CI], 95.5 ~ 97.8%) in the ensemble method. On the other hand, the reference model using one InceptionNet-v3 model showed 93.9% (95% CI, 92.6 ~ 95.2%). The difference in performances between the reference model and the ensemble method for glaucoma screening test accuracy was tested for statistical significance by paired t-test and the result showed that the difference of accuracy was statistically significant with the p-value of 0.000425. In terms of AUROC, the ensemble method showed 0.994 (95% CI, 0.990 ~ 0.997), and the reference model using one InceptionNet-v3 model showed 0.977 (95% CI, 0.969 ~ 0.986). The difference in performances between the reference model and the ensemble method for AUROC of glaucoma screening test was tested for statistical significance by paired t-test and the result showed that the difference of accuracy was statistically significant with p-value of 0.000966. We confirmed that the ensemble method proposed in this study has higher and more stable accuracy and AUROC for glaucoma screening compared to the reference model. In terms of accuracy of severity classification of glaucoma, the ensemble method showed 87.7% (95% CI, 85.9 ~ 89.7%), and the reference model using one InceptionNet-v3 model showed 82.3% (95% CI, 80.2 ~ 84.1%). The difference in accuracy between the reference model and the ensemble method for glaucoma screening test was tested for statistical significance by paired t-test and the result showed that the result was statistically significant with the p-value of 0.002902. In terms of average AUROC, the ensemble method showed 0.975 (95% CI, 0.967 ~ 0.983), and the reference model using one InceptionNet-v3 model showed 0.938 (95% CI, 0.926 ~ 0.949). The difference in performance between the reference model and the ensemble method for average AUROC of glaucoma screening test was tested for statistical significance by paired t-test and the result showed that the result was statistically significant with p-value of 0.000093. We confirmed that the ensemble method proposed in this study has higher and more stable accuracy and AUROC for glaucoma severity classification compared to the reference model. Conclusions: The proposed ensemble method in this study using multiple convolutional neural networks, shows superior and more stable performance compared to the conventional methods in glaucoma screening test and automating severity classification based on fundus photographs. The results of this study are a clinical decision support system (CDSS) based on artificial intelligence, which can be used in various fields by installing or connecting with the currently widely used fundus camera. By using the results of this study in the fundus camera and utilizing in health check-up centers or ophthalmology clinics, it can improve the efficiency and accuracy of the reading of the fundus photograph results and focus on the second reading by the specialist with its time efficiency, ultimately obtaining more economical and accurate screening results. In addition, if the medical service utilizing the results of the present study is used more actively, the possibility of early diagnosis of potential glaucoma patients can be increased, the medical treatment expenses of the glaucoma patients can be improved, and the related medical expenses can be reduced.서론: 본 연구는 안저영상을 바탕으로 녹내장 선별검사와 녹내장 중증도를 자동으로 분류하기 위한 합성곱신경망의 앙상블 방법에 관한 것이다. 녹내장의 선별검사와 중증도 등급화를 자동화하기 위해 서로 다른 특성을 갖는 48개의 합성곱신경망 모델을 정의하고 훈련했다. 학습을 완료한 모든 모델은 본 연구에서 제안하는 앙상블 방법을 통해서 최종 판독 결과를 도출하였고, 그 성능을 평가하였다. 방법: 본 연구에서는 합성곱신경망 모델의 훈련을 위해 2,801명의 환자로부터 측정한 4,445장의 안저영상을 수집하였다. 수집한 안저영상은 4명의 녹내장 전문의가 정상 집단과 녹내장 집단으로 분류하고, 녹내장 집단은 시야검사 결과의 평균 편차 (Mean Deviation, MD)를 참조하여 초기 녹내장 집단과 중증 녹내장 집단으로 세분화하였다. 이때, 평균 편차가 -6dB 이하를 중증 녹내장 집단으로 분류하였다. 또한, 환자 1명으로부터 좌, 우 각각 최대 1장씩의 안저영상을 사용하였다. 전체 안저영상 중에서 영상 품질이 열악한 것과 4명 녹내장 전문의의 등급 판정 결과가 100% 일치하지 않은 영상을 제외한 2,204명의 3,460장을 가지고 합성곱신경망 모델을 훈련하였다. 모델의 성능은 정확도, 민감도, 특이도, AUROC(Area Under the Receiver Operating Characteristic)을 평가 지표로 삼았다. 이때, InceptionNet-v3를 기준 모델로 하고, 본 연구에서 제안한 앙상블 방법과 성능을 비교하였다. 두 방법의 성능평가 결과를 Shapiro-Wilk normality test로 정규성 검정을 하였으며, paired t-test를 사용하여 두 방법의 성능 차이에 대한 통계적 유의성을 검정하였다. 결과: 본 연구에서 제안한 합성곱신경망 앙상블 방법은 녹내장 선별검사에 관한 것과 녹내장 중증도 분류에 관한 것으로 분리하여 성능을 평가하였다. 녹내장 선별검사의 정확도 측면에서 앙상블 방법은 96.6% (95% confidence interval [CI], 95.5 ~ 97.8%)를 보였다. 반면, InceptionNet-v3 모델 한 개를 사용한 기준 모델은 93.9% (95% CI, 92.6 ~ 95.2%)를 보였다. 기준 모델과 앙상블 방법의 녹내장 선별검사 정확도에 대한 성능 차이는 paired t-test를 통해 통계적 유의성을 검정하였고, 그 결과는 p-value 0.000425로 정확도의 차이가 통계적으로 유의함을 밝혔다. AUROC 측면에서 앙상블 방법은 0.994 (95% CI, 0.990 ~ 0.997)를 보였으며, InceptionNet-v3 모델 한 개를 사용한 기준 모델은 0.977 (95% CI, 0.969 ~ 0.986)를 보였다. 녹내장 선별검사에 있어서 기준 모델과 앙상블 방법의 AUROC에 대한 성능 차이는 역시 paired t-test를 통한 통계적 유의성을 검정하였고, 결과는 p-value 0.000966으로 AUROC의 차이가 통계적으로 유의함을 밝혔다. 이로써 녹내장 선별검사에서 앙상블 방법이 정확도와 AUROC 측면에서 더 높고 안정적인 것을 확인하였다. 녹내장 중증도 분류의 정확도 측면에서 앙상블 방법은 87.7% (95% CI, 85.9 ~ 89.7%)를 보였고, InceptionNet-v3 모델 한 개를 사용한 기준 모델은 82.3% (95% CI, 80.2 ~ 84.1%)를 보였다. 녹내장 중증도 분류에 있어서 기준 모델과 앙상블 방법의 정확도 차이는 paired t-test를 통해 통계적 유의성을 검정하였고, 그 결과는 p-value 0.002902로 그 차이가 통계적으로 유의함을 밝혔다. 평균 AUROC 측면에서 앙상블 방법은 0.975 (95% CI, 0.967 ~ 0.983)를 보였으며, InceptionNet-v3 모델 한 개를 사용한 기준 모델은 0.938 (95% CI, 0.926 ~ 0.949)을 보였다. 녹내장 중증도 분류에 있어서 평균 AUROC에 대한 기준 모델과 앙상블 방법의 성능 차이 역시 paired t-test를 통해 통계적 유의성을 검정하였고, 그 결과는 p-value 0.000093으로 그 차이가 통계적으로 유의함을 밝혔다. 이로써 녹내장 중증도 분류에서도 앙상블 방법이 정확도와 AUROC 측면에서 더 높고 안정적인 것을 확인하였다. 결론: 본 연구에서 제안하는 여러 개의 합성곱신경망을 앙상블 하는 방법은 안저영상을 바탕으로 녹내장 선별검사와 중증도 분류를 자동화하는 데 있어서 기존의 방법보다 우수하고 안정적인 성능을 발휘한다. 본 연구결과는 인공지능 기술을 바탕으로 하는 임상 의사 결정 지원 시스템(Clinical Decision Support System, CDSS) 소프트웨어로, 현재 널리 보급된 안저촬영기에 탑재 또는 연동하는 방식으로 다양한 분야에서 활용할 수 있다. 안저촬영기에 본 연구결과를 탑재하여 건강검진센터나 안과 진료현장에서 활용한다면, 안저촬영 결과의 판독 효율과 정확성을 높일 수 있고, 이에 따른 시간적 이득을 전문의의 2차 판독에 할애함으로써 보다 경제적이고 정확한 검진 결과를 얻을 수 있다. 또한, 본 연구결과를 활용한 의료서비스가 활성화된다면, 잠재적 녹내장 환자에 대한 조기진단의 가능성을 높일 수 있고, 이에 따른 녹내장 환자의 치료 효과 향상과 관련 의료비용 지출을 절감할 수 있다.초록 --- i 목차 --- iv 표목차 --- vi 그림목차 --- vii 제 1 장 서론 --- 1 제 1 절 연구의 배경과 의의 --- 1 제 2 절 연구의 필요성 --- 5 제 3 절 연구의 목표 및 내용 --- 14 제 2 장 연구 방법 --- 15 제 1 절 안저영상 데이터베이스 구축 --- 15 1. 데이터 측정 환경 및 방법 --- 15 2. 안저영상 레이블링 방법 --- 16 3. 안저영상 고유 식별자 할당 방법 --- 18 제 2 절 안저영상 처리 방법 --- 19 1. 안저영상 처리 개요 --- 19 2. 안저영상 전처리 방법 --- 20 3. 안저영상 후처리 방법 --- 20 제 3 절 합성곱신경망 모델 --- 22 1. InceptionNet-v3과 Inception-ResNet-v2 모델 --- 22 2. 정상과 녹내장 선별을 위한 이진 분류 CNN 모델 --- 23 3. 녹내장 중등도 등급화를 위한 삼진 분류 CNN 모델 --- 23 제 4 절 기계학습 실험 설계 및 앙상블 전략 --- 26 제 5 절 기계학습 실험 환경 --- 32 제 6 절 모델 평가 방법 --- 34 제 3장 연구 결과 --- 35 제 1 절 안저영상 DB 구축 결과 --- 35 제 2 절 딥러닝 학습 및 테스트 데이터 구성 --- 38 제 3 절 녹내장 선별검사 모델 학습결과 --- 40 1. 녹내장 선별검사 개별 모델 학습결과 --- 40 2. 녹내장 선별검사 앙상블 학습결과 --- 46 제 4 절 녹내장 중증도 등급화 모델 학습결과 --- 52 1. 녹내장 중증도 등급화 개별 모델 학습결과 --- 52 2. 녹내장 중증도 등급화 앙상블 학습결과 --- 58 제 4 장 고찰 --- 66 제 1 절 딥러닝 기반 녹내장 판독 시스템 개발 --- 66 제 2 절 딥러닝 기반 녹내장 판독 시스템 활용 방안 --- 67 제 3 절 기대효과 --- 68 제 4 절 연구의 제한점 --- 69 제 5 절 결론 --- 70 참고문헌 --- 72 Abstract --- 74Docto

Aspectos do rastreamento do glaucoma auxiliados por técnicas automatizadas em imagens com menor qualidade do disco óptico

O glaucoma é uma neuropatia óptica cuja progressão pode levar a cegueira. Representa a principal causa de perda visual de caráter irreversível em todo o mundo para homens e mulheres. A detecção precoce através de programas de rastreamento feita por especialistas é baseada nas características do nervo óptico, em biomarcadores oftalmológicos (destacando-se a pressão ocular) e exames subsidiários, com destaque ao campo visual e OCT. Após o reconhecimento dos casos é feito o tratamento com finalidade de estacionar a progressão da doença e melhorar a qualidade de vida dos pacientes. Contudo, estes programas têm limitações, principalmente em locais mais distantes dos grandes centros de tratamento especializado, insuficiência de equipamentos básicos e pessoal especializado para oferecer o rastreamento a toda a população, faltam meios para locomoção a estes centros, desinformação e desconhecimento da doença, além de características de progressão assintomática da doença. Esta tese aborda soluções inovadoras que podem contribuir para a automação do rastreamento do glaucoma utilizando aparelhos portáteis e mais baratos, considerando as necessidades reais dos clínicos durante o rastreamento. Para isso foram realizadas revisões sistemáticas sobre os métodos e equipamentos para apoio à triagem automática do glaucoma e os métodos de aprendizado profundo para a segmentação e classificação aplicáveis. Também foi feito um levantamento de questões médicas relativas à triagem do glaucoma e associá-las ao campo da inteligência artificial, para dar mais sentido as metodologias automatizadas. Além disso, foi criado um banco de dados privado, com vídeos e imagens de retina adquiridos por um smartphone acoplado a lente de baixo custo para o rastreamento do glaucoma e avaliado com métodos do estado da arte. Foram avaliados e analisados métodos de detecção automática de glaucoma utilizando métodos de aprendizado profundo de segmentação do disco e do copo óptico em banco de dados públicos de imagens de retina. Finalmente, foram avaliadas técnicas de mosaico e de detecção da cabeça do nervo óptico em imagens de baixa qualidade obtidas para pré-processamento de imagens adquiridas por smartphones acoplados a lente de baixo custo.Glaucoma is an optic neuropathy whose progression can lead to blindness. It represents the leading cause of irreversible visual loss worldwide for men and women. Early detection through screening programs carried out by specialists is based on the characteristics of the optic papilla, ophthalmic biomarkers (especially eye pressure), and subsidiary exams, emphasizing the visual field and optical coherence tomography (OCT). After recognizing the cases, the treatment is carried out to stop the progression of the disease and improve the quality of patients’ life. However, these screening programs have limitations, particularly in places further away from the sizeable, specialized treatment centers, due to the lack of essential equipment and technical personnel to offer screening to the entire population, due to the lack of means of transport to these centers, due to lack of information and lack of knowledge about the disease, considering the characteristics of asymptomatic progression of the disease. This thesis aims to develop innovative approaches to contribute to the automation of glaucoma screening using portable and cheaper devices, considering the real needs of clinicians during screening. For this, systematic reviews were carried out on the methods and equipment to support automatic glaucoma screening, and the applicable deep learning methods for segmentation and classification. A survey of medical issues related to glaucoma screening was carried out and associated with the field of artificial intelligence to make automated methodologies more effective. In addition, a private dataset was created, with videos and retina images acquired using a low-cost lens-coupled cell phone, for glaucoma screening and evaluated with state-of-the-art methods. Methods of automatic detection of glaucoma using deep learning methods of segmentation of the disc and optic cup were evaluated and analyzed in a public database of retinal images. In the case of deep learning classification methods, these were evaluated in public databases of retina images and in a private database with low-cost images. Finally, mosaic and object detection techniques were evaluated in low-quality images obtained for pre-processing images acquired by cell phones coupled with low-cost lenses