A Trio-Method for Retinal Vessel Segmentation using Image Processing

Inner Retinal neurons are a most essential part of the retina and they are supplied with blood via retinal vessels. This paper primarily focuses on the segmentation of retinal vessels using a triple preprocessing approach. DRIVE database was taken into consideration and preprocessed by Gabor Filtering, Gaussian Blur, and Edge Detection by Sobel and Pruning. Segmentation was driven out by 2 proposed U-Net architectures. Both the architectures were compared in terms of all the standard performance metrics. Preprocessing generated varied interesting results which impacted the results shown by the UNet architectures for segmentation. This real-time deployment can help in the efficient pre-processing of images with better segmentation and detection.Comment: Accepted at 26th UK Conference on Medical Image Understanding and Analysis (MIUA-2022) (Abstract short paper

The Little W-Net That Could: State-of-the-Art Retinal Vessel Segmentation with Minimalistic Models

The segmentation of the retinal vasculature from eye fundus images represents one of the most fundamental tasks in retinal image analysis. Over recent years, increasingly complex approaches based on sophisticated Convolutional Neural Network architectures have been slowly pushing performance on well-established benchmark datasets. In this paper, we take a step back and analyze the real need of such complexity. Specifically, we demonstrate that a minimalistic version of a standard U-Net with several orders of magnitude less parameters, carefully trained and rigorously evaluated, closely approximates the performance of current best techniques. In addition, we propose a simple extension, dubbed W-Net, which reaches outstanding performance on several popular datasets, still using orders of magnitude less learnable weights than any previously published approach. Furthermore, we provide the most comprehensive cross-dataset performance analysis to date, involving up to 10 different databases. Our analysis demonstrates that the retinal vessel segmentation problem is far from solved when considering test images that differ substantially from the training data, and that this task represents an ideal scenario for the exploration of domain adaptation techniques. In this context, we experiment with a simple self-labeling strategy that allows us to moderately enhance cross-dataset performance, indicating that there is still much room for improvement in this area. Finally, we also test our approach on the Artery/Vein segmentation problem, where we again achieve results well-aligned with the state-of-the-art, at a fraction of the model complexity in recent literature. All the code to reproduce the results in this paper is released

Development and validation of a deep learning algorithm using recurrent neural network for blood vessel segmentation of 3D medical image

학위논문 (석사) -- 서울대학교 대학원 : 공과대학 협동과정 바이오엔지니어링전공, 2021. 2. Sungwan Kim이경호.전산화단층촬영, 자기공명영상 등의 삼차원 의료영상에서 혈관 영역추출은 다양한 심혈관계 질환의 진단 및 수술계획 수립에 요구되는 선행 절차이다. 특히 혈관은 타 장기에 비해 좁고 복잡하다는 특징이 있어 영역추출의 난도가 높고 소모되는 인력 및 시간 또한 상당하다. 그렇기 때문에 혈관 영역추출을 위한 자동화 기술 연구들이 활발히 이루어지고 있다. 최근에는 그래픽 처리 장치와 소프트웨어 기술이 발전함에 따라 인공지능으로 의료영상을 분석해 판독 및 진단을 돕는 연구분야가 크게 활성화 되고 있다. 그 중, 합성곱신경망을 사용한 심층학습 접근법은 영상의 공간적 특징을 자동 추출함으로써 뛰어난 성능을 기록했고, 도약연결부를 지닌 특수한 형태의 합성곱신경망인 U-Net은 인공지능 영역추출 모델의 표본으로 인식되고 있다. 삼차원 혈관 영역추출을 위한 심층학습 모델 또한 U-Net 기반으로 구성되는 경우가 일반적이다. 특히 타 장기 영역추출에도 범용적으로 사용되는 이차원 U-Net이나 삼차원 U-Net을 채택하는 사례가 많다. 하지만 혈관은 일반적인 장기와 다르게 신체 내에서 매우 얇고 복잡하게 얽혀 있다는 구조적 특징이 있어 범용 모델을 기반으로 접근할 경우 타 장기 영역추출에 비해 상대적인 어려움이 발생한다. 본 연구에서는 삼차원 혈관 영역추출의 성능을 향상시키기 위해 U-Net 기반의 새로운 맞춤형 모델인 거미형 U-Net을 제안한다. 이 모델의 핵심 알고리즘은 기존 이차원 U-Net 접근법에 순환신경망을 삽입하는 것이다. 순환신경망은 본래 음성, 자연어 등 순서가 있는 자료의 문맥적 연결성을 학습하는 일에 특화된 심층신경망의 특수한 형태이다. 따라서 삼차원 의료영상을 이미지 시퀀스 (image sequence)로 간주한다면 순환신경망을 적용해 인접한 이미지와의 문맥적 연결성을 모델에 효과적으로 반영시킬 수 있다. 특히 혈관은 기본적으로 서로 연결되어 있으므로 이미지 간 뚜렷한 문맥이 존재하기 때문에 순환신경망을 사용할 경우 학습의 효과가 좋아질 수 있다. 본 연구는 제시한 접근법의 효과 검증을 위해 뇌혈관, 간혈관 및 좌심실 영역추출을 위한 세 종류의 삼차원 혈관 데이터베이스를 확보해 학습 및 평가를 진행한다. 또한 성능의 비교를 위해 기존의 대표 모델인 이차원 U-Net과 삼차원 U-Net을 비롯하여 순환신경망을 다른 방식으로 활용한 FCN-RNN에 대해 같은 조건 하에서 추가 학습시켜 비교군으로 설정한다. 마지막으로, 영역추출의 성능 평가에 일반적으로 사용되는 다이스 계수 (DSC) 및 자카드 계수 (IoU)의 평균치를 보고한다. 대표적으로 뇌혈관 데이터베이스에 대해 이차원 U-Net은 0.745, 삼차원 U-Net은 0.716, FCN-RNN은 0.752, 그리고 거미형 U-Net은 0.807의 평균 DSC를 기록하며 기존 모든 모델의 성능을 능가함을 확인할 수 있다.3D blood vessel segmentation (3D BVS) is an important prerequisite for various cardiovascular disease diagnosis. 3D BVS is difficult because the blood vessel has complicated structure and is narrower than other organs. We propose a novel deep learning framework to improve performance by emphasizing inter-slice context that the blood vessels are connected through adjacent slices. We implemented a framework from U-Net with two structural modifications. First, the baseline is duplicated several times in parallel to extract features of adjacent slices simultaneously. Second, to weave unconnected contexts between extracted features, a LSTM layer is incorporated between encoder and decoder. Consequently, the spatial information from x-y plain and the inter-slice context from z-axis make the segmentation masks smooth and accurate. Experiment with three 3D BVS datasets shows Spider U-Net outperforms whole representative models in average dice score.국문초록 i 목차 iv 그림 목차 vi 표 목차 viii 1. 서론 9 1.1. 배경 9 1.2. 연구의 목적 12 2. 본론 14 2.1. 알고리즘 14 2.1.1. U-Net 기저모델 15 2.1.2. 날실부 18 2.1.3. 씨실부 19 2.2. 데이터베이스 21 2.2.1. 뇌 자기공명혈관조영영상 21 2.2.2. 복부 전산화단층촬영영상 25 2.2.3. 심장 자기공명영상 26 2.3. 비교 모델 27 2.4. 구현 및 실험 28 3. 결과 및 분석 29 3.1. 성능평가지표 29 3.2. 정량적 성능평가 29 3.3. 정성적 성능평가 30 3.3.1. 뇌 자기공명혈관조영영상 31 3.3.2. 복부 전산화단층촬영영상 33 3.3.3. 심장 자기공명영상 34 4. 고찰 36 4.1. 실험 결과 고찰 36 4.2. 알고리즘 고찰 37 5. 결론 38 참고 문헌 39 Abstract 41Maste

Deep learning based retinal vessel segmentation and hypertensive retinopathy quantification using heterogeneous features cross-attention neural network

Retinal vessels play a pivotal role as biomarkers in the detection of retinal diseases, including hypertensive retinopathy. The manual identification of these retinal vessels is both resource-intensive and time-consuming. The fidelity of vessel segmentation in automated methods directly depends on the fundus images' quality. In instances of sub-optimal image quality, applying deep learning-based methodologies emerges as a more effective approach for precise segmentation. We propose a heterogeneous neural network combining the benefit of local semantic information extraction of convolutional neural network and long-range spatial features mining of transformer network structures. Such cross-attention network structure boosts the model's ability to tackle vessel structures in the retinal images. Experiments on four publicly available datasets demonstrate our model's superior performance on vessel segmentation and the big potential of hypertensive retinopathy quantification