Development and validation of a deep learning algorithm using recurrent neural network for blood vessel segmentation of 3D medical image

학위논문 (석사) -- 서울대학교 대학원 : 공과대학 협동과정 바이오엔지니어링전공, 2021. 2. Sungwan Kim이경호.전산화단층촬영, 자기공명영상 등의 삼차원 의료영상에서 혈관 영역추출은 다양한 심혈관계 질환의 진단 및 수술계획 수립에 요구되는 선행 절차이다. 특히 혈관은 타 장기에 비해 좁고 복잡하다는 특징이 있어 영역추출의 난도가 높고 소모되는 인력 및 시간 또한 상당하다. 그렇기 때문에 혈관 영역추출을 위한 자동화 기술 연구들이 활발히 이루어지고 있다. 최근에는 그래픽 처리 장치와 소프트웨어 기술이 발전함에 따라 인공지능으로 의료영상을 분석해 판독 및 진단을 돕는 연구분야가 크게 활성화 되고 있다. 그 중, 합성곱신경망을 사용한 심층학습 접근법은 영상의 공간적 특징을 자동 추출함으로써 뛰어난 성능을 기록했고, 도약연결부를 지닌 특수한 형태의 합성곱신경망인 U-Net은 인공지능 영역추출 모델의 표본으로 인식되고 있다. 삼차원 혈관 영역추출을 위한 심층학습 모델 또한 U-Net 기반으로 구성되는 경우가 일반적이다. 특히 타 장기 영역추출에도 범용적으로 사용되는 이차원 U-Net이나 삼차원 U-Net을 채택하는 사례가 많다. 하지만 혈관은 일반적인 장기와 다르게 신체 내에서 매우 얇고 복잡하게 얽혀 있다는 구조적 특징이 있어 범용 모델을 기반으로 접근할 경우 타 장기 영역추출에 비해 상대적인 어려움이 발생한다. 본 연구에서는 삼차원 혈관 영역추출의 성능을 향상시키기 위해 U-Net 기반의 새로운 맞춤형 모델인 거미형 U-Net을 제안한다. 이 모델의 핵심 알고리즘은 기존 이차원 U-Net 접근법에 순환신경망을 삽입하는 것이다. 순환신경망은 본래 음성, 자연어 등 순서가 있는 자료의 문맥적 연결성을 학습하는 일에 특화된 심층신경망의 특수한 형태이다. 따라서 삼차원 의료영상을 이미지 시퀀스 (image sequence)로 간주한다면 순환신경망을 적용해 인접한 이미지와의 문맥적 연결성을 모델에 효과적으로 반영시킬 수 있다. 특히 혈관은 기본적으로 서로 연결되어 있으므로 이미지 간 뚜렷한 문맥이 존재하기 때문에 순환신경망을 사용할 경우 학습의 효과가 좋아질 수 있다. 본 연구는 제시한 접근법의 효과 검증을 위해 뇌혈관, 간혈관 및 좌심실 영역추출을 위한 세 종류의 삼차원 혈관 데이터베이스를 확보해 학습 및 평가를 진행한다. 또한 성능의 비교를 위해 기존의 대표 모델인 이차원 U-Net과 삼차원 U-Net을 비롯하여 순환신경망을 다른 방식으로 활용한 FCN-RNN에 대해 같은 조건 하에서 추가 학습시켜 비교군으로 설정한다. 마지막으로, 영역추출의 성능 평가에 일반적으로 사용되는 다이스 계수 (DSC) 및 자카드 계수 (IoU)의 평균치를 보고한다. 대표적으로 뇌혈관 데이터베이스에 대해 이차원 U-Net은 0.745, 삼차원 U-Net은 0.716, FCN-RNN은 0.752, 그리고 거미형 U-Net은 0.807의 평균 DSC를 기록하며 기존 모든 모델의 성능을 능가함을 확인할 수 있다.3D blood vessel segmentation (3D BVS) is an important prerequisite for various cardiovascular disease diagnosis. 3D BVS is difficult because the blood vessel has complicated structure and is narrower than other organs. We propose a novel deep learning framework to improve performance by emphasizing inter-slice context that the blood vessels are connected through adjacent slices. We implemented a framework from U-Net with two structural modifications. First, the baseline is duplicated several times in parallel to extract features of adjacent slices simultaneously. Second, to weave unconnected contexts between extracted features, a LSTM layer is incorporated between encoder and decoder. Consequently, the spatial information from x-y plain and the inter-slice context from z-axis make the segmentation masks smooth and accurate. Experiment with three 3D BVS datasets shows Spider U-Net outperforms whole representative models in average dice score.국문초록 i 목차 iv 그림 목차 vi 표 목차 viii 1. 서론 9 1.1. 배경 9 1.2. 연구의 목적 12 2. 본론 14 2.1. 알고리즘 14 2.1.1. U-Net 기저모델 15 2.1.2. 날실부 18 2.1.3. 씨실부 19 2.2. 데이터베이스 21 2.2.1. 뇌 자기공명혈관조영영상 21 2.2.2. 복부 전산화단층촬영영상 25 2.2.3. 심장 자기공명영상 26 2.3. 비교 모델 27 2.4. 구현 및 실험 28 3. 결과 및 분석 29 3.1. 성능평가지표 29 3.2. 정량적 성능평가 29 3.3. 정성적 성능평가 30 3.3.1. 뇌 자기공명혈관조영영상 31 3.3.2. 복부 전산화단층촬영영상 33 3.3.3. 심장 자기공명영상 34 4. 고찰 36 4.1. 실험 결과 고찰 36 4.2. 알고리즘 고찰 37 5. 결론 38 참고 문헌 39 Abstract 41Maste

Deteksi Red Small Dots pada Citra Fundus Retina Menggunakan Mathematical Morphology dan Dictionary Learning

Diabetic retinopathy merupakan penyakit yang disebabkan oleh komplikasi penyakit diabetes, yang menyebabkan kerusakan pada retina dan dapat berakibat kebutaan. Salah satu tanda awal dari diabetic retinopathy adalah munculnya microaneurysm yang merupakan pembengkakan atau tonjolan pada pembuluh darah yang terlihat sebagai titik – titik kemerahan pada retina. Sebelum mendeteksi red small dots, pembuluh darah perlu dihilangkan karena memiliki nilai intensitas yang mirip dengan red small dots. Penelitian ini mengusulkan penggunaan gabungan mathematical morphology untuk mengekstraksi kandidat red small dots dari citra fundus retina dan klasifikasi kandidat red small dots menggunakan dictionary learning. Proses ekstraksi kandidat memiliki dua tahapan utama, yaitu segmentasi pembuluh darah, kemudian segmentasi dark area yang berfungsi menghapus pembuluh darah dan menghasilkan kandidat red small dots. Karena pada proses ekstraksi kandidat masih mengalami over-segmentasi berupa pembuluh darah yang ikut terdeteksi sebagai kandidat red small dots, maka dilakukan klasifikasi terhadap kandidat hasil segmentasi tersebut menggunakan dictionary learning. Terdapat dua tahapan utama dalam klasifikasi, yaitu dictionary construction dan classification. Pada tahap dictionary construction, red small dots yang ditandai oleh pakar digunakan sebagai training sample red small dots dan sisanya dijadikan training sample non-red small dots. Dictionary tersebut kemudian di pelajari dengan dictionary learning yang kemudian dijadikan sebagai training sample untuk proses klasifikasi. Kandidat yang diklasifikasi sebagai non-red small dots diubah menjadi background. Tahap terakhir adalah menggabungkan kembali patches menjadi citra utuh. Citra fundus retina yang digunakan sebagai uji coba diambil dari dataset DiaretDB1. Berdasarkan uji coba, nilai sensitivity, specificity dan accuracy yang didapatkan setelah deteksi red small dots menggunakan metode usulan masing – masing 74.38%, 99.93%, dan 99.92%. =============================================================================================== Diabetic retinopathy is a disease caused by complication of diabetes, which causes damage to the retina and can result in blindness. One of the early signs of the desease is the appearance of microaneurysm. Before detecting red small dots, blood vessels need to be removed because the blood vessels have similar intensity value with red small dots. This study proposed mathematical morphology to extract the candidates of red small dots from retinal fundus images and classifiy candidates using dictionary learning. The candidate extraction step consist of two parts, the first part is the process to segment the blood vessels. The second part is dark area segmentation that serves to remove blood vessels and produce candidates of red small dots. Because of the over segmentation on candidate extraction process which detect blood vessels as red small dots candidate, the classification is needed to classify the red small dots candidate using dictionary learning method. There are two main parts in dictionary learning method; dictionary construction and classification. In dictionary construction, red small dots marked by an expert are used as the training sample of red small dots and the rest as the training samples of non-red small dots. The dictionary learned using dictionary learning is used for the classification stage. Candidates that classified into non-red small dots are converted into background. The last stage is to merge patches back into a complete image. Data testing of retina fundus images are taken from DiaretDB1 dataset. Based on the experimental result, the sensitivity, specificity and accuracy value of the detection of red small dots using proposed method is 74.38%, 99.93%, and 99.92% respectively