Automatic prostate and prostate zones segmentation of magnetic resonance images using DenseNet-like U-net

Magnetic resonance imaging (MRI) provides detailed anatomical images of the prostate and its zones. It has a crucial role for many diagnostic applications. Automatic segmentation such as that of the prostate and prostate zones from MR images facilitates many diagnostic and therapeutic applications. However, the lack of a clear prostate boundary, prostate tissue heterogeneity, and the wide interindividual variety of prostate shapes make this a very challenging task. To address this problem, we propose a new neural network to automatically segment the prostate and its zones. We term this algorithm Dense U-net as it is inspired by the two existing state-of-the-art tools—DenseNet and U-net. We trained the algorithm on 141 patient datasets and tested it on 47 patient datasets using axial T2-weighted images in a four-fold cross-validation fashion. The networks were trained and tested on weakly and accurately annotated masks separately to test the hypothesis that the network can learn even when the labels are not accurate. The network successfully detects the prostate region and segments the gland and its zones. Compared with U-net, the second version of our algorithm, Dense-2 U-net, achieved an average Dice score for the whole prostate of 92.1± 0.8% vs. 90.7 ± 2%, for the central zone of 89.5±2% vs. 89.1±2.2 %, and for the peripheral zone of 78.1± 2.5% vs. 75±3%. Our initial results show Dense-2 U-net to be more accurate than state-of-the-art U-net for automatic segmentation of the prostate and prostate zones

Fully automated quantification of in vivo viscoelasticity of prostate zones using magnetic resonance elastography with Dense U-net segmentation

Magnetic resonance elastography (MRE) for measuring viscoelasticity heavily depends on proper tissue segmentation, especially in heterogeneous organs such as the prostate. Using trained network-based image segmentation, we investigated if MRE data suffice to extract anatomical and viscoelastic information for automatic tabulation of zonal mechanical properties of the prostate. Overall, 40 patients with benign prostatic hyperplasia (BPH) or prostate cancer (PCa) were examined with three magnetic resonance imaging (MRI) sequences: T2-weighted MRI (T2w), diffusion-weighted imaging (DWI), and MRE-based tomoelastography yielding six independent sets of imaging data per patient (T2w, DWI, apparent diffusion coefficient (ADC), MRE magnitude, shear wave speed, and loss angle maps). Combinations of these data were used to train Dense U-nets with manually segmented masks of the entire prostate gland (PG), central zone (CZ), and peripheral zone (PZ) in 30 patients and to validate them in 10 patients. Dice score (DS), sensitivity, specificity, and Hausdorff distance were determined. We found that segmentation based on MRE magnitude maps alone (DS, PG: 0.93$\pm$0.04, CZ: 0.95$\pm$0.03, PZ: 0.77$\pm$0.05) was more accurate than magnitude maps combined with T2w and DWI_b (DS, PG: 0.91$\pm$0.04, CZ: 0.91$\pm$0.06, PZ: 0.63$\pm$0.16) or T2w alone (DS, PG: 0.92$\pm$0.03, CZ: 0.91$\pm$0.04, PZ: 0.65$\pm$0.08). Automatically tabulated MRE values were not different from ground-truth values (P>0.05). In conclusion: MRE combined with Dense U-net segmentation allows tabulation of quantitative imaging markers without manual analysis and independent of other MRI sequences and can thus contribute to PCa detection and classification

Ein 3D-Mehrkanal-Faltungsnetzwerk zur Klassifizierung von Prostatakrebs mithilfe der multiparametrischen MR-Bildgebung

Objectives: To compare the diagnostic performance of the newly developed convolutional neural network (CNN) in classification of the significance of prostate cancer using multiparametric magnetic resonance imaging (mp-MRI) against other similar approaches and the standard clinical assessment reported in the literature. Methods: This is a retrospective study with a total of 200 patients (318 suspicious lesions) who received an MRI scan with three different pulse sequences (anatomic T2 weighted (T2w), diffusion-weighted imaging (DWI) with derivation of apparent diffusion coefficients (ADCs), and K-trans from dynamic contrast-enhanced MRI (DCE-MRI)), which served as an input for the CNN that is presented in this study. On the other hand, each patient in the dataset has one or more prostate lesions with their corresponding biopsy results which were used as the training and test labels. This study presents a novel neural network architecture that processes 3D images directly with the least manual interaction possible. This network was trained and evaluated on different individual and combinations of mp-MRI sequences which, in turn, outlines the diagnostic role, the benefits and the effects of each individual MRI sequence on the overall performance of the network. The obtained results were evaluated using widely used statistical values such as accuracy, area under the curve (AUC) sensitivity and specificity. Results: When using the receiver operating characteristic (ROC) curve analysis, our 3D developed network had the highest average AUC value of 89.7% for input combination of ADC, DWI and K-trans while the rest of the mp-MRI combinations resulted in a significantly inferior performance in terms of AUC, sensitivity and specificity where p-value of 0.00025 was obtained when using T2w, ADC, and DWI; and 0.02 when using T2w and K-trans. Individual mp-MRI sequences had an AUC between 89.0% (88.6% sensitivity and 90.0% specificity) to 91.0% (81.2% sensitivity and 90.5% specificity). The effect of lesion size and volume was tested and showed no significant effect on the network’s performance. Conclusion: Our presented study shows that the 3D developed network which, requires minimal manual interactions, can process an input of mp-MRI and achieves very comparable results to the performance values of the reported experienced radiologist. Furthermore, this study shows that the size and the volume of the suspicious lesion have no significant effect on the performance of the network.Zielsetzung: Vergleich der diagnostischen Leistung des neu entwickelten convolutional neural network (CNN) bei der Klassifizierung der Bedeutung von Prostatakrebs mithilfe der multiparametrischen Magnetresonanztomographie (mp-MRT) mit anderen ähnlichen Ansätzen und der in der Literatur angegebenen klinischen Standardbewertung. Methoden: Dies ist eine retrospektive Studie mit insgesamt 200 Patienten (318 verdächtige Läsionen), die einen MRT-Scan mit drei verschiedenen Pulssequenzen (anatomische T2- gewichtete (T2w), diffusionsgewichtete Bildgebung (DWI) mit Ableitung scheinbarer Diffusionskoeffizienten (ADCs) erhielten. und K-trans aus der dynamischen kontrastmittelverstärkten MRT (DCE-MRT), die als Eingabe für das in dieser Studie vorgestellte CNN diente. Andererseits weist jeder Patient im Datensatz eine oder mehrere Prostata-Läsionen mit den entsprechenden Biopsieergebnissen auf, die als Trainings- und Testetiketten verwendet wurden. Diese Studie präsentiert eine neuartige neuronale Netzwerkarchitektur, die 3D-Bilder direkt mit der geringstmöglichen manuellen Interaktion verarbeitet. Dieses Netzwerk wurde an verschiedenen Individuen und Kombinationen von mp-MRI-Sequenzen trainiert und bewertet, was wiederum die diagnostische Rolle, die Vorteile und die Auswirkungen jeder einzelnen MRI-Sequenz auf die Gesamtleistung des Netzwerks umreißt. Die erhaltenen Ergebnisse wurden unter Verwendung weit verbreiteter statistischer Werte wie Genauigkeit, Empfindlichkeit und Spezifität der Fläche unter der Kurve (englisch: area under the curve, kurz: AUC) bewertet. Ergebnisse: Bei Verwendung der ROC-Kurvenanalyse (englisch: Receiver Operating Characteristic) hatte unser 3D-entwickeltes Netzwerk den höchsten durchschnittlichen AUCWert von 89,7% für die Eingangskombination von ADC, DWI und K-trans, während der Rest der mp-MRI-Kombinationen zu einem signifikant schlechteren Ergebnis führte Leistung in Bezug auf AUC, Empfindlichkeit und Spezifität, wobei ein p-Wert von 0,00025 erhalten wurde, wenn T2w, ADC und DWI verwendet wurden; und 0,02 bei Verwendung von T2w und K-trans. Einzelne mp-MRI-Sequenzen hatten eine AUC zwischen 89,0% (88,6% Sensitivität und 90,0% Spezifität) bis 91,0% (81,2% Sensitivität und 90,5% Spezifität). Der Effekt von Läsionsgröße und -volumen wurde getestet und zeigte keinen signifikanten Effekt auf die Netzwerkleistung. Schlussfolgerung: Unsere vorgestellte Studie zeigt, dass das in 3D entwickelte Netzwerk, das nur minimale manuelle Interaktionen erfordert, eine Eingabe von mp-MRI verarbeiten kann und sehr vergleichbare Ergebnisse mit den Leistungswerten des berichteten erfahrenen Radiologen erzielt. Darüber hinaus zeigt diese Studie, dass die Größe und das Volumen der verdächtigen Läsion keinen signifikanten Einfluss auf die Leistung des Netzwerks haben