Automatic segmentation of organs at risk in thoracic CT scans by combining 2D and 3D convolutional neural networks

Segmentation of organs at risk (OARs) in medical images is an important step in treatment planning for patients undergoing radiotherapy (RT). Manual segmentation of OARs is often time-consuming and tedious. Therefore, we propose a method for automatic segmentation of OARs in thoracic RT treatment planning CT scans of patients diagnosed with lung, breast or esophageal cancer. The method consists of a combination of a 2D and a 3D convolutional neural network (CNN), where both networks have substantially different architectures. We analyse the performance for these networks individually and show that a combination of both networks produces the best results. With this combination, we achieve average Dice coefficients of 0.84± 0.05, 0.94± 0.02, 0.91± 0.02, and 0.93± 0.01 for the esophagus, heart, trachea, and aorta, respectively. These results demonstrate potential for automating segmentation of organs at risk in routine radiotherapy treatment planning

Automatische Charakterisierung metabolischer Effekte der onkologischen Immuntherapie mittels 18F-FDG-PET/MRT

Durch die Automatisierung der medizinischen Bildgebung und deren Analyse durch Anwendung maschineller Lernverfahren können potenziell Objektivität und Reliabilität gesichert, sowie Zeit und Ressourcen gespart werden. Ein großer Anwendungsbereich findet sich in der Onkologie, besonders bei der Erkennung und Klassifizierung von Tumoren, deren Phänotyp und deren Malignitätsstatus. Weiterführende Studien beschreiben die Nutzung zur Voraussage über Therapieansprechen, Prognosebestimmung und Risikoanalyse. Den Grundbaustein hierfür bildet die semantische Segmentierung, bei der Organe und Strukturen in Bildgebungen voxelweise klassifiziert werden, um den Suchbereich für weitere Analysen zu definieren. In der vorliegenden Arbeit wurden PET/MRT-Untersuchungen von Patienten mit malignem Melanom unter Immuntherapie betrachtet. Die frühe und genaue Vorhersage des Therapieansprechens kann gerade in diesem Patientenkollektiv entscheidend sein, da die Ansprechraten mäßig sind und die Therapie mit signifikanten Nebenwirkungen und hohen Kosten verbunden ist. Anatomische und funktionelle Parameter der PET/MRT-Bildgebung können potenziell genutzt werden, um ein Therapieansprechen einzuschätzen und therapeutische Entscheidungen zu unterstützen. Ziel dieser Arbeit war die automatische Extraktion anatomischer und funktioneller Parameter aus multiparametrischen Ganzkörper-PET/MRT-Daten mittels maschineller Lernverfahren. Dazu wurde ein Algorithmus aus der Klasse der Convolutional Neural Networks (CNN) trainiert und validiert. Das Patientenkollektiv setzte sich aus 24 Melanompatienten unter Immuntherapie zusammen, die jeweils drei zeitlich versetzte PET/MRT-Untersuchungen durchliefen. In der Summe ergab dies 72 Bildgebungen, von denen zwei aufgrund von Artefakten und Importfehlern von der Studie ausgeschlossen wurden. Anhand manuell segmentierter Trainingsdaten, welche auf T1-gewichteten MRT-Bildern erzeugt wurden, konnte das CNN für die automatische Segmentierung von Milz, Knochenmark der Wirbelsäule und Leber trainiert werden. Die quantitative Evaluation dieser automatischen Organsegmentierung im Vergleich zur manuellen Organsegmentierung ergab eine insgesamt hohe Genauigkeit. Die Leber erreichte die höchste Genauigkeit (DSC 0,9187), gefolgt von der Milz (DSC 0,8282) und den Wirbelkörpern (DSC 0,6966). Dabei konnte der Zeitaufwand der Segmentierung von ca. 1 Stunde pro Datensatz (manuell) auf etwa 4 Sekunden (automatisch) beschleunigt werden. Aus den automatischen Segmentierungen extrahierte Parameter (ADC, durchschnittlicher und maximaler SUV, Fettgehalt und Organvolumen) zeigten eine hohe Übereinstimmung zur manuellen Segmentierung. Beim durchschnittlichen SUV wurde eine mittlere relative Abweichung von 4,10 % ± 5,05 % bei der Leber, 0,83 % ± 10,86 % bei der Milz und 1,91 % ± 10,42 % bei den Wirbelkörpern erreicht. Als proof of concept wurde geprüft, ob sich der SUV (jeweils über Leber, Milz und Wirbelkörpern) als Parameter eignet, um einen Responsestatus der Immuntherapie abzuleiten. Obwohl sich Hinweise auf den Anstieg des SUV unter Immuntherapie über Leber, Milz und Wirbelkörper fanden, konnte in unserem Patientenkollektiv keine Signifikanz nachgewiesen werden. Zusammenfassend lässt sich sagen, dass eine automatische Ableitung anatomischer und funktioneller Parameter aus multiparametrischen PET/MRT Daten mittels Deep Learning möglich ist und zufriedenstellende Ergebnisse erreicht wurden. Voraussetzung sind ausreichende und gute Trainingsdaten. Es empfiehlt sich, die Methodik an einem größeren und diverseren Patientenkollektiv zu validieren