Deep learning for medical image processing

Medical image segmentation represents a fundamental aspect of medical image computing. It facilitates measurements of anatomical structures, like organ volume and tissue thickness, critical for many classification algorithms which can be instrumental for clinical diagnosis. Consequently, enhancing the efficiency and accuracy of segmentation algorithms could lead to considerable improvements in patient care and diagnostic precision. In recent years, deep learning has become the state-of-the-art approach in various domains of medical image computing, including medical image segmentation. The key advantages of deep learning methods are their speed and efficiency, which have the potential to transform clinical practice significantly. Traditional algorithms might require hours to perform complex computations, but with deep learning, such computational tasks can be executed much faster, often within seconds. This thesis focuses on two distinct segmentation strategies: voxel-based and surface-based. Voxel-based segmentation assigns a class label to each individual voxel of an image. On the other hand, surface-based segmentation techniques involve reconstructing a 3D surface from the input images, then segmenting that surface into different regions. This thesis presents multiple methods for voxel-based image segmentation. Here, the focus is segmenting brain structures, white matter hyperintensities, and abdominal organs. Our approaches confront challenges such as domain adaptation, learning with limited data, and optimizing network architectures to handle 3D images. Additionally, the thesis discusses ways to handle the failure cases of standard deep learning approaches, such as dealing with rare cases like patients who have undergone organ resection surgery. Finally, the thesis turns its attention to cortical surface reconstruction and parcellation. Here, deep learning is used to extract cortical surfaces from MRI scans as triangular meshes and parcellate these surfaces on a vertex level. The challenges posed by this approach include handling irregular and topologically complex structures. This thesis presents novel deep learning strategies for voxel-based and surface-based medical image segmentation. By addressing specific challenges in each approach, it aims to contribute to the ongoing advancement of medical image computing.Die Segmentierung medizinischer Bilder stellt einen fundamentalen Aspekt der medizinischen Bildverarbeitung dar. Sie erleichtert Messungen anatomischer Strukturen, wie Organvolumen und Gewebedicke, die für viele Klassifikationsalgorithmen entscheidend sein können und somit für klinische Diagnosen von Bedeutung sind. Daher könnten Verbesserungen in der Effizienz und Genauigkeit von Segmentierungsalgorithmen zu erheblichen Fortschritten in der Patientenversorgung und diagnostischen Genauigkeit führen. Deep Learning hat sich in den letzten Jahren als führender Ansatz in verschiedenen Be-reichen der medizinischen Bildverarbeitung etabliert. Die Hauptvorteile dieser Methoden sind Geschwindigkeit und Effizienz, die die klinische Praxis erheblich verändern können. Traditionelle Algorithmen benötigen möglicherweise Stunden, um komplexe Berechnungen durchzuführen, mit Deep Learning können solche rechenintensiven Aufgaben wesentlich schneller, oft innerhalb von Sekunden, ausgeführt werden. Diese Dissertation konzentriert sich auf zwei Segmentierungsstrategien, die voxel- und oberflächenbasierte Segmentierung. Die voxelbasierte Segmentierung weist jedem Voxel eines Bildes ein Klassenlabel zu, während oberflächenbasierte Techniken eine 3D-Oberfläche aus den Eingabebildern rekonstruieren und segmentieren. In dieser Arbeit werden mehrere Methoden für die voxelbasierte Bildsegmentierung vorgestellt. Der Fokus liegt hier auf der Segmentierung von Gehirnstrukturen, Hyperintensitäten der weißen Substanz und abdominellen Organen. Unsere Ansätze begegnen Herausforderungen wie der Anpassung an verschiedene Domänen, dem Lernen mit begrenzten Daten und der Optimierung von Netzwerkarchitekturen, um 3D-Bilder zu verarbeiten. Darüber hinaus werden in dieser Dissertation Möglichkeiten erörtert, mit den Fehlschlägen standardmäßiger Deep-Learning-Ansätze umzugehen, beispielsweise mit seltenen Fällen nach einer Organresektion. Schließlich legen wir den Fokus auf die Rekonstruktion und Parzellierung von kortikalen Oberflächen. Hier wird Deep Learning verwendet, um kortikale Oberflächen aus MRT-Scans als Dreiecksnetz zu extrahieren und diese Oberflächen auf Knoten-Ebene zu parzellieren. Zu den Herausforderungen dieses Ansatzes gehört der Umgang mit unregelmäßigen und topologisch komplexen Strukturen. Diese Arbeit stellt neuartige Deep-Learning-Strategien für die voxel- und oberflächenbasierte medizinische Segmentierung vor. Durch die Bewältigung spezifischer Herausforderungen in jedem Ansatz trägt sie so zur Weiterentwicklung der medizinischen Bildverarbeitung bei

Causal decomposition of complex systems and prediction of chaos using machine learning

We live in a complex system. Therefore, it is essential to possess techniques to analyze and comprehend its intricate dynamics in order to improve decision making. The objective of this dissertation is to contribute to the research that enhances our ability to make these complex systems less intransparent to us. Firstly, we illustrate the impact on practical applications when nonlinearity - an often disregarded factor in causal inference - is taken into account. Therefore, we investigate the causal relationships within these systems, particularly shedding light on the distinction between linear and nonlinear drivers of causality. After developing the necessary methods, we apply them to a real-world use case and demonstrate that making slight adjustments to certain financial market frameworks can result in considerable advantages because of the resolution of the correlation-causation fallacy. Subsequently, once the linear and nonlinear causal connections are understood, we can derive governing equations from the underlying causality structure to enhance the interpretability of models and predictions. By fine-tuning the parameters of these equations through the phenomenon of synchronization of chaos, we can ensure that they optimally represent the data. Nevertheless, not all complex systems can be accurately described by governing equations. Therefore, the implementation of machine learning techniques like reservoir computing in predicting chaotic systems offers significant data-driven advantages. While their architecture is relatively simple, ensuring full interpretability and hardware realizations still relies on increased efficiency and reduced data requirements. This dissertation presents some of the necessary modifications to the traditional reservoir computing architecture to bring physical reservoir computing closer to realization.Wir leben in einem komplexen System. Daher ist es unerlässlich, über Techniken zur Analyse und zum Verständnis seiner verschleierten Dynamik zu verfügen, um die Entscheidungsfindung zu verbessern. Ziel dieser Dissertation ist es, einen Beitrag zur Forschung zu leisten, die unsere Möglichkeiten erweitert, diese komplexen Systeme für uns weniger intransparent zu machen. Zunächst wird aufgezeigt, welche Auswirkungen es auf praktische Anwendungen hat, wenn Nichtlinearität - ein oft vernachlässigter Faktor bei kausaler Inferenz - berücksichtigt wird. Daher untersuchen wir die kausalen Beziehungen innerhalb dieser Systeme und beleuchten insbesondere die Unterscheidung zwischen linearen und nichtlinearen Kausalitätsfaktoren. Nachdem wir die erforderlichen Methoden entwickelt haben, wenden wir sie auf einen realen Anwendungsfall an und zeigen, dass leichte Anpassungen bestimmter Finanzmarktmodelle durch die Auflösung des Korrelations-Kausalitäts-Fehlschlusses zu erheblichen Vorteilen führen können. Sobald die linearen und nichtlinearen Kausalzusammenhänge bekannt sind, können wir aus der zugrunde liegenden Kausalitätsstruktur die Differentialgleichungen ableiten, um die Interpretierbarkeit von Modellierungen und Vorhersagen zu verbessern. Durch die Feinjustierung der Parameter dieser Gleichungen durch das Phänomen der Synchronisierung von Chaos können wir sicherstellen, dass sie die Daten optimal darstellen. Allerdings lassen sich nicht alle komplexen Systeme durch Differentialgleichungen adäquat beschreiben. Daher bietet die Anwendung von Techniken des maschinellen Lernens wie Reservoir Computing bei der Vorhersage chaotischer Systeme erhebliche datenbasierte Vorteile. Obwohl ihre Architektur relativ einfach ist, ist die Gewährleistung einer vollständigen Interpretierbarkeit und Hardware-Realisierung immer noch von einer erhöhten Effizienz und reduzierten Datenanforderungen abhängig. In dieser Dissertation werden einige der notwendigen Änderungen an der traditionellen Architektur vorgestellt, um physikalisches Reservoir Computing näher an die Realisierung zu bringen

Geometric flows and the swampland

After an introductory chapter on the quantum supersymmetric string, in which particular attention will be devoted to the techniques via which phenomenologically viable models can be obtained from the ultraviolet microscopic degrees of freedom, and a brief review of the swampland program, the technical tools required to deal with geometric flows will be outlined. The evolution of a broad family of scalar and metric bubble solutions under Perelman's combined flow will be then discussed, together with their asymptotic behaviour. Thereafter, the geometric flow equations associated to a generalised version of Perelman's entropy function will be derived and employed in defining the action-induced flow associated to a given theory for a scalar field and a dynamical metric. The problem of preserving Einstein field equations along the corresponding moduli space trajectories will be cured by allowing a supplementary energy-momentum tensor term to appear along the flow. In a particular example, such contribution will be shown to precisely reproduce the infinite tower of states with exponentially dropping masses postulated by the distance conjecture.Nach einer Einführung in den Superstring, in der besonders auf die Methoden eingegangen wird, mit welchen man aus mikroskopischen Freiheitsgraden im ultravioletten Bereich phänomenologisch brauchbare Modelle erhalten kann und einem kurzen Überblick über das Swampland-Programm werden die mathematischen Methoden vorgestellt, die für die Beschreibung von geometrischem Fluss notwendig sind. Danach wird die Entwicklung einer breitgefächerten Familie von skalaren und metrischen Blasenlösungen unter Perelmans kombiniertem Fluss, zusammen mit deren asymptotischen Verhalten diskutiert. Anschließend werden die geometrischen Flussgleichungen, die im Zusammenhang mit einer verallgemeinerten Version der Perelman-Entropiefunktion stehen, hergeleitet und zur Definition des von der Wirkung induzierten Flusses verwendet. Dieser kann mit einer bestimmten Theorie für ein skalares Feld und eine dynamische Metrik in Verbindung gebracht werden. Es wird ein zusätzlicher Energie-Impuls-Tensor eingeführt, so dass während des geometrischen Flusses die Einstein’schen Feldgleichungen entlang der entsprechenden Trajektorie im Modulraum unverändert bleiben. In einem speziellen Beispiel wird gezeigt, dass ein solcher Beitrag einen Turm aus unendlich vielen Zuständen mit exponentiell abfallenden Massen, wie er von der Abstandsvermutung postuliert wird, exakt reproduziert

Immune cell profiles of tumor and regional lymph nodes in surgically treated non-small cell lung cancer

In recent years, improved understanding of the interaction between cancer and the immune system has led to the introduction of various immunotherapy approaches, all harnessing the power of the immune system to impede tumor development, growth and spread. The immune system is a vastly complex network and response to a foreign antigen must be launched in a coordinated fashion both locally as well as systemically. In the case of NSCLC, this requires a response in the lung tissue surrounding the tumor as well as the regional lymph nodes. Most previous studies that attempted to characterize this response were limited by investigating only tumor or lymph nodes, and those who investigated both did not include tumor-free lymph nodes. To tackle these caveats, I have composed a diverse cohort of surgically-treated NSCLC patients containing both long- and short-term survivors. I investigated morphological features in tumor and matched tumor-bearing and non-tumor bearing lymph nodes and analyzed their association with survival. I then used these results to inform transcriptomic analyses of these tissues to determine how morphological changes were reflected on a molecular level. In this thesis, I showed that tumor-infiltrating lymphocytes and macrophages are key components of the immune response in the primary tumor and non-tumor bearing lymph nodes. The importance of lymphocytes in immune mediated tumor control is further corroborated by an association between CD4 expression in non-tumor bearing lymph nodes and survival. Based on these results, immune transcriptomics showed a negative impact of immune dysfunction measured by Tumor Immune Dysfunction and Exclusion (TIDE) score on patient survival. When comparing patients with high levels to patients with low levels of immune dysfunction, CD8 expression was significantly higher in patients with lower levels of immune dysfunction. A more in depth analysis explored the relation of the expression of multiple immune cell exhaustion markers and survival. Among these, TIM-3 and PD-L1 were identified as the only markers to be associated with survival in more than one tissue. Overall, this work presented an integrative approach to assessing immune composition and dysfunction. Levels of immune cell exhaustion markers may indicate a dysfunctional immune status and can predict survival after curative surgery in NSCLC. This work provides the basis for further investigation of the clinical relevance of immune cell exhaustion in early-stage NSCLC