Image Segmentation by Edge Partitioning over a Nonsubmodular Markov Random Field

Edge weight-based segmentation methods, such as normalized cut or minimum cut, require a partition number specification for their energy formulation. The number of partitions plays an important role in the segmentation overall quality. However, finding a suitable partition number is a nontrivial problem, and the numbers are ordinarily manually assigned. This is an aspect of the general partition problem, where finding the partition number is an important and difficult issue. In this paper, the edge weights instead of the pixels are partitioned to segment the images. By partitioning the edge weights into two disjoints sets, that is, cut and connect, an image can be partitioned into all possible disjointed segments. The proposed energy function is independent of the number of segments. The energy is minimized by iterating the QPBO-α-expansion algorithm over the pairwise Markov random field and the mean estimation of the cut and connected edges. Experiments using the Berkeley database show that the proposed segmentation method can obtain equivalently accurate segmentation results without designating the segmentation numbers

Deep Multimodality Image-Guided System for Assisting Neurosurgery

Intrakranielle Hirntumoren gehören zu den zehn häufigsten bösartigen Krebsarten und sind für eine erhebliche Morbidität und Mortalität verantwortlich. Die größte histologische Kategorie der primären Hirntumoren sind die Gliome, die ein äußerst heterogenes Erschei-nungsbild aufweisen und radiologisch schwer von anderen Hirnläsionen zu unterscheiden sind. Die Neurochirurgie ist meist die Standardbehandlung für neu diagnostizierte Gliom-Patienten und kann von einer Strahlentherapie und einer adjuvanten Temozolomid-Chemotherapie gefolgt werden. Die Hirntumorchirurgie steht jedoch vor großen Herausforderungen, wenn es darum geht, eine maximale Tumorentfernung zu erreichen und gleichzeitig postoperative neurologische Defizite zu vermeiden. Zwei dieser neurochirurgischen Herausforderungen werden im Folgenden vorgestellt. Erstens ist die manuelle Abgrenzung des Glioms einschließlich seiner Unterregionen aufgrund seines infiltrativen Charakters und des Vorhandenseins einer heterogenen Kontrastverstärkung schwierig. Zweitens verformt das Gehirn seine Form ̶ die so genannte "Hirnverschiebung" ̶ als Reaktion auf chirurgische Manipulationen, Schwellungen durch osmotische Medikamente und Anästhesie, was den Nutzen präopera-tiver Bilddaten für die Steuerung des Eingriffs einschränkt. Bildgesteuerte Systeme bieten Ärzten einen unschätzbaren Einblick in anatomische oder pathologische Ziele auf der Grundlage moderner Bildgebungsmodalitäten wie Magnetreso-nanztomographie (MRT) und Ultraschall (US). Bei den bildgesteuerten Instrumenten handelt es sich hauptsächlich um computergestützte Systeme, die mit Hilfe von Computer-Vision-Methoden die Durchführung perioperativer chirurgischer Eingriffe erleichtern. Die Chirurgen müssen jedoch immer noch den Operationsplan aus präoperativen Bildern gedanklich mit Echtzeitinformationen zusammenführen, während sie die chirurgischen Instrumente im Körper manipulieren und die Zielerreichung überwachen. Daher war die Notwendigkeit einer Bildführung während neurochirurgischer Eingriffe schon immer ein wichtiges Anliegen der Ärzte. Ziel dieser Forschungsarbeit ist die Entwicklung eines neuartigen Systems für die peri-operative bildgeführte Neurochirurgie (IGN), nämlich DeepIGN, mit dem die erwarteten Ergebnisse der Hirntumorchirurgie erzielt werden können, wodurch die Gesamtüberle-bensrate maximiert und die postoperative neurologische Morbidität minimiert wird. Im Rahmen dieser Arbeit werden zunächst neuartige Methoden für die Kernbestandteile des DeepIGN-Systems der Hirntumor-Segmentierung im MRT und der multimodalen präope-rativen MRT zur intraoperativen US-Bildregistrierung (iUS) unter Verwendung der jüngs-ten Entwicklungen im Deep Learning vorgeschlagen. Anschließend wird die Ergebnisvor-hersage der verwendeten Deep-Learning-Netze weiter interpretiert und untersucht, indem für den Menschen verständliche, erklärbare Karten erstellt werden. Schließlich wurden Open-Source-Pakete entwickelt und in weithin anerkannte Software integriert, die für die Integration von Informationen aus Tracking-Systemen, die Bildvisualisierung und -fusion sowie die Anzeige von Echtzeit-Updates der Instrumente in Bezug auf den Patientenbe-reich zuständig ist. Die Komponenten von DeepIGN wurden im Labor validiert und in einem simulierten Operationssaal evaluiert. Für das Segmentierungsmodul erreichte DeepSeg, ein generisches entkoppeltes Deep-Learning-Framework für die automatische Abgrenzung von Gliomen in der MRT des Gehirns, eine Genauigkeit von 0,84 in Bezug auf den Würfelkoeffizienten für das Bruttotumorvolumen. Leistungsverbesserungen wurden bei der Anwendung fort-schrittlicher Deep-Learning-Ansätze wie 3D-Faltungen über alle Schichten, regionenbasier-tes Training, fliegende Datenerweiterungstechniken und Ensemble-Methoden beobachtet. Um Hirnverschiebungen zu kompensieren, wird ein automatisierter, schneller und genauer deformierbarer Ansatz, iRegNet, für die Registrierung präoperativer MRT zu iUS-Volumen als Teil des multimodalen Registrierungsmoduls vorgeschlagen. Es wurden umfangreiche Experimente mit zwei Multi-Location-Datenbanken durchgeführt: BITE und RESECT. Zwei erfahrene Neurochirurgen führten eine zusätzliche qualitative Validierung dieser Studie durch, indem sie MRT-iUS-Paare vor und nach der deformierbaren Registrierung überlagerten. Die experimentellen Ergebnisse zeigen, dass das vorgeschlagene iRegNet schnell ist und die besten Genauigkeiten erreicht. Darüber hinaus kann das vorgeschlagene iRegNet selbst bei nicht trainierten Bildern konkurrenzfähige Ergebnisse liefern, was seine Allgemeingültigkeit unter Beweis stellt und daher für die intraoperative neurochirurgische Führung von Nutzen sein kann. Für das Modul "Erklärbarkeit" wird das NeuroXAI-Framework vorgeschlagen, um das Vertrauen medizinischer Experten in die Anwendung von KI-Techniken und tiefen neuro-nalen Netzen zu erhöhen. Die NeuroXAI umfasst sieben Erklärungsmethoden, die Visuali-sierungskarten bereitstellen, um tiefe Lernmodelle transparent zu machen. Die experimen-tellen Ergebnisse zeigen, dass der vorgeschlagene XAI-Rahmen eine gute Leistung bei der Extraktion lokaler und globaler Kontexte sowie bei der Erstellung erklärbarer Salienzkar-ten erzielt, um die Vorhersage des tiefen Netzwerks zu verstehen. Darüber hinaus werden Visualisierungskarten erstellt, um den Informationsfluss in den internen Schichten des Encoder-Decoder-Netzwerks zu erkennen und den Beitrag der MRI-Modalitäten zur end-gültigen Vorhersage zu verstehen. Der Erklärungsprozess könnte medizinischen Fachleu-ten zusätzliche Informationen über die Ergebnisse der Tumorsegmentierung liefern und somit helfen zu verstehen, wie das Deep-Learning-Modell MRT-Daten erfolgreich verar-beiten kann. Außerdem wurde ein interaktives neurochirurgisches Display für die Eingriffsführung entwickelt, das die verfügbare kommerzielle Hardware wie iUS-Navigationsgeräte und Instrumentenverfolgungssysteme unterstützt. Das klinische Umfeld und die technischen Anforderungen des integrierten multimodalen DeepIGN-Systems wurden mit der Fähigkeit zur Integration von (1) präoperativen MRT-Daten und zugehörigen 3D-Volumenrekonstruktionen, (2) Echtzeit-iUS-Daten und (3) positioneller Instrumentenver-folgung geschaffen. Die Genauigkeit dieses Systems wurde anhand eines benutzerdefi-nierten Agar-Phantom-Modells getestet, und sein Einsatz in einem vorklinischen Operati-onssaal wurde simuliert. Die Ergebnisse der klinischen Simulation bestätigten, dass die Montage des Systems einfach ist, in einer klinisch akzeptablen Zeit von 15 Minuten durchgeführt werden kann und mit einer klinisch akzeptablen Genauigkeit erfolgt. In dieser Arbeit wurde ein multimodales IGN-System entwickelt, das die jüngsten Fort-schritte im Bereich des Deep Learning nutzt, um Neurochirurgen präzise zu führen und prä- und intraoperative Patientenbilddaten sowie interventionelle Geräte in das chirurgi-sche Verfahren einzubeziehen. DeepIGN wurde als Open-Source-Forschungssoftware entwickelt, um die Forschung auf diesem Gebiet zu beschleunigen, die gemeinsame Nut-zung durch mehrere Forschungsgruppen zu erleichtern und eine kontinuierliche Weiter-entwicklung durch die Gemeinschaft zu ermöglichen. Die experimentellen Ergebnisse sind sehr vielversprechend für die Anwendung von Deep-Learning-Modellen zur Unterstützung interventioneller Verfahren - ein entscheidender Schritt zur Verbesserung der chirurgi-schen Behandlung von Hirntumoren und der entsprechenden langfristigen postoperativen Ergebnisse

Image Partitioning based on Semidefinite Programming

Many tasks in computer vision lead to combinatorial optimization problems. Automatic image partitioning is one of the most important examples in this context: whether based on some prior knowledge or completely unsupervised, we wish to find coherent parts of the image. However, the inherent combinatorial complexity of such problems often prevents to find the global optimum in polynomial time. For this reason, various approaches have been proposed to find good approximative solutions for image partitioning problems. As an important example, we will first consider different spectral relaxation techniques: based on straightforward eigenvector calculations, these methods compute suboptimal solutions in short time. However, the main contribution of this thesis is to introduce a novel optimization technique for discrete image partitioning problems which is based on a semidefinite programming relaxation. In contrast to approximation methods employing annealing algorithms, this approach involves solving a convex optimization problem, which does not suffer from possible local minima. Using interior point techniques, the solution of the relaxation can be found in polynomial time, and without elaborate parameter tuning. High quality solutions to the original combinatorial problem are then obtained with a randomized rounding technique. The only potential drawback of the semidefinite relaxation approach is that the number of variables of the optimization problem is squared. Nevertheless, it can still be applied to problems with up to a few thousand variables, as is demonstrated for various computer vision tasks including unsupervised segmentation, perceptual grouping and image restoration. Concerning problems of higher dimensionality, we study two different approaches to effectively reduce the number of variables. The first one is based on probabilistic sampling: by considering only a small random fraction of the pixels in the image, our semidefinite relaxation method can be applied in an efficient way while maintaining a reliable quality of the resulting segmentations. The second approach reduces the problem size by computing an over-segmentation of the image in a preprocessing step. After that, the image is partitioned based on the resulting "superpixels" instead of the original pixels. Since the real world does not consist of pixels, it can even be argued that this is the more natural image representation. Initially, our semidefinite relaxation method is defined only for binary partitioning problems. To derive image segmentations into multiple parts, one possibility is to apply the binary approach in a hierarchical way. Besides this natural extension, we also discuss how multiclass partitioning problems can be solved in a direct way based on semidefinite relaxation techniques

MR image based measurement, modelling and diagnostic interpretation of pressure and flow in the pulmonary arteries: applications in pulmonary hypertension

Pulmonary hypertension (PH) is a clinical condition characterised by an increased mean pulmonary arterial pressure (mPAP) of over 25 mmHg measured, at rest, by right heart catheterisation (RHC). RHC is currently considered the gold standard for diagnosis, follow-up and measurement of response to treatment. Although the severe complications and mortality risk associated with the invasive procedure are reduced when it is performed in a specialist centre, finding non-invasive PH diagnosis methods is highly desirable. Non-invasive, non-ionising imaging techniques, based on magnetic resonance imaging (MRI) and on echocardiography, have been integrated into the clinical routine as means for PH assessment. Although the imaging techniques can provide valuable information supporting the PH diagnosis, accurately identifying patients with PH based upon images alone remains challenging. Computationally based models can bring additional insights into the haemodynamic changes occurring under the manifestation of PH. The primary hypothesis of this thesis is that that the physiological status of the pulmonary circulation can be inferred using solely non-invasive flow and anatomy measurements of the pulmonary arteries, measured by MRI and interpreted by 0D and 1D mathematical models. The aim was to implement a series of simple mathematical models, taking the inputs from MRI measurements, and to evaluate their potential to support the non-invasive diagnosis and monitoring of PH. The principal objective was to develop a tool that can readily be translated into the clinic, requiring minimum operator input and time and returning meaningful and accurate results. Two mathematical models, a 3 element Windkessel model and a 1D model of an axisymmetric straight elastic tube for wave reflections were implemented and clinically tested on a cohort of healthy volunteers and of patients who were clinically investigated for PH. The latter group contained some who were normotensive, and those with PH were stratified according to severity. A 2D semi-automatic image segmentation workflow was developed to provide patient specific, simultaneous flow and anatomy measurements of the main pulmonary artery (MPA) as input to the mathematical models. Several diagnostic indices are proposed, and of these distal resistance (Rd), total vascular compliance (C) and the ratio of reflected to total wave power (Wb/Wtot) showed statistically significant differences between the analysed groups, with good accuracy in PH classification. A machine learning classifier using the derived computational metrics and several other PH metrics computed from MRI images of the MPA and of the right ventricle alone, proposed in the literature as PH surrogate markers, was trained and validated with leave-one-out cross-validation to improve the accuracy of non-invasive PH diagnosis. The results accurately classified 92% of the patients, and furthermore the misclassified 8% were patients with mPAP close to the 25 mmHg (at RHC) threshold (within the range of clinical uncertainty). The individual analysis of all PH surrogate markers emphasised that wave reflection quantification, although with lower diagnosis accuracy (75%) than the machine learning model embedding multiple markers, has the potential to distinguish between multiple PH categories. A finite element method (FEM) based model to solve a 1D pulmonary arterial tree linear system, has been implemented to contribute further to the accurate, non-invasive assessment of pulmonary hypertension. The diagnostic protocols, including the analysis work flow, developed and reported in this PhD thesis can be integrated into the clinical process, with the potential to reduce the need for RHC by maximising the use of available MRI data

Élaboration d'une nouvelle métaheuristique pour le partitionnement de graphe : la méthode de fusion-fission. Application au découpage de l'espace aérien

Dans cette thèse, nous étudions des méthodes de partitionnement de graphe et les appliquons au découpage de l'espace aérien, ainsi qu'à d'autres problèmes. L'espace aérien est composé de volumes limités, appelés secteurs de contrôle, chacun étant sous la responsabilité d'un contrôleur. Chaque contrôleur est habilité sur un ensemble de secteurs, appelé zone de qualification. Les secteurs sont également regroupés en centres de contrôle, qui englobent au moins une zone de qualification. Dans le cadre du ciel unique européen, la Commission européenne a prévu la création de blocs fonctionnels d'espace aérien. La création de ces blocs entre pays européens entraînera probablement un redécoupage des centres actuels. Cette thèse propose des outils d'aide à la conception d'un nouveau découpage de l'espace européen en centres et en zones de qualification. À cet effet, plusieurs méthodes sont étudiées : des méthodes de partitionnement classiques,comme l'expansion de région, le multiniveaux ou les algorithmes de type Kernighan-Lin ; des métaheuristiques, comme le recuit simulé, les algorithmes de colonies de fourmis et les algorithmes évolutionnaires ; et une nouvelle méthode que nous avons mise au point, la fusion-fission. C'est cette dernière qui permet de trouver les découpages les plus performants, au sens de la fonction de coût utilisée, pour le découpage de l'espace aérien. Afin de diversifier ses applications, nous l'avons aussi adaptée à la segmentation d'images et à la classification de documents. Enfin, la qualité de cette méthode a été éprouvée sur les bancs de tests classiques du partitionnement de graphe et confrontée aux méthodes concurrentes. Elle a permis de trouver pour plusieurs problèmes de test des partitions dont le coût est le plus bas obtenu jusqu'à présent. ABSTRACT : This thesis studies graph partitioning methods and applies them to airspace partitioning and other partitioning problems. Each air traffic controller supervises a limited space, called an air traffic sector. Controllers have qualifications to work only on a set of sectors, called qualification air zone. Sectors are grouped together into control centers wich include almost one qualification air zone. The European single sky project intended by the European Commission could involve a new airspace partitioning into control centers and qualification air zones. In this framework, this thesis proposes some tools to design the airspace. Classical graph partitioning methods are studied (load-balancing, region growing and multilevel algorithms), a well as some metaheuristics (simulated annealing, ant colonies and evolutionary algorithms). A new method is introduced in this thesis : the fusion-fission method. Compared with the others, this method allows to find the best airspace partitioning for our objective function. To diversify its applications, the fusion- ission method has also been applied to image segmentation and documents clustering. Finally, it has been tested on classical benchmarks and compared with contestant methods. On benchmarks, it finds some new partitions which have the lowest cut ever foun