Rich probabilistic models for semantic labeling

Das Ziel dieser Monographie ist es die Methoden und Anwendungen des semantischen Labelings zu erforschen. Unsere Beiträge zu diesem sich rasch entwickelten Thema sind bestimmte Aspekte der Modellierung und der Inferenz in probabilistischen Modellen und ihre Anwendungen in den interdisziplinären Bereichen der Computer Vision sowie medizinischer Bildverarbeitung und Fernerkundung

Construction d'un modèle per-opératoire 3D du rachis pour la navigation en thoracoscopie.

RÉSUMÉ: Lors de discectomie par thoracoscopie, les outils de visualisation procurent peu d’information de profondeur et le champ de visualisation de la caméra miniature insérée dans le patient est relativement restreint. Aussi, le mouvement simultané de la caméra et des instruments chirurgicaux peut provoquer une désorientation. Ainsi, la courbe d’apprentissage pour l’utilisation de cette technologie est très abrupte et un nombre restreint de chirurgiens choisissent l’intervention minimalement invasive malgré les avantages qu’elle peut procurer aux patients. En effet la discectomie par thoracoscopie réduit les pertes sanguines, le traumatisme des tissus entourant le disque afin d’accéder à la zone d’intérêt et le temps d’hospitalisation. Les discectomies sont prescrites à certains patients scoliotiques afin de redonner de la flexibilité à la colonne avant l’instrumentation (pose de vis et tige pour corriger la déformation). La résection du disque intervertébral est faite partiellement et la quantité du disque réséqué dépend du degré de flexibilité que le chirurgien désire redonner au patient. En effectuant la discectomie par thoracoscopie, il est impossible pour le chirurgien de visualiser rapidement la quantité de disque restant en plus d’avoir les désavantages de désorientation et de petit champ de vision de la caméra miniature insérée dans le patient. Il est donc pertinent de tenter de réduire les problèmes de visualisation rencontrés lors des thoracoscopies en procurant au chirurgien la possibilité d’examiner en 3D les structures anatomiques du patient pendant la chirurgie sans ajouter de radiations supplémentaires au patient. Ce système d’assistance permettrait également d’accroître la sécurité du patient et la qualité de la chirurgie en donnant aux chirurgiens la possibilité de localiser en 3D la moelle épinière et en leur donnant également la possibilité de visualiser la quantité de disque restant. Ainsi, l’intérêt de fusionner les images vidéo avec un modèle pré-opératoire 3D est alors tout indiqué.---------- ABSTRACT: Visualization tools available while doing thoracoscopic diskectomy do not show depth information and the field of view of the miniaturized camera inserted into the patient is small. Also, simultaneous movement of the camera and surgical tools may result in disorientation. The learning curve for the use of this technology is very steep and numbers of surgeons choose not to use minimally invasive surgery despite important advantages for the patients. Indeed, thoracoscopic diskectomy reduce blood loss, trauma of surrounding soft tissues to access intervertebral disks and hospitalization time. Diskectomy are prescribed to specific scoliotic patients to gain flexibility of the spine before instrumentation surgery (fixation of screws and rod to correct the deformation). The intervertebral disk is partly resected depending on the level of flexibility the patient has to gain according to the surgeon. During thoracoscopic diskectomy, it is impossible for the surgeon to rapidly visualize the remaining disk tissue and this further increase the disadvantages for the surgeons. Hence, it is relevant to try to reduce visualization problems encountered during thoracoscopic diskectomy by providing to the surgeons a 3D view of the whole spine during the surgery, without adding supplementary radiation to the patient. The computer assisted surgery system would also increase the security of the patient by allowing the surgeons to localize rapidly in 3D the spinal canal as well as the remaining disk. The fusion of the video images with 3D spine of the patient is of great interest for the surgeons

A multi-technique hierarchical X-ray phase-based approach for the characterization and quantification of the effects of novel radiotherapies

Cancer is the first or second leading cause of premature deaths worldwide with an overall rapidly growing burden. Standard cancer therapies include surgery, chemotherapy and radiotherapy (RT) and often a combination of the three is applied to improve the probability of tumour control. Standard therapy protocols have been established for many types of cancers and new approaches are under study especially for treating radio-resistant tumours associated to an overall poor prognosis, as for brain and lung cancers. Follow up techniques able to monitor and investigate the effects of therapies are important for surveying the efficacy of conventionally applied treatments and are key for accessing the curing capabilities and the onset of acute and late adverse effects of new therapies. In this framework, this doctoral Thesis proposes the X-ray Phase Contrast Im-aging - Computed Tomography (XPCI-CT) technique as an imaging-based tool to study and quantify the effects of novel RTs, namely Microbeam and Minibeam Radiation therapy (MRT and MB), and to compare them to the standard Broad Beam (BB) induced effects on brain and lungs. MRT and MB are novel radiotherapies that deliver an array of spatially fractionated X-ray beamlets issued from a synchrotron radiation source, with widths of tens or hundreds of micrometres, respectively. MRT and MB exploit the so-called dose-volume effect: hundreds of Grays are well tolerated by healthy tissues and show a preferential effect on tumour cells and vasculature when delivered in a micrometric sized micro-plane, while induce lethal effects if applied over larger uniform irradiation fields. Such highly collimated X-ray beams need a high-resolution and a full-organ approach that can visualize, with high sensitivity, the effects of the treatment along and outside the beamlets path. XPCI-CT is here suggested and proven as a powerful imaging technique able to determine and quantify the effects of the radiation on normal and tumour-bearing tissues. Moreover, it is shown as an effective technique to complement, with 3D information, the histology findings in the follow-up of the RT treatments. Using a multi-scale and multi-technique X-ray-based approach, I have visualized and analysed the effects of RT delivery on healthy and glioblastoma multiforme (GBM)-bearing rat brains as well as on healthy rat lungs. Ex-vivo XPCI-CT datasets acquired with isotropic voxel sizes in the range 3.253 – 0.653 μm3 could distinguish, with high sensitivity, the idiopathic effects of MRT, MB and BB therapies. Histology, immunohistochemistry, Small- and Wide-Angle X-ray Scattering and X-ray Fluorescence experiments were also carried out to accurately interpret and complement the XPCI-CT findings as well as to obtain a detailed structural and chemical characterization of the detected pathological features. Overall, this multi-technique approach could detect: i) a different radio-sensitivity for the MRT-treated brain areas; ii) Ca and Fe deposits, hydroxyapatite crystals formation; iii) extended and isolated fibrotic contents. Full-organ XPCI-CT datasets allowed for the quantification of tumour and mi-crocalcifications’ volumes in treated brains and the amount of scarring tissue in irradiated lungs. Herein, the role of XPCI-CT as a 3D virtual histology technique for the follow-up of ex-vivo RT effects has been assessed as a complementary method for an accurate volumetric investigation of normal and pathological states in brains and lungs, in a small animal model. Moreover, the technique is proposed as a guidance and auxiliary tool for conventional histology, which is the gold standard for pathological evaluations, owing to its 3D capabilities and the possibility of virtually navigating within samples. This puts a landmark for XPCI-CT inclusion in the pre-clinical studies pipeline and for advancing towards in-vivo XPCI-CT imaging of treated organs.Weltweit gilt Krebs als häufigste bzw. zweithäufigste Ursache eines zu früh erfolgenden Todes, wobei die Zahlen rasch ansteigen. Standardmäßige Krebstherapien umfassen chirurgische Eingriffe, Chemotherapie und Strahlentherapie (radiotherapy, RT); oft kommt eine Kombination daraus zur Anwendung, um die Wahrscheinlichkeit der Tumorkontrolle zu erhöhen. Es wurden Standardtherapieprotokolle für zahlreiche Krebsarten eingerichtet und es wird vor allem in der Behandlung von strahlenresistenten Tumoren mit allgemein schlechter Prognose wie bei Hirn- und Lungentumoren an neuen Ansätzen geforscht. Nachverfolgungstechniken, welche die Auswirkungen von Therapien überwachen und ermitteln, sind zur Überwachung der Wirksamkeit herkömmlich angewandter Behandlungen wichtig und auch maßgeblich am Zugang zu den Fähigkeiten zur Heilung sowie zum Auftreten akuter und verzögerter Nebenwirkungen neuer Therapien beteiligt. In diesem Rahmenwerk unterbreitet diese Doktorarbeit die Technik der Röntgen-Phasenkontrast-Bildgebung über Computertomographie (X-ray Phase Contrast Imaging - Computed Tomography, XPCI‑CT) als bildverarbeitungs-basiertes Tool zur Untersuchung und Quantifizierung der Auswirkungen neuartiger Strahlentherapien, nämlich der Mikrobeam- und Minibeam-Strahlentherapie (MRT und MB), sowie zum Vergleich derselben mit den herkömmlichen durch Breitstrahlen (Broad Beam, BB) erzielten Auswirkungen auf Gehirn und Lunge. MRT und MB sind neuartige Strahlentherapien, die ein Array räumlich aufgeteilter Röntgenstrahlenbeamlets aus einer synchrotronen Strahlenquelle mit einer Breite von Zehnteln bzw. Hundersteln Mikrometern abgeben. MRT und MB nutzen den sogenannten Dosis-Volumen-Effekt: Hunderte Gray werden von gesundem Gewebe gut vertragen und wirken bei der Abgabe in einer Mikroebene im Mikrometerbereich vorrangig auf Tumorzellen und Blutgefäße, während sie bei einer Anwendung über größere gleichförmige Strahlungsfelder letale Auswirkungen aufweisen. Solche hoch kollimierten Röntgenstrahlen erfordern eine hohe Auflösung und einen Zugang zum gesamten Organ, bei dem die Auswirkungen der Behandlung entlang und außerhalb der Beamletpfade mit hoher Empfindlichkeit visualisiert werden können. Hier empfiehlt und bewährt sich die XPCI‑CT als leistungsstarke Bildverarbeitungstechnik, welche die Auswirkungen der Strahlung auf normale und tumortragende Gewebe feststellen und quantifizieren kann. Außerdem hat sich gezeigt, dass sie durch 3‑D-Informationen eine effektive Technik zur Ergänzung der histologischen Erkenntnisse in der Nachverfolgung der Strahlenbehandlung ist. Anhand eines mehrstufigen und multitechnischen röntgenbasierten Ansatzes habe ich die Auswirkungen der Strahlentherapie auf gesunde und von Glioblastomen (GBM) befallene Rattenhirne sowie auf gesunde Rattenlungen visualisiert und analysiert. Mit isotropen Voxelgrößen im Bereich von 3,53 bis 0,653 μm3 erfasste Ex-vivo-XPCI-CT-Datensätze konnten die idiopathischen Auswirkungen der MRT-, MB- und BB‑Behandlung mit hoher Empfindlichkeit unterscheiden. Es wurden auch Experimente zu Histologie, Immunhistochemie, Röntgenklein- und ‑weitwinkelstreuung und Röntgenfluoreszenz durchgeführt, um die XPCI‑CT-Erkenntnisse präzise zu interpretieren und zu ergänzen sowie eine detaillierte strukturelle und chemische Charakterisierung der nachgewiesenen pathologischen Merkmale zu erhalten. Im Allgemeinen wurde durch diesen multitechnischen Ansatz Folgendes ermittelt: i) eine un-terschiedliche Strahlenempfindlichkeit der mit MRT behandelten Gehirnbereiche; ii) Ca- und Fe-Ablagerungen und die Bildung von Hydroxylapatitkristallen; iii) ein ausgedehnter und isolierter Fibrosegehalt. XPCI‑CT-Datensätze des gesamten Organs ermöglichten die Quantifizierung der Volume von Tumoren und Mikroverkalkungen in den behandelten Gehirnen und der Menge des Narbengewebes in bestrahlten Lungen. Dabei wurde die Rolle der XPCI‑CT als virtuelle 3‑D-Histologietechnik für die Nachverfolgung von Ex-vivo-RT‑Auswirkungen als ergänzende Methode für eine präzise volumetrische Untersuchung des normalen und pathologischen Zustands von Gehirnen und Lungen im Kleintiermodell untersucht. Darüber hinaus wird die Technik aufgrund ihrer 3‑D-Fähigkeiten und der Möglichkeit zur virtuellen Navigation in den Proben als Leitfaden und Hilfstool für die herkömmliche Histologie vorgeschlagen, die der Goldstandard für die pathologische Evaluierung ist. Dies markiert einen Meilenstein für die Übernahme der XPCI‑CT in die Pipeline präklinischer Studien und für den Übergang zur In-vivo-XPCI‑CT von behandelten Organen

Designing Deep Learning Frameworks for Plant Biology

In recent years the parallel progress in high-throughput microscopy and deep learning drastically widened the landscape of possible research avenues in life sciences. In particular, combining high-resolution microscopic images and automated imaging pipelines powered by deep learning dramatically reduced the manual annotation work required for quantitative analysis. In this work, we will present two deep learning frameworks tailored to the needs of life scientists in the context of plant biology. First, we will introduce PlantSeg, a software for 2D and 3D instance segmentation. The PlantSeg pipeline contains several pre-trained models for different microscopy modalities and multiple popular graph-based instance segmentation algorithms. In the second part, we will present CellTypeGraph, a benchmark for quantitatively evaluating graph neural networks. The benchmark is designed to test the ability of machine learning methods to classify the types of cells in an \textit{Arabidopsis thaliana} ovules. CellTypeGraph's prime aim is to give a valuable tool to the geometric learning community, but at the same time it also offers a framework for plant biologists to perform fast and accurate cell type inference on new data

Two and three dimensional segmentation of multimodal imagery

The role of segmentation in the realms of image understanding/analysis, computer vision, pattern recognition, remote sensing and medical imaging in recent years has been significantly augmented due to accelerated scientific advances made in the acquisition of image data. This low-level analysis protocol is critical to numerous applications, with the primary goal of expediting and improving the effectiveness of subsequent high-level operations by providing a condensed and pertinent representation of image information. In this research, we propose a novel unsupervised segmentation framework for facilitating meaningful segregation of 2-D/3-D image data across multiple modalities (color, remote-sensing and biomedical imaging) into non-overlapping partitions using several spatial-spectral attributes. Initially, our framework exploits the information obtained from detecting edges inherent in the data. To this effect, by using a vector gradient detection technique, pixels without edges are grouped and individually labeled to partition some initial portion of the input image content. Pixels that contain higher gradient densities are included by the dynamic generation of segments as the algorithm progresses to generate an initial region map. Subsequently, texture modeling is performed and the obtained gradient, texture and intensity information along with the aforementioned initial partition map are used to perform a multivariate refinement procedure, to fuse groups with similar characteristics yielding the final output segmentation. Experimental results obtained in comparison to published/state-of the-art segmentation techniques for color as well as multi/hyperspectral imagery, demonstrate the advantages of the proposed method. Furthermore, for the purpose of achieving improved computational efficiency we propose an extension of the aforestated methodology in a multi-resolution framework, demonstrated on color images. Finally, this research also encompasses a 3-D extension of the aforementioned algorithm demonstrated on medical (Magnetic Resonance Imaging / Computed Tomography) volumes

Automated segmentation of soft tissue in abdominal CT scans

Master'sMASTER OF SCIENC