Cube-Cut: Vertebral Body Segmentation in MRI-Data through Cubic-Shaped Divergences

In this article, we present a graph-based method using a cubic template for volumetric segmentation of vertebrae in magnetic resonance imaging (MRI) acquisitions. The user can define the degree of deviation from a regular cube via a smoothness value Delta. The Cube-Cut algorithm generates a directed graph with two terminal nodes (s-t-network), where the nodes of the graph correspond to a cubic-shaped subset of the image's voxels. The weightings of the graph's terminal edges, which connect every node with a virtual source s or a virtual sink t, represent the affinity of a voxel to the vertebra (source) and to the background (sink). Furthermore, a set of infinite weighted and non-terminal edges implements the smoothness term. After graph construction, a minimal s-t-cut is calculated within polynomial computation time, which splits the nodes into two disjoint units. Subsequently, the segmentation result is determined out of the source-set. A quantitative evaluation of a C++ implementation of the algorithm resulted in an average Dice Similarity Coefficient (DSC) of 81.33% and a running time of less than a minute.Comment: 23 figures, 2 tables, 43 references, PLoS ONE 9(4): e9338

Vertebral body segmentation with GrowCut: Initial experience, workflow and practical application

In this contribution, we used the GrowCut segmentation algorithm publicly available in three-dimensional Slicer for three-dimensional segmentation of vertebral bodies. To the best of our knowledge, this is the first time that the GrowCut method has been studied for the usage of vertebral body segmentation. In brief, we found that the GrowCut segmentation times were consistently less than the manual segmentation times. Hence, GrowCut provides an alternative to a manual slice-by-slice segmentation process.Comment: 10 page

Denoising diffusion-based MR to CT image translation enables whole spine vertebral segmentation in 2D and 3D without manual annotations

Background: Automated segmentation of spinal MR images plays a vital role both scientifically and clinically. However, accurately delineating posterior spine structures presents challenges. Methods: This retrospective study, approved by the ethical committee, involved translating T1w and T2w MR image series into CT images in a total of n=263 pairs of CT/MR series. Landmark-based registration was performed to align image pairs. We compared 2D paired (Pix2Pix, denoising diffusion implicit models (DDIM) image mode, DDIM noise mode) and unpaired (contrastive unpaired translation, SynDiff) image-to-image translation using "peak signal to noise ratio" (PSNR) as quality measure. A publicly available segmentation network segmented the synthesized CT datasets, and Dice scores were evaluated on in-house test sets and the "MRSpineSeg Challenge" volumes. The 2D findings were extended to 3D Pix2Pix and DDIM. Results: 2D paired methods and SynDiff exhibited similar translation performance and Dice scores on paired data. DDIM image mode achieved the highest image quality. SynDiff, Pix2Pix, and DDIM image mode demonstrated similar Dice scores (0.77). For craniocaudal axis rotations, at least two landmarks per vertebra were required for registration. The 3D translation outperformed the 2D approach, resulting in improved Dice scores (0.80) and anatomically accurate segmentations in a higher resolution than the original MR image. Conclusion: Two landmarks per vertebra registration enabled paired image-to-image translation from MR to CT and outperformed all unpaired approaches. The 3D techniques provided anatomically correct segmentations, avoiding underprediction of small structures like the spinous process.Comment: 35 pages, 7 figures, Code and a model weights available https://doi.org/10.5281/zenodo.8221159 and https://doi.org/10.5281/zenodo.819869

Square-Cut: A Segmentation Algorithm on the Basis of a Rectangle Shape

We present a rectangle-based segmentation algorithm that sets up a graph and performs a graph cut to separate an object from the background. However, graph-based algorithms distribute the graph's nodes uniformly and equidistantly on the image. Then, a smoothness term is added to force the cut to prefer a particular shape. This strategy does not allow the cut to prefer a certain structure, especially when areas of the object are indistinguishable from the background. We solve this problem by referring to a rectangle shape of the object when sampling the graph nodes, i.e., the nodes are distributed nonuniformly and non-equidistantly on the image. This strategy can be useful, when areas of the object are indistinguishable from the background. For evaluation, we focus on vertebrae images from Magnetic Resonance Imaging (MRI) datasets to support the time consuming manual slice-by-slice segmentation performed by physicians. The ground truth of the vertebrae boundaries were manually extracted by two clinical experts (neurological surgeons) with several years of experience in spine surgery and afterwards compared with the automatic segmentation results of the proposed scheme yielding an average Dice Similarity Coefficient (DSC) of 90.97\pm62.2%.Comment: 13 pages, 17 figures, 2 tables, 3 equations, 42 reference

Segmentierung medizinischer Bilddaten und bildgestützte intraoperative Navigation

Die Entwicklung von Algorithmen zur automatischen oder semi-automatischen Verarbeitung von medizinischen Bilddaten hat in den letzten Jahren mehr und mehr an Bedeutung gewonnen. Das liegt zum einen an den immer besser werdenden medizinischen Aufnahmemodalitäten, die den menschlichen Körper immer feiner virtuell abbilden können. Zum anderen liegt dies an der verbesserten Computerhardware, die eine algorithmische Verarbeitung der teilweise im Gigabyte-Bereich liegenden Datenmengen in einer vernünftigen Zeit erlaubt. Das Ziel dieser Habilitationsschrift ist die Entwicklung und Evaluation von Algorithmen für die medizinische Bildverarbeitung. Insgesamt besteht die Habilitationsschrift aus einer Reihe von Publikationen, die in drei übergreifende Themenbereiche gegliedert sind: -Segmentierung medizinischer Bilddaten anhand von vorlagenbasierten Algorithmen -Experimentelle Evaluation quelloffener Segmentierungsmethoden unter medizinischen Einsatzbedingungen -Navigation zur Unterstützung intraoperativer Therapien Im Bereich Segmentierung medizinischer Bilddaten anhand von vorlagenbasierten Algorithmen wurden verschiedene graphbasierte Algorithmen in 2D und 3D entwickelt, die einen gerichteten Graphen mittels einer Vorlage aufbauen. Dazu gehört die Bildung eines Algorithmus zur Segmentierung von Wirbeln in 2D und 3D. In 2D wird eine rechteckige und in 3D eine würfelförmige Vorlage genutzt, um den Graphen aufzubauen und das Segmentierungsergebnis zu berechnen. Außerdem wird eine graphbasierte Segmentierung von Prostatadrüsen durch eine Kugelvorlage zur automatischen Bestimmung der Grenzen zwischen Prostatadrüsen und umliegenden Organen vorgestellt. Auf den vorlagenbasierten Algorithmen aufbauend, wurde ein interaktiver Segmentierungsalgorithmus, der einem Benutzer in Echtzeit das Segmentierungsergebnis anzeigt, konzipiert und implementiert. Der Algorithmus nutzt zur Segmentierung die verschiedenen Vorlagen, benötigt allerdings nur einen Saatpunkt des Benutzers. In einem weiteren Ansatz kann der Benutzer die Segmentierung interaktiv durch zusätzliche Saatpunkte verfeinern. Dadurch wird es möglich, eine semi-automatische Segmentierung auch in schwierigen Fällen zu einem zufriedenstellenden Ergebnis zu führen. Im Bereich Evaluation quelloffener Segmentierungsmethoden unter medizinischen Einsatzbedingungen wurden verschiedene frei verfügbare Segmentierungsalgorithmen anhand von Patientendaten aus der klinischen Routine getestet. Dazu gehörte die Evaluierung der semi-automatischen Segmentierung von Hirntumoren, zum Beispiel Hypophysenadenomen und Glioblastomen, mit der frei verfügbaren Open Source-Plattform 3D Slicer. Dadurch konnte gezeigt werden, wie eine rein manuelle Schicht-für-Schicht-Vermessung des Tumorvolumens in der Praxis unterstützt und beschleunigt werden kann. Weiterhin wurde die Segmentierung von Sprachbahnen in medizinischen Aufnahmen von Hirntumorpatienten auf verschiedenen Plattformen evaluiert. Im Bereich Navigation zur Unterstützung intraoperativer Therapien wurden Softwaremodule zum Begleiten von intra-operativen Eingriffen in verschiedenen Phasen einer Behandlung (Therapieplanung, Durchführung, Kontrolle) entwickelt. Dazu gehört die erstmalige Integration des OpenIGTLink-Netzwerkprotokolls in die medizinische Prototyping-Plattform MeVisLab, die anhand eines NDI-Navigationssystems evaluiert wurde. Außerdem wurde hier ebenfalls zum ersten Mal die Konzeption und Implementierung eines medizinischen Software-Prototypen zur Unterstützung der intraoperativen gynäkologischen Brachytherapie vorgestellt. Der Software-Prototyp enthielt auch ein Modul zur erweiterten Visualisierung bei der MR-gestützten interstitiellen gynäkologischen Brachytherapie, welches unter anderem die Registrierung eines gynäkologischen Brachytherapie-Instruments in einen intraoperativen Datensatz einer Patientin ermöglichte. Die einzelnen Module führten zur Vorstellung eines umfassenden bildgestützten Systems für die gynäkologische Brachytherapie in einem multimodalen Operationssaal. Dieses System deckt die prä-, intra- und postoperative Behandlungsphase bei einer interstitiellen gynäkologischen Brachytherapie ab

Fusion and Analysis of Multidimensional Medical Image Data

Analýza medicínských obrazů je předmětem základního výzkumu již řadu let. Za tu dobu bylo v této oblasti publikováno mnoho výzkumných prací zabývajících se dílčími částmi jako je rekonstrukce obrazů, restaurace, segmentace, klasifikace, registrace (lícování) a fúze. Kromě obecného úvodu, pojednává tato disertační práce o dvou medicínsky orientovaných tématech, jež byla formulována ve spolupráci s Philips Netherland BV, divizí Philips Healthcare. První téma je zaměřeno na oblast zpracování obrazů subtrakční angiografie dolních končetin člověka získaných pomocí výpočetní X-Ray tomografie (CT). Subtrakční angiografie je obvykle využívaná při podezření na periferní cévní onemocnění (PAOD) nebo při akutním poškození dolních končetin jako jsou fraktury apod. Současné komerční metody nejsou dostatečně spolehlivé už v předzpracování, jako je například odstranění pacientského stolu, pokrývky, dlahy, apod. Spolehlivost a přesnost identifikace cév v subtrahovaných datech vedoucích v blízkosti kostí je v důsledku Partial Volume artefaktu rovněž nízká. Automatické odstranění kalcifikací nebo detekce malých cév doplňujících nezbytnou informaci o náhradním zásobení dolních končetin krví v případě přerušení hlavních zásobujících cév v současné době rovněž nesplňují kritéria pro plně automatické zpracování. Proto hlavním cílem týkající se tohoto tématu bylo vyvinout automatický systém, který by mohl současné nedostatky v CTSA vyšetření odstranit. Druhé téma je orientováno na identifikaci patologických změn na páteři člověka v CT obrazech se zaměřením na osteolytické a osteoblastické léze u jednotlivých obratlů. Tyto změny obvykle nastávají v důsledků postižení metastazujícím procesem rakovinového onemocnění. Pro detekci patologických změn je pak potřeba identifikace a segmentace jednotlivých obratlů. Přesnost analýzy jednotlivých lézí však závisí rovněž na správné identifikaci těla a zadních segmentů u jednotlivých obratlů a na segmentaci trabekulárního centra obratlů, tj. odstranění kortikální kosti. Během léčby mohou být pacienti skenováni vícekrát, obvykle s několika-mesíčním odstupem. Hodnocení případného vývoje již detekovaných patologických změn pak logicky vychází ze správné detekce patologií v jednotlivých obratlech korespondujících si v jednotlivých akvizicích. Jelikož jsou příslušné obratle v jednotlivých akvizicích obvykle na různé pozici, jejich fúze, vedoucí k analýze časového vývoje detekovaných patologií, je komplikovaná. Požadovaným výsledkem v tomto tématu je vytvoření komplexního systému pro detekci patologických změn v páteři, především osteoblastických a osteolytických lézí. Takový systém tedy musí umožnovat jak segmentaci jednotlivých obratlů, jejich automatické rozdělení na hlavní části a odstranění kortikální kosti, tak také detekci patologických změn a jejich hodnocení. Ačkoliv je tato disertační práce v obou výše zmíněných tématech primárně zaměřena na experimentální část zpracování medicínských obrazů, zabývá se všemi nezbytnými kroky, jako je předzpracování, registrace, dodatečné zpracování a hodnocení výsledků, vedoucími k možné aplikovatelnosti obou systému v klinické praxi. Jelikož oba systémy byly řešeny v rámci týmové spolupráce jako celek, u obou témat jsou pro některé konkrétní kroky uvedeny odkazy na doktorskou práci Miloše Malínského.Analysis of medical images has been subject of basic research for many years. Many research papers have been published in the field related to image analysis and focused on partial aspects such as reconstruction, restoration, segmentation and classification, registration (spatial alignment) and fusion. Besides the introduction of related general concepts used in medical image processing, this thesis deals with two specific medical problems formulated in cooperation with Philips Netherland BV, Philips Healthcare division. The first topic is focused on subtraction angiography in patients’ lower legs utilizing image data from X-Ray computed tomography (CT). CT subtraction angiography (CTSA) is typically used for indication of the Peripheral Artery Occlusive Disease (PAOD) and for examination of acute injuries of lower legs such as acute fractures, etc. Current methods in clinical praxis are not sufficient regarding the pre-processing such as masking of patient desk, cover, splint, etc. The subtraction of blood vessels adjacent to neighboring bones in lower legs is of low accuracy due to the Partial Volume artifact. Masking of calcifications and detection of tiny blood vessels complementing necessary information about the alternative blood supply in lower legs in case of obstruction in main arteries is also not reliable for fully automated process presently. Therefore, the main aim regarding this topic was to develop an automated framework that could overcome current shortcomings in CTSA examination. The second topic is oriented on the identification and evaluation of pathologic changes in human spine, focusing on osteolytic and osteoblastic lesions in individual vertebrae in CT images. Such changes occur typically as a consequence of metastasizing process of cancerous disease. For the detection of pathologic changes, an identification and segmentation of individual vertebrae is necessary. Moreover, the analysis of individual lesions in vertebrae depends also on correct identification of vertebral body and posterior segments of each vertebra, and on segmentation of their trabecular centers. Patients are typically examined more than once during their therapy. Then, the evaluation of possible tumorous progression is based on accurate detection of pathologies in individual vertebrae in the base-line and corresponding follow-up images. Since the corresponding vertebrae are in mutually different positions in the follow-up images, their fusion leading to the analysis of the lesion progression is complicated. The main aim regarding this topic is to develop a complex framework for detection of pathologic lesions on spine, with the main focus on osteoblastic and osteolystic lesions. Such system has to provide not only reliable segmentation of individual vertebrae and detection of their main regions but also the masking of their cortical bone, detection of their pathologic changes and their evaluation. Although this dissertation thesis is primarily oriented at the experimental part of medical image processing considering both the above mentioned topics, it deals with all necessary processing steps, i.e. preprocessing, image registration, post-processing and evaluation of results, leading to the future use of both frameworks in clinical practice. Since both frameworks were developed in a team, there are some chapters referring to the dissertation thesis of Milos Malinsky.

Computational Anatomy for Multi-Organ Analysis in Medical Imaging: A Review

The medical image analysis field has traditionally been focused on the development of organ-, and disease-specific methods. Recently, the interest in the development of more 20 comprehensive computational anatomical models has grown, leading to the creation of multi-organ models. Multi-organ approaches, unlike traditional organ-specific strategies, incorporate inter-organ relations into the model, thus leading to a more accurate representation of the complex human anatomy. Inter-organ relations are not only spatial, but also functional and physiological. Over the years, the strategies 25 proposed to efficiently model multi-organ structures have evolved from the simple global modeling, to more sophisticated approaches such as sequential, hierarchical, or machine learning-based models. In this paper, we present a review of the state of the art on multi-organ analysis and associated computation anatomy methodology. The manuscript follows a methodology-based classification of the different techniques 30 available for the analysis of multi-organs and multi-anatomical structures, from techniques using point distribution models to the most recent deep learning-based approaches. With more than 300 papers included in this review, we reflect on the trends and challenges of the field of computational anatomy, the particularities of each anatomical region, and the potential of multi-organ analysis to increase the impact of 35 medical imaging applications on the future of healthcare.Comment: Paper under revie

Advanced Algorithms for 3D Medical Image Data Fusion in Specific Medical Problems

Fúze obrazu je dnes jednou z nejběžnějších avšak stále velmi diskutovanou oblastí v lékařském zobrazování a hraje důležitou roli ve všech oblastech lékařské péče jako je diagnóza, léčba a chirurgie. V této dizertační práci jsou představeny tři projekty, které jsou velmi úzce spojeny s oblastí fúze medicínských dat. První projekt pojednává o 3D CT subtrakční angiografii dolních končetin. V práci je využito kombinace kontrastních a nekontrastních dat pro získání kompletního cévního stromu. Druhý projekt se zabývá fúzí DTI a T1 váhovaných MRI dat mozku. Cílem tohoto projektu je zkombinovat stukturální a funkční informace, které umožňují zlepšit znalosti konektivity v mozkové tkáni. Třetí projekt se zabývá metastázemi v CT časových datech páteře. Tento projekt je zaměřen na studium vývoje metastáz uvnitř obratlů ve fúzované časové řadě snímků. Tato dizertační práce představuje novou metodologii pro klasifikaci těchto metastáz. Všechny projekty zmíněné v této dizertační práci byly řešeny v rámci pracovní skupiny zabývající se analýzou lékařských dat, kterou vedl pan Prof. Jiří Jan. Tato dizertační práce obsahuje registrační část prvního a klasifikační část třetího projektu. Druhý projekt je představen kompletně. Další část prvního a třetího projektu, obsahující specifické předzpracování dat, jsou obsaženy v disertační práci mého kolegy Ing. Romana Petera.Image fusion is one of today´s most common and still challenging tasks in medical imaging and it plays crucial role in all areas of medical care such as diagnosis, treatment and surgery. Three projects crucially dependent on image fusion are introduced in this thesis. The first project deals with the 3D CT subtraction angiography of lower limbs. It combines pre-contrast and contrast enhanced data to extract the blood vessel tree. The second project fuses the DTI and T1-weighted MRI brain data. The aim of this project is to combine the brain structural and functional information that purvey improved knowledge about intrinsic brain connectivity. The third project deals with the time series of CT spine data where the metastases occur. In this project the progression of metastases within the vertebrae is studied based on fusion of the successive elements of the image series. This thesis introduces new methodology of classifying metastatic tissue. All the projects mentioned in this thesis have been solved by the medical image analysis group led by Prof. Jiří Jan. This dissertation concerns primarily the registration part of the first project and the classification part of the third project. The second project is described completely. The other parts of the first and third project, including the specific preprocessing of the data, are introduced in detail in the dissertation thesis of my colleague Roman Peter, M.Sc.

Texture analysis and Its applications in biomedical imaging: a survey

Texture analysis describes a variety of image analysis techniques that quantify the variation in intensity and pattern. This paper provides an overview of several texture analysis approaches addressing the rationale supporting them, their advantages, drawbacks, and applications. This survey’s emphasis is in collecting and categorising over five decades of active research on texture analysis.Brief descriptions of different approaches are presented along with application examples. From a broad range of texture analysis applications, this survey’s final focus is on biomedical image analysis. An up-to-date list of biological tissues and organs in which disorders produce texture changes that may be used to spot disease onset and progression is provided. Finally, the role of texture analysis methods as biomarkers of disease is summarised.Manuscript received February 3, 2021; revised June 23, 2021; accepted September 21, 2021. Date of publication September 27, 2021; date of current version January 24, 2022. This work was supported in part by the Portuguese Foundation for Science and Technology (FCT) under Grants PTDC/EMD-EMD/28039/2017, UIDB/04950/2020, PestUID/NEU/04539/2019, and CENTRO-01-0145-FEDER-000016 and by FEDER-COMPETE under Grant POCI-01-0145-FEDER-028039. (Corresponding author: Rui Bernardes.)info:eu-repo/semantics/publishedVersio