802 research outputs found

    PSACNN: Pulse Sequence Adaptive Fast Whole Brain Segmentation

    Full text link
    With the advent of convolutional neural networks~(CNN), supervised learning methods are increasingly being used for whole brain segmentation. However, a large, manually annotated training dataset of labeled brain images required to train such supervised methods is frequently difficult to obtain or create. In addition, existing training datasets are generally acquired with a homogeneous magnetic resonance imaging~(MRI) acquisition protocol. CNNs trained on such datasets are unable to generalize on test data with different acquisition protocols. Modern neuroimaging studies and clinical trials are necessarily multi-center initiatives with a wide variety of acquisition protocols. Despite stringent protocol harmonization practices, it is very difficult to standardize the gamut of MRI imaging parameters across scanners, field strengths, receive coils etc., that affect image contrast. In this paper we propose a CNN-based segmentation algorithm that, in addition to being highly accurate and fast, is also resilient to variation in the input acquisition. Our approach relies on building approximate forward models of pulse sequences that produce a typical test image. For a given pulse sequence, we use its forward model to generate plausible, synthetic training examples that appear as if they were acquired in a scanner with that pulse sequence. Sampling over a wide variety of pulse sequences results in a wide variety of augmented training examples that help build an image contrast invariant model. Our method trains a single CNN that can segment input MRI images with acquisition parameters as disparate as T1T_1-weighted and T2T_2-weighted contrasts with only T1T_1-weighted training data. The segmentations generated are highly accurate with state-of-the-art results~(overall Dice overlap=0.94=0.94), with a fast run time~(≈\approx 45 seconds), and consistent across a wide range of acquisition protocols.Comment: Typo in author name corrected. Greves -> Grev

    Piecewise Affine Registration of Biological Images for Volume Reconstruction

    Get PDF
    This manuscript tackles the reconstruction of 3D volumes via mono-modal registration of series of 2D biological images (histological sections, autoradiographs, cryosections, etc.). The process of acquiring these images typically induces composite transformations that we model as a number of rigid or affine local transformations embedded in an elastic one. We propose a registration approach closely derived from this model. Given a pair of input images, we first compute a dense similarity field between them with a block matching algorithm. We use as a similarity measure an extension of the classical correlation coefficient that improves the consistency of the field. A hierarchical clustering algorithm then automatically partitions the field into a number of classes from which we extract independent pairs of sub-images. Our clustering algorithm relies on the Earth mover’s distribution metric and is additionally guided by robust least-square estimation of the transformations associated with each cluster. Finally, the pairs of sub-images are, independently, affinely registered and a hybrid affine/non-linear interpolation scheme is used to compose the output registered image. We investigate the behavior of our approach on several batches of histological data and discuss its sensitivity to parameters and noise

    Deep Multimodality Image-Guided System for Assisting Neurosurgery

    Get PDF
    Intrakranielle Hirntumoren gehören zu den zehn hĂ€ufigsten bösartigen Krebsarten und sind fĂŒr eine erhebliche MorbiditĂ€t und MortalitĂ€t verantwortlich. Die grĂ¶ĂŸte histologische Kategorie der primĂ€ren Hirntumoren sind die Gliome, die ein Ă€ußerst heterogenes Erschei-nungsbild aufweisen und radiologisch schwer von anderen HirnlĂ€sionen zu unterscheiden sind. Die Neurochirurgie ist meist die Standardbehandlung fĂŒr neu diagnostizierte Gliom-Patienten und kann von einer Strahlentherapie und einer adjuvanten Temozolomid-Chemotherapie gefolgt werden. Die Hirntumorchirurgie steht jedoch vor großen Herausforderungen, wenn es darum geht, eine maximale Tumorentfernung zu erreichen und gleichzeitig postoperative neurologische Defizite zu vermeiden. Zwei dieser neurochirurgischen Herausforderungen werden im Folgenden vorgestellt. Erstens ist die manuelle Abgrenzung des Glioms einschließlich seiner Unterregionen aufgrund seines infiltrativen Charakters und des Vorhandenseins einer heterogenen KontrastverstĂ€rkung schwierig. Zweitens verformt das Gehirn seine Form ̶ die so genannte "Hirnverschiebung" ̶ als Reaktion auf chirurgische Manipulationen, Schwellungen durch osmotische Medikamente und AnĂ€sthesie, was den Nutzen prĂ€opera-tiver Bilddaten fĂŒr die Steuerung des Eingriffs einschrĂ€nkt. Bildgesteuerte Systeme bieten Ärzten einen unschĂ€tzbaren Einblick in anatomische oder pathologische Ziele auf der Grundlage moderner BildgebungsmodalitĂ€ten wie Magnetreso-nanztomographie (MRT) und Ultraschall (US). Bei den bildgesteuerten Instrumenten handelt es sich hauptsĂ€chlich um computergestĂŒtzte Systeme, die mit Hilfe von Computer-Vision-Methoden die DurchfĂŒhrung perioperativer chirurgischer Eingriffe erleichtern. Die Chirurgen mĂŒssen jedoch immer noch den Operationsplan aus prĂ€operativen Bildern gedanklich mit Echtzeitinformationen zusammenfĂŒhren, wĂ€hrend sie die chirurgischen Instrumente im Körper manipulieren und die Zielerreichung ĂŒberwachen. Daher war die Notwendigkeit einer BildfĂŒhrung wĂ€hrend neurochirurgischer Eingriffe schon immer ein wichtiges Anliegen der Ärzte. Ziel dieser Forschungsarbeit ist die Entwicklung eines neuartigen Systems fĂŒr die peri-operative bildgefĂŒhrte Neurochirurgie (IGN), nĂ€mlich DeepIGN, mit dem die erwarteten Ergebnisse der Hirntumorchirurgie erzielt werden können, wodurch die GesamtĂŒberle-bensrate maximiert und die postoperative neurologische MorbiditĂ€t minimiert wird. Im Rahmen dieser Arbeit werden zunĂ€chst neuartige Methoden fĂŒr die Kernbestandteile des DeepIGN-Systems der Hirntumor-Segmentierung im MRT und der multimodalen prĂ€ope-rativen MRT zur intraoperativen US-Bildregistrierung (iUS) unter Verwendung der jĂŒngs-ten Entwicklungen im Deep Learning vorgeschlagen. Anschließend wird die Ergebnisvor-hersage der verwendeten Deep-Learning-Netze weiter interpretiert und untersucht, indem fĂŒr den Menschen verstĂ€ndliche, erklĂ€rbare Karten erstellt werden. Schließlich wurden Open-Source-Pakete entwickelt und in weithin anerkannte Software integriert, die fĂŒr die Integration von Informationen aus Tracking-Systemen, die Bildvisualisierung und -fusion sowie die Anzeige von Echtzeit-Updates der Instrumente in Bezug auf den Patientenbe-reich zustĂ€ndig ist. Die Komponenten von DeepIGN wurden im Labor validiert und in einem simulierten Operationssaal evaluiert. FĂŒr das Segmentierungsmodul erreichte DeepSeg, ein generisches entkoppeltes Deep-Learning-Framework fĂŒr die automatische Abgrenzung von Gliomen in der MRT des Gehirns, eine Genauigkeit von 0,84 in Bezug auf den WĂŒrfelkoeffizienten fĂŒr das Bruttotumorvolumen. Leistungsverbesserungen wurden bei der Anwendung fort-schrittlicher Deep-Learning-AnsĂ€tze wie 3D-Faltungen ĂŒber alle Schichten, regionenbasier-tes Training, fliegende Datenerweiterungstechniken und Ensemble-Methoden beobachtet. Um Hirnverschiebungen zu kompensieren, wird ein automatisierter, schneller und genauer deformierbarer Ansatz, iRegNet, fĂŒr die Registrierung prĂ€operativer MRT zu iUS-Volumen als Teil des multimodalen Registrierungsmoduls vorgeschlagen. Es wurden umfangreiche Experimente mit zwei Multi-Location-Datenbanken durchgefĂŒhrt: BITE und RESECT. Zwei erfahrene Neurochirurgen fĂŒhrten eine zusĂ€tzliche qualitative Validierung dieser Studie durch, indem sie MRT-iUS-Paare vor und nach der deformierbaren Registrierung ĂŒberlagerten. Die experimentellen Ergebnisse zeigen, dass das vorgeschlagene iRegNet schnell ist und die besten Genauigkeiten erreicht. DarĂŒber hinaus kann das vorgeschlagene iRegNet selbst bei nicht trainierten Bildern konkurrenzfĂ€hige Ergebnisse liefern, was seine AllgemeingĂŒltigkeit unter Beweis stellt und daher fĂŒr die intraoperative neurochirurgische FĂŒhrung von Nutzen sein kann. FĂŒr das Modul "ErklĂ€rbarkeit" wird das NeuroXAI-Framework vorgeschlagen, um das Vertrauen medizinischer Experten in die Anwendung von KI-Techniken und tiefen neuro-nalen Netzen zu erhöhen. Die NeuroXAI umfasst sieben ErklĂ€rungsmethoden, die Visuali-sierungskarten bereitstellen, um tiefe Lernmodelle transparent zu machen. Die experimen-tellen Ergebnisse zeigen, dass der vorgeschlagene XAI-Rahmen eine gute Leistung bei der Extraktion lokaler und globaler Kontexte sowie bei der Erstellung erklĂ€rbarer Salienzkar-ten erzielt, um die Vorhersage des tiefen Netzwerks zu verstehen. DarĂŒber hinaus werden Visualisierungskarten erstellt, um den Informationsfluss in den internen Schichten des Encoder-Decoder-Netzwerks zu erkennen und den Beitrag der MRI-ModalitĂ€ten zur end-gĂŒltigen Vorhersage zu verstehen. Der ErklĂ€rungsprozess könnte medizinischen Fachleu-ten zusĂ€tzliche Informationen ĂŒber die Ergebnisse der Tumorsegmentierung liefern und somit helfen zu verstehen, wie das Deep-Learning-Modell MRT-Daten erfolgreich verar-beiten kann. Außerdem wurde ein interaktives neurochirurgisches Display fĂŒr die EingriffsfĂŒhrung entwickelt, das die verfĂŒgbare kommerzielle Hardware wie iUS-NavigationsgerĂ€te und Instrumentenverfolgungssysteme unterstĂŒtzt. Das klinische Umfeld und die technischen Anforderungen des integrierten multimodalen DeepIGN-Systems wurden mit der FĂ€higkeit zur Integration von (1) prĂ€operativen MRT-Daten und zugehörigen 3D-Volumenrekonstruktionen, (2) Echtzeit-iUS-Daten und (3) positioneller Instrumentenver-folgung geschaffen. Die Genauigkeit dieses Systems wurde anhand eines benutzerdefi-nierten Agar-Phantom-Modells getestet, und sein Einsatz in einem vorklinischen Operati-onssaal wurde simuliert. Die Ergebnisse der klinischen Simulation bestĂ€tigten, dass die Montage des Systems einfach ist, in einer klinisch akzeptablen Zeit von 15 Minuten durchgefĂŒhrt werden kann und mit einer klinisch akzeptablen Genauigkeit erfolgt. In dieser Arbeit wurde ein multimodales IGN-System entwickelt, das die jĂŒngsten Fort-schritte im Bereich des Deep Learning nutzt, um Neurochirurgen prĂ€zise zu fĂŒhren und prĂ€- und intraoperative Patientenbilddaten sowie interventionelle GerĂ€te in das chirurgi-sche Verfahren einzubeziehen. DeepIGN wurde als Open-Source-Forschungssoftware entwickelt, um die Forschung auf diesem Gebiet zu beschleunigen, die gemeinsame Nut-zung durch mehrere Forschungsgruppen zu erleichtern und eine kontinuierliche Weiter-entwicklung durch die Gemeinschaft zu ermöglichen. Die experimentellen Ergebnisse sind sehr vielversprechend fĂŒr die Anwendung von Deep-Learning-Modellen zur UnterstĂŒtzung interventioneller Verfahren - ein entscheidender Schritt zur Verbesserung der chirurgi-schen Behandlung von Hirntumoren und der entsprechenden langfristigen postoperativen Ergebnisse

    GPU Accelerated Viscous-fluid Deformable Registration for Radiotherapy

    Get PDF
    In cancer treatment organ and tissue deformation betweenradiotherapy sessions represent a significant challenge to op-timal planning and delivery of radiation doses. Recent de-velopments in image guided radiotherapy has caused a soundrequest for more advanced approaches for image registrationto handle these deformations. Viscous-fluid registration isone such deformable registration method. A drawback withthis method has been that it has required computation timesthat were too long to make the approach clinically appli-cable. With recent advances in programmability of graph-ics hardware, complex user defined calculations can now beperformed on consumer graphics cards (GPUs). This pa-per demonstrates that the GPU can be used to drasticallyreduce the time needed to register two medical 3D imagesusing the viscous-fluid registration method. This facilitatesan increased incorporation of image registration in radio-therapy treatment of cancer patients, potentially leading tomore efficient treatment with less severe side effects

    An Investigation of Methods for CT Synthesis in MR-only Radiotherapy

    Get PDF

    Medical Image Registration: Statistical Models of Performance in Relation to the Statistical Characteristics of the Image Data

    Get PDF
    For image-guided interventions, the imaging task often pertains to registering preoperative and intraoperative images within a common coordinate system. While the accuracy of the registration is directly tied to the accuracy of targeting in the intervention (and presumably the success of the medical outcome), there is relatively little quantitative understanding of the fundamental factors that govern image registration accuracy. A statistical framework is presented that relates models of image noise and spatial resolution to the task of registration, giving theoretical limits on registration accuracy and providing guidance for the selection of image acquisition and post-processing parameters. The framework is further shown to model the confounding influence of soft-tissue deformation in rigid image registration — accurately predicting the reduction in registration accuracy and revealing similarity metrics that are robust against such effects. Furthermore, the framework is shown to provide conceptual guidance in the development of a novel CT-to-radiograph registration method that accounts for deformation. The work also examines a learning-based method for deformable registration to investigate how the statistical characteristics of the training data affect the ability of the model to generalize to test data with differing statistical characteristics. The analysis provides insight on the benefits of statistically diverse training data in generalizability of a neural network and is further applied to the development of a learning-based MR-to-CT synthesis method. Overall, the work yields a quantitative approach to theoretically and experimentally relate the accuracy of image registration to the statistical characteristics of the image data, providing a rigorous guide to the development of new registration methods

    Model-free Consensus Maximization for Non-Rigid Shapes

    Full text link
    Many computer vision methods use consensus maximization to relate measurements containing outliers with the correct transformation model. In the context of rigid shapes, this is typically done using Random Sampling and Consensus (RANSAC) by estimating an analytical model that agrees with the largest number of measurements (inliers). However, small parameter models may not be always available. In this paper, we formulate the model-free consensus maximization as an Integer Program in a graph using `rules' on measurements. We then provide a method to solve it optimally using the Branch and Bound (BnB) paradigm. We focus its application on non-rigid shapes, where we apply the method to remove outlier 3D correspondences and achieve performance superior to the state of the art. Our method works with outlier ratio as high as 80\%. We further derive a similar formulation for 3D template to image matching, achieving similar or better performance compared to the state of the art.Comment: ECCV1
    • 

    corecore