3,722 research outputs found
An Unsupervised Learning Model for Deformable Medical Image Registration
We present a fast learning-based algorithm for deformable, pairwise 3D
medical image registration. Current registration methods optimize an objective
function independently for each pair of images, which can be time-consuming for
large data. We define registration as a parametric function, and optimize its
parameters given a set of images from a collection of interest. Given a new
pair of scans, we can quickly compute a registration field by directly
evaluating the function using the learned parameters. We model this function
using a convolutional neural network (CNN), and use a spatial transform layer
to reconstruct one image from another while imposing smoothness constraints on
the registration field. The proposed method does not require supervised
information such as ground truth registration fields or anatomical landmarks.
We demonstrate registration accuracy comparable to state-of-the-art 3D image
registration, while operating orders of magnitude faster in practice. Our
method promises to significantly speed up medical image analysis and processing
pipelines, while facilitating novel directions in learning-based registration
and its applications. Our code is available at
https://github.com/balakg/voxelmorph .Comment: 9 pages, in CVPR 201
Most Likely Separation of Intensity and Warping Effects in Image Registration
This paper introduces a class of mixed-effects models for joint modeling of
spatially correlated intensity variation and warping variation in 2D images.
Spatially correlated intensity variation and warp variation are modeled as
random effects, resulting in a nonlinear mixed-effects model that enables
simultaneous estimation of template and model parameters by optimization of the
likelihood function. We propose an algorithm for fitting the model which
alternates estimation of variance parameters and image registration. This
approach avoids the potential estimation bias in the template estimate that
arises when treating registration as a preprocessing step. We apply the model
to datasets of facial images and 2D brain magnetic resonance images to
illustrate the simultaneous estimation and prediction of intensity and warp
effects
Temporal Interpolation via Motion Field Prediction
Navigated 2D multi-slice dynamic Magnetic Resonance (MR) imaging enables high
contrast 4D MR imaging during free breathing and provides in-vivo observations
for treatment planning and guidance. Navigator slices are vital for
retrospective stacking of 2D data slices in this method. However, they also
prolong the acquisition sessions. Temporal interpolation of navigator slices an
be used to reduce the number of navigator acquisitions without degrading
specificity in stacking. In this work, we propose a convolutional neural
network (CNN) based method for temporal interpolation via motion field
prediction. The proposed formulation incorporates the prior knowledge that a
motion field underlies changes in the image intensities over time. Previous
approaches that interpolate directly in the intensity space are prone to
produce blurry images or even remove structures in the images. Our method
avoids such problems and faithfully preserves the information in the image.
Further, an important advantage of our formulation is that it provides an
unsupervised estimation of bi-directional motion fields. We show that these
motion fields can be used to halve the number of registrations required during
4D reconstruction, thus substantially reducing the reconstruction time.Comment: Submitted to 1st Conference on Medical Imaging with Deep Learning
(MIDL 2018), Amsterdam, The Netherland
Application of artificial vision algorithms to images of microscopy and spectroscopy for the improvement of cancer diagnosis
El diagnóstico final de la mayoría de tipos de cáncer lo realiza un médico experto en anatomía patológica que examina muestras tisulares o celulares sospechosas extraídas del paciente. Actualmente, esta evaluación depende en gran medida de la experiencia del médico y se lleva a cabo de forma cualitativa mediante técnicas de imagen tradicionales como la microscopía óptica. Esta tarea tediosa está sujeta a altos grados de subjetividad y da lugar a niveles de discordancia inadecuados entre diferentes patólogos, especialmente en las primeras etapas de desarrollo del cáncer.
La espectroscopía infrarroja por Transformada de Fourier (siglas FTIR en inglés) es una tecnología ampliamente utilizada en la industria que recientemente ha demostrado una capacidad creciente para mejorar el diagnóstico de diferentes tipos de cáncer. Esta técnica aprovecha las propiedades del infrarrojo medio para excitar los modos vibratorios de los enlaces químicos que forman las muestras biológicas. La principal señal generada consiste en un espectro de absorción que informa sobre la composición química de la muestra iluminada. Los microespectrómetros FTIR modernos, compuestos por complejos componentes ópticos y detectores matriciales de alta sensibilidad, permiten capturar en un laboratorio de investigación común imágenes hiperespectrales de alta calidad que aúnan información química y espacial. Las imágenes FTIR son estructuras de datos ricas en información que se pueden analizar individualmente o junto con otras modalidades de imagen para realizar diagnósticos patológicos objetivos. Por lo tanto, esta técnica de imagen emergente alberga un alto potencial para mejorar la detección y la graduación del riesgo del paciente en el cribado y vigilancia de cáncer.
Esta tesis estudia e implementa diferentes metodologías y algoritmos de los campos interrelacionados de procesamiento de imagen, visión por ordenador, aprendizaje automático, reconocimiento de patrones, análisis multivariante y quimiometría para el procesamiento y análisis de imágenes hiperespectrales FTIR. Estas imágenes se capturaron con un moderno microscopio FTIR de laboratorio a partir de muestras de tejidos y células afectadas por cáncer colorrectal y de piel, las cuales se prepararon siguiendo protocolos alineados con la práctica clínica actual. Los conceptos más relevantes de la espectroscopía FTIR se investigan profundamente, ya que deben ser comprendidos y tenidos en cuenta para llevar a cabo una correcta interpretación y tratamiento de sus señales especiales. En particular, se revisan y analizan diferentes factores fisicoquímicos que influyen en las mediciones espectroscópicas en el caso particular de muestras biológicas y pueden afectar críticamente su análisis posterior.
Todos estos conceptos y estudios preliminares entran en juego en dos aplicaciones principales. La primera aplicación aborda el problema del registro o alineación de imágenes hiperespectrales FTIR con imágenes en color adquiridas con microscopios tradicionales. El objetivo es fusionar la información espacial de distintas muestras de tejido medidas con esas dos modalidades de imagen y centrar la discriminación en las regiones seleccionadas por los patólogos, las cuales se consideran más relevantes para el diagnóstico de cáncer colorrectal. En la segunda aplicación, la espectroscopía FTIR se lleva a sus límites de detección para el estudio de las entidades biomédicas más pequeñas. El objetivo es evaluar las capacidades de las señales FTIR para discriminar de manera fiable diferentes tipos de células de piel que contienen fenotipos malignos. Los estudios desarrollados contribuyen a la mejora de métodos de decisión objetivos que ayuden al patólogo en el diagnóstico final del cáncer. Además, revelan las limitaciones de los protocolos actuales y los problemas intrínsecos de la tecnología FTIR moderna, que deberían abordarse para permitThe final diagnosis of most types of cancers is performed by an expert clinician in anatomical pathology who examines suspicious tissue or cell samples extracted from the patient. Currently, this assessment largely relies on the experience of the clinician and is accomplished in a qualitative manner by means of traditional imaging techniques, such as optical microscopy. This tedious task is subject to high degrees of subjectivity and gives rise to suboptimal levels of discordance between different pathologists, especially in early stages of cancer development.
Fourier Transform infrared (FTIR) spectroscopy is a technology widely used in industry that has recently shown an increasing capability to improve the diagnosis of different types of cancer. This technique takes advantage of the ability of mid-infrared light to excite the vibrational modes of the chemical bonds that form the biological samples. The main generated signal consists of an absorption spectrum that informs of the chemical composition of the illuminated specimen. Modern FTIR microspectrometers, composed of complex optical components and high-sensitive array detectors, allow the acquisition of high-quality hyperspectral images with spatially-resolved chemical information in a common research laboratory. FTIR images are information-rich data structures that can be analysed alone or together with other imaging modalities to provide objective pathological diagnoses. Hence, this emerging imaging technique presents a high potential to improve the detection and risk stratification in cancer screening and surveillance.
This thesis studies and implements different methodologies and algorithms from the related fields of image processing, computer vision, machine learning, pattern recognition, multivariate analysis and chemometrics for the processing and analysis of FTIR hyperspectral images. Those images were acquired with a modern benchtop FTIR microspectrometer from tissue and cell samples affected by colorectal and skin cancer, which were prepared by following protocols close to the current clinical practise. The most relevant concepts of FTIR spectroscopy are thoroughly investigated, which ought to be understood and considered to perform a correct interpretation and treatment of its special signals. In particular, different physicochemical factors are reviewed and analysed, which influence the spectroscopic measurements for the particular case of biological samples and can critically affect their later analysis.
All these knowledge and preliminary studies come into play in two main applications. The first application tackles the problem of registration or alignment of FTIR hyperspectral images with colour images acquired with traditional microscopes. The aim is to fuse the spatial information of distinct tissue samples measured by those two imaging modalities and focus the discrimination on regions selected by the pathologists, which are meant to be the most relevant areas for the diagnosis of colorectal cancer. In the second application, FTIR spectroscopy is pushed to their limits of detection for the study of the smallest biomedical entities. The aim is to assess the capabilities of FTIR signals to reliably discriminate different types of skin cells containing malignant phenotypes. The developed studies contribute to the improvement of objective decision methods to support the pathologist in the final diagnosis of cancer. In addition, they reveal the limitations of current protocols and intrinsic problems of modern FTIR technology, which should be tackled in order to enable its transference to anatomical pathology laboratories in the future.El diagnòstic final de la majoria de tipus de càncer ho realitza un metge expert en anatomia patològica que examina mostres tissulars o cel¿lulars sospitoses extretes del pacient. Actualment, aquesta avaluació depèn en gran part de l'experiència del metge i es porta a terme de forma qualitativa mitjançant tècniques d'imatge tradicionals com la microscòpia òptica. Aquesta tasca tediosa està subjecta a alts graus de subjectivitat i dóna lloc a nivells de discordança inadequats entre diferents patòlegs, especialment en les primeres etapes de desenvolupament del càncer.
L'espectroscòpia infraroja per Transformada de Fourier (sigles FTIR en anglès) és una tecnologia àmpliament utilitzada en la indústria que recentment ha demostrat una capacitat creixent per millorar el diagnòstic de diferents tipus de càncer. Aquesta tècnica aprofita les propietats de l'infraroig mitjà per excitar els modes vibratoris dels enllaços químics que formen les mostres biològiques. El principal senyal generat consisteix en un espectre d'absorció que informa sobre la composició química de la mostra il¿luminada. Els microespectrómetres FTIR moderns, compostos per complexos components òptics i detectors matricials d'alta sensibilitat, permeten capturar en un laboratori d'investigació comú imatges hiperespectrals d'alta qualitat que uneixen informació química i espacial. Les imatges FTIR són estructures de dades riques en informació que es poden analitzar individualment o juntament amb altres modalitats d'imatge per a realitzar diagnòstics patològics objectius. Per tant, aquesta tècnica d'imatge emergent té un alt potencial per a millorar la detecció i la graduació del risc del pacient en el cribratge i vigilància de càncer.
Aquesta tesi estudia i implementa diferents metodologies i algoritmes dels camps interrelacionats de processament d'imatge, visió per ordinador, aprenentatge automàtic, reconeixement de patrons, anàlisi multivariant i quimiometria per al processament i anàlisi d'imatges hiperespectrals FTIR. Aquestes imatges es van capturar amb un modern microscopi FTIR de laboratori a partir de mostres de teixits i cèl¿lules afectades per càncer colorectal i de pell, les quals es van preparar seguint protocols alineats amb la pràctica clínica actual. Els conceptes més rellevants de l'espectroscòpia FTIR s'investiguen profundament, ja que han de ser compresos i tinguts en compte per dur a terme una correcta interpretació i tractament dels seus senyals especials. En particular, es revisen i analitzen diferents factors fisicoquímics que influeixen en els mesuraments espectroscòpiques en el cas particular de mostres biològiques i poden afectar críticament la seua anàlisi posterior.
Tots aquests conceptes i estudis preliminars entren en joc en dues aplicacions principals. La primera aplicació aborda el problema del registre o alineació d'imatges hiperespectrals FTIR amb imatges en color adquirides amb microscopis tradicionals. L'objectiu és fusionar la informació espacial de diferents mostres de teixit mesurades amb aquestes dues modalitats d'imatge i centrar la discriminació en les regions seleccionades pels patòlegs, les quals es consideren més rellevants per al diagnòstic de càncer colorectal. En la segona aplicació, l'espectroscòpia FTIR es porta als seus límits de detecció per a l'estudi de les entitats biomèdiques més xicotetes. L'objectiu és avaluar les capacitats dels senyals FTIR per discriminar de manera fiable diferents tipus de cèl¿lules de pell que contenen fenotips malignes. Els estudis desenvolupats contribueixen a la millora de mètodes de decisió objectius que ajuden el patòleg en el diagnòstic final del càncer. A més, revelen les limitacions dels protocols actuals i els problemes intrínsecs de la tecnologia FTIR moderna, que haurien d'abordar per permetre la seva transferència als laboratoris d'anatomia patològica en el futur.Peñaranda Gómez, FJ. (2018). Application of artificial vision algorithms to images of microscopy and spectroscopy for the improvement of cancer diagnosis [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/99748TESI
Advanced Algorithms for 3D Medical Image Data Fusion in Specific Medical Problems
Fúze obrazu je dnes jednou z nejběžnějších avšak stále velmi diskutovanou oblastí v lékařském zobrazování a hraje důležitou roli ve všech oblastech lékařské péče jako je diagnóza, léčba a chirurgie. V této dizertační práci jsou představeny tři projekty, které jsou velmi úzce spojeny s oblastí fúze medicínských dat. První projekt pojednává o 3D CT subtrakční angiografii dolních končetin. V práci je využito kombinace kontrastních a nekontrastních dat pro získání kompletního cévního stromu. Druhý projekt se zabývá fúzí DTI a T1 váhovaných MRI dat mozku. Cílem tohoto projektu je zkombinovat stukturální a funkční informace, které umožňují zlepšit znalosti konektivity v mozkové tkáni. Třetí projekt se zabývá metastázemi v CT časových datech páteře. Tento projekt je zaměřen na studium vývoje metastáz uvnitř obratlů ve fúzované časové řadě snímků. Tato dizertační práce představuje novou metodologii pro klasifikaci těchto metastáz. Všechny projekty zmíněné v této dizertační práci byly řešeny v rámci pracovní skupiny zabývající se analýzou lékařských dat, kterou vedl pan Prof. Jiří Jan. Tato dizertační práce obsahuje registrační část prvního a klasifikační část třetího projektu. Druhý projekt je představen kompletně. Další část prvního a třetího projektu, obsahující specifické předzpracování dat, jsou obsaženy v disertační práci mého kolegy Ing. Romana Petera.Image fusion is one of today´s most common and still challenging tasks in medical imaging and it plays crucial role in all areas of medical care such as diagnosis, treatment and surgery. Three projects crucially dependent on image fusion are introduced in this thesis. The first project deals with the 3D CT subtraction angiography of lower limbs. It combines pre-contrast and contrast enhanced data to extract the blood vessel tree. The second project fuses the DTI and T1-weighted MRI brain data. The aim of this project is to combine the brain structural and functional information that purvey improved knowledge about intrinsic brain connectivity. The third project deals with the time series of CT spine data where the metastases occur. In this project the progression of metastases within the vertebrae is studied based on fusion of the successive elements of the image series. This thesis introduces new methodology of classifying metastatic tissue. All the projects mentioned in this thesis have been solved by the medical image analysis group led by Prof. Jiří Jan. This dissertation concerns primarily the registration part of the first project and the classification part of the third project. The second project is described completely. The other parts of the first and third project, including the specific preprocessing of the data, are introduced in detail in the dissertation thesis of my colleague Roman Peter, M.Sc.
Fully Automatic Expression-Invariant Face Correspondence
We consider the problem of computing accurate point-to-point correspondences
among a set of human face scans with varying expressions. Our fully automatic
approach does not require any manually placed markers on the scan. Instead, the
approach learns the locations of a set of landmarks present in a database and
uses this knowledge to automatically predict the locations of these landmarks
on a newly available scan. The predicted landmarks are then used to compute
point-to-point correspondences between a template model and the newly available
scan. To accurately fit the expression of the template to the expression of the
scan, we use as template a blendshape model. Our algorithm was tested on a
database of human faces of different ethnic groups with strongly varying
expressions. Experimental results show that the obtained point-to-point
correspondence is both highly accurate and consistent for most of the tested 3D
face models
- …