Robust Multimodal Image Registration Using Deep Recurrent Reinforcement Learning

The crucial components of a conventional image registration method are the choice of the right feature representations and similarity measures. These two components, although elaborately designed, are somewhat handcrafted using human knowledge. To this end, these two components are tackled in an end-to-end manner via reinforcement learning in this work. Specifically, an artificial agent, which is composed of a combined policy and value network, is trained to adjust the moving image toward the right direction. We train this network using an asynchronous reinforcement learning algorithm, where a customized reward function is also leveraged to encourage robust image registration. This trained network is further incorporated with a lookahead inference to improve the registration capability. The advantage of this algorithm is fully demonstrated by our superior performance on clinical MR and CT image pairs to other state-of-the-art medical image registration methods

Multi-modal rigid image registration and segmentation using multi-stage forward path regenerative genetic algorithm

Medical image diagnosis and delineation of lesions in the human brain require information to combine from different imaging sensors. Image registration is considered to be an essential pre-processing technique of aligning images of different modalities. The brain is a naturally bilateral symmetrical organ, where the left half lobe resembles the right half lobe around the symmetrical axis. The identified symmetry axis in one MRI image can identify symmetry axes in multi-modal registered MRI images instantly. MRI sensors may induce different levels of noise and Intensity Non-Uniformity (INU) in images. These image degradations may cause difficulty in finding true transformation parameters for an optimization technique. We will be investigating the new variant of evolution strategy of genetic algorithm as an optimization technique that performs well even for the high level of noise and INU, compared to Nesterov, Limited-memory Broyden-Fletcher-Goldfarb-Shanno algorithm (LBFGS), Simulated Annealing (SA), and Single-Stage Genetic Algorithm (SSGA). The proposed new multi-modal image registration technique based on a genetic algorithm with increasing precision levels and decreasing search spaces in successive stages is called the Multi-Stage Forward Path Regenerative Genetic Algorithm (MFRGA). Our proposed algorithm is better in terms of overall registration error as compared to the standard genetic algorithm. MFRGA results in a mean registration error of 0.492 in case of the same level of noise (1-9)% and INU (0-40)% in both reference and template image, and 0.317 in case of a noise-free template and reference with noise levels (1-9)% and INU (0-40)%. Accurate registration results in good segmentation, and we apply registration transformations to segment normal brain structures for evaluating registration accuracy. The brain segmentation via registration with our proposed algorithm is better even in cases of high levels of noise and INU as compared to GA and LBFGS. The mean dice similarity coefficient of brain structures CSF, GM, and WM is 0.701, 0.792, and 0.913, respectively.Web of Science148art. no. 150

UAV-Multispectral Sensed Data Band Co-Registration Framework

Precision farming has greatly benefited from new technologies over the years. The use of multispectral and hyperspectral sensors coupled to Unmanned Aerial Vehicles (UAV) has enabled farms to monitor crops, improve the use of resources and reduce costs. Despite being widely used, multispectral images present a natural misalignment among the various spectra due to the use of different sensors. The variation of the analyzed spectrum also leads to a loss of characteristics among the bands which hinders the feature detection process among the bands, which makes the alignment process complex. In this work, we propose a new framework for the band co-registration process based on two premises: i) the natural misalignment is an attribute of the camera, so it does not change during the acquisition process; ii) the speed of displacement of the UAV when compared to the speed between the acquisition of the first to the last band, is not sufficient to create significant distortions. We compared our results with the ground-truth generated by a specialist and with other methods present in the literature. The proposed framework had an average back-projection (BP) error of 0.425 pixels, this result being 335% better than the evaluated frameworks.CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível SuperiorDissertação (Mestrado)A agricultura de precisão se beneficiou muito das novas tecnologias ao longo dos anos. O uso de sensores multiespectrais e hiperespectrais acoplados aos Veículos Aéreos Não Tripulados (VANT) permitiu que as fazendas monitorassem as lavouras, melhorassem o uso de recursos e reduzissem os custos. Apesar de amplamente utilizadas, as imagens multiespectrais apresentam um desalinhamento natural entre os vários espectros devido ao uso de diferentes sensores. A variação do espectro analisado também leva à perda de características entre as bandas, o que dificulta o processo de detecção de atributos entre as bandas, o que torna complexo o processo de alinhamento. Neste trabalho, propomos um novo framework para o processo de alinhamento entre as bandas com base em duas premissas: i) o desalinhamento natural é um atributo da câmera, e por esse motivo ele não é alterado durante o processo de aquisição; ii) a velocidade de deslocamento do VANT, quando comparada à velocidade entre a aquisição da primeira e a última banda, não é suficiente para criar distorções significativas. Os resultados obtidos foram comparados com o padrão ouro gerado por um especialista e com outros métodos presentes na literatura. O framework proposto teve um back-projection error (BP) de 0, 425 pixels, sendo este resultado 335% melhor aos frameworks avaliados

Validación clínica de algoritmos de procesado en imagen médica. Aplicación en resonancia magnética multiparamétrica de próstata

[ES] Hoy en día, el cáncer de próstata es considerado uno de los carcinomas malignos más prevalentes entre la población masculina, siendo en España, el segundo más frecuente y el tercero en mortalidad. El tratamiento consta principalmente de procedimientos quirúrgicos, lo que puede producir en el paciente, efectos secundarios y secuelas. Por ello, surge la necesidad del diagnóstico precoz, de establecer el riesgo de progresión de los tumores y valorar a cada paciente antes de tomar cualquier decisión terapéutica. Con el propósito de obtener una mayor cantidad de información sobre la patología, una de las técnicas más utilizadas, es la Imagen por Resonancia Magnética (RM), con la cual, de manera no invasiva, se puede clasificar de forma local y regional los estados en pacientes con cáncer. Los avances en la tecnología han derivado en el desarrollo de RM multiparamétrica, en el que se combina secuencias T2W anatómicas con evaluaciones funcionales y fisiológicas, incluyendo imágenes de difusión e imágenes de perfusión. Al existir una excesiva variación en la interpretación de las imágenes de cáncer de próstata, para estandarizar el proceso de evaluación RM multiparamétrica y su aplicación, se creó el Sistema de Información y Datos en Imagen de Próstata (PI-RADS), formado por directrices básicas para la adquisición de las imágenes y la evaluación de cada lesión analizando la información proveniente de las distintas secuencias. El presente trabajo consiste en la validación de los algoritmos de preprocesado involucrados en el análisis de las distintas secuencias, siendo estos: selección de la función de entrada arterial en imágenes de perfusión DCE y registros intersecuencia. Se lleva a cabo un proceso de validación completo e independiente para cada algoritmo de preprocesado, obteniéndose métricas y medidas estadísticas para evaluar el buen funcionamiento de los distintos algoritmos en una base de datos de pacientes representativos de la práctica clínica.[EN] One of the most prevalent malignant carcinomas among the male population in these days is prostate cancer, also it is the second most frequent in Spain and the third in mortality. The treatment consists mainly of surgical procedures, which can produce side effects and sequels. Therefore, the need for early diagnosis arises, to establish the risk of tumor progression and to evaluate each patient before taking any therapeutic decision. In order to obtain a greater amount of information about this pathology, one of the most used techniques is Magnetic Resonance Imaging (MRI), which with the use of contrast agents, states in cancer patients can be locally and regionally classified. Advances in technology have led to the development of Multiparametric MRI (mpMRI), which combines anatomical T2W sequences with functional and physiological assessments, including diffusion and perfusion imaging. As there is excessive variation in the interpretation of prostate cancer images, in order to standardize the mpMRI evaluation process and its application, the Prostate Image-Reporting and Data System (PI-RADS) was created, consisting of basic guidelines for the evaluation of each lesion with this type of analysis. The present work is about the validation of a series of pre-processing algorithms for the evaluation of prostate cancer using mpMRI and the recommendations of PI-RADS. These algorithms are the selection of the arterial input function in DCE perfusion images and the registration of images. A complete and independent validation process is carried out for each type of analysis, obtaining metrics and statistical measures that allow differentiating and demonstrating the validity of the application under study.[CA] Hui en dia, el càncer de pròstata és considerat un dels carcinomes malignes més prevalents entre la població masculina, sent a Espanya, el segon més freqüent i el tercer en mortalitat. El tractament consta principalment de procediments quirúrgics, la qual cosa pot produir en el pacient, efectes secundaris i seqüeles. Per això, sorgix la necessitat del diagnòstic precoç, d'establir el risc de progressió dels tumors i valorar cada pacient abans de prendre qualsevol decisió terapèutica. Amb el propòsit d'obtindre una major quantitat d'informació sobre la patologia, una de les tècniques més utilitzades, és la Imatge per Ressonància Magnètica (RM) , amb la qual, de manera no invasiva, es pot classificar de forma local i regional els estats en pacients amb càncer. Els avanços en la tecnologia han derivat en el desenrotllament de RM multiparamétrica, en el que es combina seqüències T2W anatòmiques amb avaluacions funcionals i fisiològiques, incloent imatges de difusió i imatges de perfusió. A l'existir una excessiva variació en la interpretació de les imatges de càncer de pròstata, per a estandarditzar el procés d'avaluació RM multiparamétrica i la seua aplicació, es va crear el Sistema d'Informació i Dades en Imatge de Pròstata (PI- RADS) , format per directrius bàsiques per a l'adquisició de les imatges i l'avaluació de cada lesió analitzant la informació provinent de les distintes seqüències. El present treball consistix en la validació dels algoritmes de preprocessat involucrats en l'anàlisi de les distintes seqüències, sent estos: selecció de la funció d'entrada arterial en imatges de perfusió DCE i registres interseqüència. Es du a terme un procés de validació complet i independent per a cada algoritme de preprocessat, obtenint-se mètriques i mesures estadístiques per a avaluar el bon funcionament dels distints algoritmes en una base de dades de pacients representatius de la pràctica clínica.Mancebo González, M. (2020). Validación clínica de algoritmos de procesado en imagen médica. Aplicación en resonancia magnética multiparamétrica de próstata. Universitat Politècnica de València. http://hdl.handle.net/10251/162077TFG

Valoración mediante RM de la morfometría, espesor cortical y hierro local como biomarcadores de imagen en la Esclerosis Lateral Amiotrófica

Introducción: La heterogeneidad fenotípica de la ELA y la ausencia de biomarcadores fiables conlleva un retraso en su diagnóstico y un entorpecimiento en el reclutamiento de pacientes e interpretación de los resultados en los ensayos clínicos. El objetivo de este trabajo es diseñar un protocolo específico de RM para la valoración de la ELA y aplicar algoritmos de aprendizaje automático a las variables radiómicas extraídas, para el desarrollo de modelos de diagnóstico, predicción y estratificación. Otro objetivo es la elaboración de un informe estructurado contextual de la enfermedad y el desarrollo de plantillas singularizadas con la información cuantitativa de los biomarcadores de imagen. Métodos: A 114 pacientes con ELA, 45 mimic, 22 portadores de mutación asintomáticos y 30 controles, se les realizó una RM de cabeza con el protocolo específico. Se aplicó un flujo de trabajo automatizado de procesado de las imágenes para la extracción de los biomarcadores de volumetría, espesor cortical y hierro local mediante técnicas de relajatividad y valoración visual de la secuencia SWAN. Para el desarrollo del modelo diagnóstico se utilizó una metodología de aprendizaje automático, secuenciada, desde una perspectiva de mejora iterativa, que emplea varias técnicas de filtrado, de reducción de dimensionalidad, de sobremuestreo y de clasificación. Con los pacientes ELA se construyeron dos modelos predictivos de pronóstico y uno de estratificación según el grado de afectación de MNS con los mismos atributos. Resultados: El modelo diagnóstico con mejor rendimiento utilizó todas las variables automatizables y de análisis visual: fiabilidad 0.896, AUC de 0.929, sensibilidad de 0.886 y especificidad de 0.907; además fue el modelo con mayor capacidad predictiva para la clase mimic. Los modelos predictivos y de estratificación de pacientes no obtuvieron resultados favorables. Se diseñaron un informe radiológico estructurado contextual para la ELA, plantillas singularizadas con la información cuantitativa de los biomarcadores de imagen, y una interfaz de aplicación clínica basada en el modelo diagnóstico. Conclusiones: Nuestros resultados confirman el potencial de los modelos de aprendizaje automático que integran información multiparamétrica de RM en el diagnóstico de la ELA. Sin embargo, los modelos predictivos y de estratificación no funcionan favorablemente, y el enfoque multimodal en combinación con otro tipo de variables parece el más conveniente.Introduction: The phenotypic heterogeneity of ALS and the absence of reliable biomarkers lead to delays in its diagnosis and hinder patient recruitment and interpretation of results in clinical trials. The aim of this study is to design a specific MRI protocol for assessing ALS and apply machine learning algorithms to the extracted radiomic variables for the development of diagnostic, predictive, and stratification models. Another objective is to create a structured contextual report of the disease and develop individualized templates with quantitative information on imaging biomarkers. Methods: A specific MRI protocol was performed on 114 ALS patients, 45 mimics, 22 asymptomatic mutation carriers, and 30 controls. An automated image processing workflow was applied to extract volumetric, cortical thickness, and local iron biomarkers using relaxometry techniques and visual assessment of the SWAN sequence. For the development of the diagnostic model, a sequential machine learning methodology was used, from an iterative improvement perspective, employing various filtering, dimensionality reduction, oversampling, and classification techniques. Two prognostic predictive models and one stratification model based on the degree of MNS involvement were constructed with ALS patients using the same attributes. Results: The diagnostic model with the best performance used all automatable variables and visual analysis: reliability 0.896, AUC of 0.929, sensitivity of 0.886, and specificity of 0.907; it was also the model with the highest predictive capacity for the mimic class. The predictive and patient stratification models did not yield favorable results. Structured radiological reports with contextual information for ALS and individualized templates with quantitative imaging biomarker information were designed, along with a clinical application interface based on the diagnostic model. Conclusions: Our results confirm the potential of machine learning models that integrate multiparametric MRI information in the diagnosis of ALS. However, predictive and stratification models did not perform favorably, and a multimodal approach in combination with other variables seems more appropriate

Intelligent Analysis of Cerebral Magnetic Resonance Images: Extracting Relevant Information from Small Datasets

Tesis doctoral inédita leída en la Universidad Autónoma de Madrid, Escuela Politécnica Superior, Departamento de Ingeniería Informática. Fecha de lectura : 21-09-2017Los metodos de machine learning aplicados a imagenes medicas se estan convirtiendo en potentes herramientas para el analisis y diagnostico de pacientes. La alta disponibilidad de repositorios de im agenes de diferentes modalidades ha favorecido el desarrollo de sistemas que aprenden a extraer caracteristicas relevantes y construyen modelos predictivos a partir de grandes cantidades de informacion, por ejemplo, los metodos de deep learning. Sin embargo, el analisis de conjuntos de imagenes provenientes de un menor numero de sujetos, como es el caso de las imagenes adquiridas en entornos de investigacion cl nica y pre-cl nica, ha recibido considerablemente menos atencion. El objetivo de esta tesis es implementar un conjunto de herramientas avanzadas para resolver este problema, permitiendo el analisis robusto de Im agenes de Resonancia Magn etica (MRI por sus siglas en ingl es) cuando se dispone de pocos sujetos de estudio. En este contexto, las herramientas propuestas se emplean para analizar de manera autom atica conjuntos de datos obtenidos de imagenes funcionales de MR del cerebro en estudios de regulacion del apetito en roedores y humanos, y de im agenes funcionales y estructurales de MR de desarrollos tumorales en modelos animales y humanos. Los metodos propuestos se derivan de la idea de considerar cada voxel del conjunto de im agenes como un patron, en lugar de la nocion convencional de considerar cada imagen como un patr on. El Cap tulo 1 describe la motivaci on de esta tesis, incluyendo los objetivos propuestos, la estructura general del documento y las contribuciones de esta investigaci on. El Capitulo 2 contiene una introduccion actualizada del estado del arte en MRI, los procedimientos mas usados en el pre-procesamiento de imagenes, y los algoritmos de machine learning m as utiles y sus aplicaciones en MRI. El Cap tulo 3 presenta el dise~no experimental y los pasos de pre-procesamiento aplicados a los conjuntos de datos de regulaci on de apetito y desarrollo tumoral. El Capitulo 4 implementa nuevos metodos de aprendizaje supervisados para el analisis de conjuntos de datos de MRI obtenidos de un conjunto peque~no de sujetos. Se ilustra este enfoque presentando primero la metodolog a Fisher Maps, que permite la visualizaci on cuantitativa y no invasiva de la circuiter a cerebral del apetito, mediante el an alisis autom atico de Im agenes Ponderadas en Difusi on (DWI por sus siglas en ingl es). Esta metodolog a se extiende a la clasi caci on de im agenes completas combinando las predicciones obtenidas de cada p xel. El Cap tulo 5 propone un nuevo algoritmo de aprendizaje no supervisado, ilustrando su desempe~no sobre datos sint eticos y datos provenientes de estudios de tumores cerebrales y crecimiento tumoral. Por ultimo, en el Cap tulo 6 se resumen las principales conclusiones de este trabajo y se plantean amplias v as para su desarrollo futuro. En resumen, esta tesis presenta un nuevo enfoque capaz de trabajar en contextos con baja disponibilidad de sujetos de estudio, proponiendo algoritmos de aprendizaje supervisado y no supervisado. Estos metodos pueden ser facilmente generalizados a otros paradigmas o patologias, e incluso, a distintas modalidades de imagenes