Feature Based Registration of Brain Mr Image

ABSTRACT Medical image processing is a difficult problem. Not only a registration algorithm needs to capture both large and small scale image deformations, it also has to deal with global and local intensity variations. Two main problems occurs during the registration process of non rigid image. First, the correspondence problem occurs between the template and the subject image due to variation in the voxel intensity level. Second, in the presence of bias field the occurrence of interference and noise will make the image sensitive to rotation variation. To avoid these problems and to calculate efficiently a new feature based registration of non rigid brain MR image using Uniform Pattern of Spherical Region Descriptor is proposed in this paper. The proposed method is based on a new image feature called Uniform Pattern of Spherical Region Descriptor. This uses two features namely Uniform pattern of spherical descriptor and Uniform pattern of gradient descriptor to extract geometric features from input images and to identify first order and second order voxel wise anatomical information. The MRF labeling frame work and the α-expansion algorithm are used to maximize the energy function. The defected region in the image is accurately identified by Normalized correlation method. The input image for evaluation is taken from the database Brain web and internet Brain Segmentation Repository respectively. The performance can be evaluated using Back propagation networks

High Dimensional Data Set Analysis Using a Large-Scale Manifold Learning Approach

Because of technological advances, a trend occurs for data sets increasing in size and dimensionality. Processing these large scale data sets is challenging for conventional computers due to computational limitations. A framework for nonlinear dimensionality reduction on large databases is presented that alleviates the issue of large data sets through sampling, graph construction, manifold learning, and embedding. Neighborhood selection is a key step in this framework and a potential area of improvement. The standard approach to neighborhood selection is setting a fixed neighborhood. This could be a fixed number of neighbors or a fixed neighborhood size. Each of these has its limitations due to variations in data density. A novel adaptive neighbor-selection algorithm is presented to enhance performance by incorporating sparse ℓ 1-norm based optimization. These enhancements are applied to the graph construction and embedding modules of the original framework. As validation of the proposed ℓ1-based enhancement, experiments are conducted on these modules using publicly available benchmark data sets. The two approaches are then applied to a large scale magnetic resonance imaging (MRI) data set for brain tumor progression prediction. Results showed that the proposed approach outperformed linear methods and other traditional manifold learning algorithms

Fusion and Analysis of Multidimensional Medical Image Data

Analýza medicínských obrazů je předmětem základního výzkumu již řadu let. Za tu dobu bylo v této oblasti publikováno mnoho výzkumných prací zabývajících se dílčími částmi jako je rekonstrukce obrazů, restaurace, segmentace, klasifikace, registrace (lícování) a fúze. Kromě obecného úvodu, pojednává tato disertační práce o dvou medicínsky orientovaných tématech, jež byla formulována ve spolupráci s Philips Netherland BV, divizí Philips Healthcare. První téma je zaměřeno na oblast zpracování obrazů subtrakční angiografie dolních končetin člověka získaných pomocí výpočetní X-Ray tomografie (CT). Subtrakční angiografie je obvykle využívaná při podezření na periferní cévní onemocnění (PAOD) nebo při akutním poškození dolních končetin jako jsou fraktury apod. Současné komerční metody nejsou dostatečně spolehlivé už v předzpracování, jako je například odstranění pacientského stolu, pokrývky, dlahy, apod. Spolehlivost a přesnost identifikace cév v subtrahovaných datech vedoucích v blízkosti kostí je v důsledku Partial Volume artefaktu rovněž nízká. Automatické odstranění kalcifikací nebo detekce malých cév doplňujících nezbytnou informaci o náhradním zásobení dolních končetin krví v případě přerušení hlavních zásobujících cév v současné době rovněž nesplňují kritéria pro plně automatické zpracování. Proto hlavním cílem týkající se tohoto tématu bylo vyvinout automatický systém, který by mohl současné nedostatky v CTSA vyšetření odstranit. Druhé téma je orientováno na identifikaci patologických změn na páteři člověka v CT obrazech se zaměřením na osteolytické a osteoblastické léze u jednotlivých obratlů. Tyto změny obvykle nastávají v důsledků postižení metastazujícím procesem rakovinového onemocnění. Pro detekci patologických změn je pak potřeba identifikace a segmentace jednotlivých obratlů. Přesnost analýzy jednotlivých lézí však závisí rovněž na správné identifikaci těla a zadních segmentů u jednotlivých obratlů a na segmentaci trabekulárního centra obratlů, tj. odstranění kortikální kosti. Během léčby mohou být pacienti skenováni vícekrát, obvykle s několika-mesíčním odstupem. Hodnocení případného vývoje již detekovaných patologických změn pak logicky vychází ze správné detekce patologií v jednotlivých obratlech korespondujících si v jednotlivých akvizicích. Jelikož jsou příslušné obratle v jednotlivých akvizicích obvykle na různé pozici, jejich fúze, vedoucí k analýze časového vývoje detekovaných patologií, je komplikovaná. Požadovaným výsledkem v tomto tématu je vytvoření komplexního systému pro detekci patologických změn v páteři, především osteoblastických a osteolytických lézí. Takový systém tedy musí umožnovat jak segmentaci jednotlivých obratlů, jejich automatické rozdělení na hlavní části a odstranění kortikální kosti, tak také detekci patologických změn a jejich hodnocení. Ačkoliv je tato disertační práce v obou výše zmíněných tématech primárně zaměřena na experimentální část zpracování medicínských obrazů, zabývá se všemi nezbytnými kroky, jako je předzpracování, registrace, dodatečné zpracování a hodnocení výsledků, vedoucími k možné aplikovatelnosti obou systému v klinické praxi. Jelikož oba systémy byly řešeny v rámci týmové spolupráce jako celek, u obou témat jsou pro některé konkrétní kroky uvedeny odkazy na doktorskou práci Miloše Malínského.Analysis of medical images has been subject of basic research for many years. Many research papers have been published in the field related to image analysis and focused on partial aspects such as reconstruction, restoration, segmentation and classification, registration (spatial alignment) and fusion. Besides the introduction of related general concepts used in medical image processing, this thesis deals with two specific medical problems formulated in cooperation with Philips Netherland BV, Philips Healthcare division. The first topic is focused on subtraction angiography in patients’ lower legs utilizing image data from X-Ray computed tomography (CT). CT subtraction angiography (CTSA) is typically used for indication of the Peripheral Artery Occlusive Disease (PAOD) and for examination of acute injuries of lower legs such as acute fractures, etc. Current methods in clinical praxis are not sufficient regarding the pre-processing such as masking of patient desk, cover, splint, etc. The subtraction of blood vessels adjacent to neighboring bones in lower legs is of low accuracy due to the Partial Volume artifact. Masking of calcifications and detection of tiny blood vessels complementing necessary information about the alternative blood supply in lower legs in case of obstruction in main arteries is also not reliable for fully automated process presently. Therefore, the main aim regarding this topic was to develop an automated framework that could overcome current shortcomings in CTSA examination. The second topic is oriented on the identification and evaluation of pathologic changes in human spine, focusing on osteolytic and osteoblastic lesions in individual vertebrae in CT images. Such changes occur typically as a consequence of metastasizing process of cancerous disease. For the detection of pathologic changes, an identification and segmentation of individual vertebrae is necessary. Moreover, the analysis of individual lesions in vertebrae depends also on correct identification of vertebral body and posterior segments of each vertebra, and on segmentation of their trabecular centers. Patients are typically examined more than once during their therapy. Then, the evaluation of possible tumorous progression is based on accurate detection of pathologies in individual vertebrae in the base-line and corresponding follow-up images. Since the corresponding vertebrae are in mutually different positions in the follow-up images, their fusion leading to the analysis of the lesion progression is complicated. The main aim regarding this topic is to develop a complex framework for detection of pathologic lesions on spine, with the main focus on osteoblastic and osteolystic lesions. Such system has to provide not only reliable segmentation of individual vertebrae and detection of their main regions but also the masking of their cortical bone, detection of their pathologic changes and their evaluation. Although this dissertation thesis is primarily oriented at the experimental part of medical image processing considering both the above mentioned topics, it deals with all necessary processing steps, i.e. preprocessing, image registration, post-processing and evaluation of results, leading to the future use of both frameworks in clinical practice. Since both frameworks were developed in a team, there are some chapters referring to the dissertation thesis of Milos Malinsky.

Prostate cancer biochemical recurrence prediction using bpMRI radiomics, clinical and histopathological data

Tese de mestrado integrado em Engenharia Biomédica e Biofísica (Sinais e Imagens Médicas), Universidade de Lisboa, Faculdade de Ciências, 2021O cancro da próstata é a segunda doença oncológica mais frequente nos homens, sendo frequentemente tratado com remoção cirúrgica total do órgão, denominada prostatectomia radical. Apesar dos avanços no diagnóstico e da evolução das terapias cirúrgicas, 20–35% dos candidatos a prostatectomia radical com intuito curativo sofrem de recidiva bioquímica, uma condição que representa o insucesso do tratamento inicial e também o primeiro sinal de progressão da doença. Em particular, dois terços dos casos de recidiva bioquímica ocorrem dentro de um período de dois anos. Ocorrendo cedo, este estado implica uma maior agressividade biológica da doença e um pior prognóstico, uma vez que pode dever-se `a presença de doença oculta, localmente avançada ou metastática. Apesar de o prognóstico devido ao desenvolvimento de recidiva bioquímica variar, em geral está associado a um risco acrescido de desenvolvimento de doença metastática e de mortalidade específica por cancro da próstata, representando assim uma importante preocupação clínica após terapia definitiva. Contudo, os modelos preditivos de recidiva bioquímica actuais não só falham na explicação da variabilidade dos resultados pós-cirúrgicos, como não têm habilidade para intervir cedo no processo de decisão de tratamento, uma vez que dependem de informação provinda da avaliação histopatológica da peça cirúrgica da prostatectomia ou da biópsia. Actualmente, o exame padrão para diagnóstico e para estadiamento do cancro da próstata é a ressonância magnética multiparamétrica, e as características provindas da avaliação dessas imagens têm mostrado potencial na caracterização do(s) tumor(es) e para predição de recidiva bioquímica. “Radiomics”, a recente metodologia aplicada à análise quantitativa de imagens médicas tem mostrado ter capacidade de quantificar objectivamente a heterogeneidade macroscópica de tecidos biológicos como tumores. Esta heterogeneidade detectada tem vindo a sugerir associação a heterogeneidade genómica que, por sua vez, tem demonstrado correlação com resistência a tratamento e propensão metastática. Porém, o potencial da análise radiómica das imagens de ressonância magnética (MRI) multiparamétrica da próstata para previsão de recidiva bioquímica pós-prostatectomia radical ainda não foi totalmente aprofundado. Esta dissertação propôs explorar o potencial da análise radiómica aplicada a imagens pré-cirúrgicas de ressonância magnética biparamétrica da próstata para previsão de recidiva bioquímica, no período de dois anos após prostatectomia radical. Este potencial foi avaliado através de modelos predictivos com base em dados radiómicos e parâmetros clínico-histopatológicos comummente adquiridos em três fases clínicas: pré-biópsia, pré- e pós-cirúrgica. 93 pacientes, de um total de 250, foram eleitos para este estudo retrospectivo, dos quais 20 verificaram recidiva bioquímica. 33 parâmetros clínico-histopatológicos foram recolhidos e 2715 variáveis radiómicas baseadas em intensidade, forma e textura, foram extraídas de todo o volume da próstata caracterizado em imagens originais e filtradas de ressonância magnética biparamétrica, nomeadamente, ponderadas em T2, ponderadas em Difusão, e mapas de coeficiente de difusão aparente (ADC). Embora os pacientes elegíveis tenham sido examinados na mesma instituição, as características do conjunto de imagens eram heterogéneas, sendo necessário aplicar vários passos de processamento para possibilitar uma comparação mais justa. Foi feita correção do campo tendencial (do inglês, “bias”) e segmentação manual das imagens T2, registo tanto para transposição das delineações do volume de interesse entre as várias modalidades imagiológicas como para correção de movimento, cálculo de mapas ADC, regularização do campo de visão, quantização personalizada em tons cinza e reamostragem. Tendo os dados recolhidos uma alta dimensionalidade (número de variáveis maior que o número de observações), foi escolhida a regressão logística com penalização L1 (LASSO) para resolver o problema de classificação. O uso da penalização aliada à regressão logística, um método simples e commumente usado em estudos de classificação, permite impedir o sobreajuste provável neste cenário de alta dimensionalidade. Além do popular LASSO, recorremos também ao algoritmo Priority-LASSO, um método recente para lidar com dados “ómicos” e desenvolvido com base no LASSO. O Priority-LASSO tem como princípio a definição da hierarquia ou prioridade das variáveis de estudo, através do agrupamento dessas mesmas variáveis em blocos sequenciais. Neste trabalho explorámos duas maneiras de agrupar as variáveis (Clínico-histopatológicas vs. Radiómicas e Clínico-histopatológicas vs. T2 vs. Difusão vs. ADC). Além disso, quisemos perceber qual o impacto da ordem destes mesmos blocos no desempenho do modelo. Para tal, testámos todas as permutações de blocos possíveis (2 e 24, respectivamente) em cada um dos casos. Assim, uma estrutura de aprendizagem automática, composta por métodos de classificação, validação-cruzada k-fold estratificada e repetida, e análises estatísticas, foi desenvolvida para identificar os melhores classificadores, dentro um conjunto de configura¸c˜oes testado para cada um dos três cenários clínicos simulados. Os algoritmos de regressão logística penalizada com LASSO e o Priority-LASSO efectuaram conjuntamente a seleção de características e o ajuste de modelos. Os modelos foram desenvolvidos de forma a optimizar o n´umero de casos positivos de recidiva bioquímica através da maximização das métricas área sob a curva (AUC) e medida-F (Fmax), derivadas da análise de curva característica de operação do receptor (ROC). Além da comparação das implementações Priority-LASSO com o caso em que não houve agrupamento de variáveis (isto é, LASSO), foram também comparados dois métodos de normalização de imagens com base no desempenho dos modelos (avaliado por Fmax). Um dos métodos tinha em conta o sinal de intensidade proveniente da próstata e de tecidos imediatamente circundantes, e outro apenas da próstata. Paralelamente, também o efeito do método de amostragem SMOTE, que permite equilibrar o número de casos positivos e negativos durante o processo de aprendizagem do algoritmo, foi avaliado no desempenho dos modelos. Com este método, gerámos casos sintéticos para a classe positiva (classe minoritária) para recidiva bioquímica, a partir dos casos já existentes. O modelo de regressão logística com Priority-LASSO com a sequência de blocos de variáveis Clínico-histopatológicas, T2, Difusão, ADC e com restrição de esparsidade de cada bloco com o parâmetro pmax = (1,7,0,1), foi seleccionada como a melhor configuração em cada um dos cenários clínicos testados, superando os modelos de regressão logística LASSO. Durante o desenvolvimento dos modelos, e em todos os cenários clínicos, os modelos com melhor desempenho obtiveram bons valor médios de Fmax (mínimo–máximo: 0.702–0.754 e 0.910–0.925 para classe positiva e negativa de recidiva bioquímica, respectivamente). Contudo, na validação final com um conjunto de dados independentes, os modelos obtiveram valores Fmax muito baixos para a classe positiva (0.297–0.400), revelando um sobreajuste, apesar do uso de métodos de penalização. Também se verificou grande instabilidade nos atributos seleccionados. Contudo, os modelos obtiveram razoáveis valores de medida-F (0.779–0.833) e de Precisão (0.821–0.873) para a classe de recidiva bioquímica negativa durante as fases de treino e de validação, pelo que estes modelos poderão ter valor a ser explorado. Os modelos pré-biópsia tiveram desempenho inferior no treino, mas sofreram menos de sobreajuste. Os classificadores pré-operatórios foram excessivamente optimistas, e os modelos pós-operatórios foram os melhores a detectar correctamente casos negativos de recidiva bioquímica. Outros resultados observados incluem a superioridade no desempenho dos modelos baseados em imagens que usaram o método de normalização realizado apenas com o volume da próstata, e o inesperado resultado de que o uso método de amostragem SMOTE não ter trazido melhoria na classificação de casos positivos de recorrência bioquímica, nem nos casos negativos, durante a validação dos modelos. Tendo em contas às variáveis seleccionadas e a sequência de prioridade dos melhores modelos Priority-LASSO, concluímos que os atributos radiómicos provindos da análise de textura de imagens MRI ponderadas em T2 poderão ter potencial para distinguir pacientes que não irão sofrer recidiva bioquímica inicial, conjuntamente com níveis iniciais de antigénio específico da próstata, num cenário pré-biópsia. A inclusão de parâmetros pré- ou pós-operatórios não adicionou valor substancial para a classificação de casos positivos de recidiva bioquímica em conjunto com variáveis radiómicos de MRI biparamétrica. Estudos com alto poder estatístico serão necessários para elucidar acerca do papel de atributos de radiómica baseados em imagens de bpMRI como predictores de recidiva bioquímica.Primary prostate cancer is often treated with radical prostatectomy (RP). Yet, 20–35% of males undergoing RP with curative intent will experience biochemical recurrence (BCR). Of those, two-thirds happen within two years, implying a more aggressive disease and poorer prognosis. Current BCR risk stratification tools are bounded to biopsy- or to surgery-derived histopathological evaluation, having limited ability for early treatment decision-making. Magnetic resonance imaging (MRI) is acquired as part of the diagnostic procedure and imaging derived features have shown promise in tumour characterisation and BCR prediction. We investigated the value of imaging features extracted from preoperative biparametric MRI (bpMRI) combined with clinic-histopathological data to develop models to predict two-year post-prostatectomy BCR in three simulated clinical scenarios: pre-biopsy, pre- and postoperative. In a cohort of 20 BCR positive and 73 BCR negative RP-treated patients examined in the same institution, 33 clinico-histopathological variables were retrospectively collected, and 2715 radiomic features (based on intensity, shape and texture) were extracted from the whole-prostate volume imaged in original and filtered T2- and Diffusion-weighted MRI and ADC maps scans. A systematic machine-learning framework comprised of classification, stratified k-fold cross validation and statistical analyses was developed to identify the top performing BCR classifiers’ configurations within three clinical scenarios. LASSO and Priority-LASSO logistic regression algorithms were used for feature selection and model fitting, optimising the amount of correctly classified BCR positive cases through AUC and F-score maximisation (Fmax) derived from ROC curve analysis. We also investigated the impact of two image normalisation methods and SMOTE-based minority oversampling on model performance. Priority-LASSO logistic regression with four-block priority sequence Clinical, T2w, DWI, ADC, with block sparsity restriction pmax = (1,7,0,1) was selected as the best performing model configuration across all clinical scenarios, outperforming LASSO logistic regression models. During development and across the simulated clinical scenarios, top models achieved good median Fmax values (range: 0.702–0.754 and 0.910–0.925 for BCR positive and negative classes, respectively); yet, during validation with an independent set, the models obtained very low Fmax for the target BCR positive class (0.297–0.400), revealing model overfitting. We also observed instability in the selected features. However, models attained reasonably good F-score (0.779–0.833) and Precision (0.821–0.873) for BCR negative class during training and validation phases, making these models worth exploring. Pre-biopsy models had lower performances in training but suffered less from overfitting. Preoperative classifiers were overoptimistic, and postoperative models were the most successful in detecting BCR negative cases. T2w-MRI textured-based radiomic features may have potential to distinguish negative BCR patients together with baseline prostate-specific antigen (PSA) levels in a pre-biopsy scenario. The inclusion of pre- or postoperative variables did not substantially add value to BCR positive cases classification with bpMRI radiomic features. Highly powered studies with curated imaging data are needed to elucidate the role of bpMRI radiomic features as predictors of BCR

Brain Tumor Growth Modelling .

Prediction methods of Glioblastoma tumors growth constitute a hard task due to the lack of medical data, which is mostly related to the patients’ privacy, the cost of collecting a large medical dataset, and the availability of related notations by experts. In this thesis, we study and propose a Synthetic Medical Image Generator (SMIG) with the purpose of generating synthetic data based on Generative Adversarial Network in order to provide anonymized data. In addition, to predict the Glioblastoma multiform (GBM) tumor growth we developed a Tumor Growth Predictor (TGP) based on End to End Convolution Neural Network architecture that allows training on a public dataset from The Cancer Imaging Archive (TCIA), combined with the generated synthetic data. We also highlighted the impact of implicating a synthetic data generated using SMIG as a data augmentation tool. Despite small data size provided by TCIA dataset, the obtained results demonstrate valuable tumor growth prediction accurac

Algorithms, Hardware Systems, and Virtual Environments for Perception-Guided Robotic Weed Management

Weed competition is one of the most limiting factors affecting yield and profitability in crop production. In addition to the shortage and cost of labor for weed management, the widespread occurrence of herbicide-resistant weeds due to the heavy reliance on herbicides is threatening agricultural sustainability and global food security. The introduction of robot-based automation for weed management has great potential to effectively address weed issues and reduce the drudgery of manual labor. The progress with robotic weed control requires improvements in the robots’ perception to understand complex agricultural environments and weed control actuators. Vision-based robot perception, a process of identifying and interpreting visual information in order to represent and understand the environment, is one of the most promising routes toward robotic weed management. This dissertation aims to develop algorithms and systems for perception-guided robotic weed management, where effective weed detection is essential. Despite the promise of robotic weed management, several technological advances must be made in the areas of plant detection and weeding actuation before robots are fully capable of autonomous weeding. In this regard, this dissertation has four specific objectives towards achieving precision weed management. The first objective is to study the influence of image quality and light consistency on the performance of convolutional neural networks (CNNs) for weed detection. State-of-the-art CNNs rely on a vast number of training images, which are time-consuming and expensive to collect and annotate. The second objective is to develop an image synthesis and semi-supervised learning pipeline to reduce the need for annotated training images for weed detection. Virtual environments are powerful tools and have been widely used for developing robotic systems. However, virtual environments for agriculture are lacking. The third objective is to develop a photometric-based framework to facilitate the synthesis of 3D agricultural vegetation scenes that are both geometrically and optically detailed. In the fourth objective, algorithms and hardware systems have been developed for vision-guided automatic micro-volume herbicide spray using linearly actuated nozzles on a mobile robot platform. The system precisely applies a micro-volume of herbicide liquid on every single weed plant. Compared to the traditional application approach where herbicides are broadcasted, the system greatly reduces herbicide usage