From representation learning to thematic classification - Application to hierarchical analysis of hyperspectral images

Numerous frameworks have been developed in order to analyze the increasing amount of available image data. Among those methods, supervised classification has received considerable attention leading to the development of state-of-the-art classification methods. These methods aim at inferring the class of each observation given a specific class nomenclature by exploiting a set of labeled observations. Thanks to extensive research efforts of the community, classification methods have become very efficient. Nevertheless, the results of a classification remains a highlevel interpretation of the scene since it only gives a single class to summarize all information in a given pixel. Contrary to classification methods, representation learning methods are model-based approaches designed especially to handle high-dimensional data and extract meaningful latent variables. By using physic-based models, these methods allow the user to extract very meaningful variables and get a very detailed interpretation of the considered image. The main objective of this thesis is to develop a unified framework for classification and representation learning. These two methods provide complementary approaches allowing to address the problem using a hierarchical modeling approach. The representation learning approach is used to build a low-level model of the data whereas classification is used to incorporate supervised information and may be seen as a high-level interpretation of the data. Two different paradigms, namely Bayesian models and optimization approaches, are explored to set up this hierarchical model. The proposed models are then tested in the specific context of hyperspectral imaging where the representation learning task is specified as a spectral unmixing proble

Global Optimality in Representation Learning

A majority of data processing techniques across a wide range of technical disciplines require a representation of the data that is meaningful for the task at hand in order to succeed. In some cases one has enough prior knowledge about the problem that a fixed transformation of the data or set of features can be pre-calculated, but for most challenging problems with high dimensional data, it is often not known what representation of the data would give the best performance. To address this issue, the field of representation learning seeks to learn meaningful representations directly from data and includes methods such as matrix factorization, tensor factorization, and neural networks. Such techniques have achieved considerable empirical success in many fields, but common to a vast majority of these approaches are the significant disadvantages that 1) the associated optimization problems are typically non-convex due to a multilinear form or other convexity destroying transformation and 2) one is forced to specify the size of the learned representation a priori. This thesis presents a very general framework which allows for the mathematical analysis of a wide range of non-convex representation learning problems. The framework allows the derivation of sufficient conditions to guarantee that a local minimizer of the non-convex optimization problem is a global minimizer and that from any initialization it is possible to find a global minimizer using a purely local descent algorithm. Further, the framework also allows for a wide range of regularization to be incorporated into the model to capture known features of data and to adaptively fit the size of the learned representation to the data instead of defining it a priori. Multiple implications of this work are discussed as they relate to modern practices in deep learning, and the advantages of the approach are demonstrated in applications of automated spatio-temporal segmentation of neural calcium imaging data and reconstructing hyperspectral image volumes from compressed measurements

Contributions au traitement des images multivariées

Ce mémoire résume mon activité pédagogique et scientifique en vue de l’obtention de l’habilitation à diriger des recherches

Nonlinear hyperspectral unmixing: strategies for nonlinear mixture detection, endmember estimation and band-selection

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2016.Abstract : Mixing phenomena in hyperspectral images depend on a variety of factors such as the resolution of observation devices, the properties of materials, and how these materials interact with incident light in the scene. Different parametric and nonparametric models have been considered to address hyperspectral unmixing problems. The simplest one is the linear mixing model. Nevertheless, it has been recognized that mixing phenomena can also be nonlinear. Kernel-based nonlinear mixing models have been applied to unmix spectral information of hyperspectral images when the type of mixing occurring in the scene is too complex or unknown. However, the corresponding nonlinear analysis techniques are necessarily more challenging and complex than those employed for linear unmixing. Within this context, it makes sense to search for different strategies to produce simpler and/or more accurate results. In this thesis, we tackle three distinct parts of the complete spectral unmixing (SU) problem. First, we propose a technique for detecting nonlinearly mixed pixels. The detection approach is based on the comparison of the reconstruction errors using both a Gaussian process regression model and a linear regression model. The two errors are combined into a detection test statistics for which a probability density function can be reasonably approximated. Second, we propose an iterative endmember extraction algorithm to be employed in combination with the detection algorithm. The proposed detect-then-unmix strategy, which consists of extracting endmembers, detecting nonlinearly mixed pixels and unmixing, is tested with synthetic and real images. Finally, we propose two methods for band selection (BS) in the reproducing kernel Hilbert space (RKHS), which lead to a significant reduction of the processing time required by nonlinear unmixing techniques. The first method employs the kernel k-means (KKM) algorithm to find clusters in the RKHS. Each cluster centroid is then associated to the closest mapped spectral vector. The second method is centralized, and it is based upon the coherence criterion, which sets the largest value allowed for correlations between the basis kernel functions characterizing the unmixing model. We show that the proposed BS approach is equivalent to solving a maximum clique problem (MCP), that is, to searching for the largest complete subgraph in a graph. Furthermore, we devise a strategy for selecting the coherence threshold and the Gaussian kernel bandwidth using coherence bounds for linearly independent bases. Simulation results illustrate the efficiency of the proposed method.Imagem hiperespectral (HI) é uma imagem em que cada pixel contém centenas (ou até milhares) de bandas estreitas e contíguas amostradas num amplo domínio do espectro eletromagnético. Sensores hiperespectrais normalmente trocam resolução espacial por resolução espectral devido principalmente a fatores como a distância entre o instrumento e a cena alvo, e limitada capacidade de processamento, transmissão e armazenamento históricas, mas que se tornam cada vez menos problemáticas. Este tipo de imagem encontra ampla utilização em uma gama de aplicações em astronomia, agricultura, imagens biomédicas, geociências, física, vigilância e sensoriamento remoto. A usual baixa resolução espacial de sensores espectrais implica que o que se observa em cada pixel é normalmente uma mistura das assinaturas espectrais dos materiais presentes na cena correspondente (normalmente denominados de endmembers). Assim um pixel em uma imagem hiperespectral não pode mais ser determinado por um tom ou cor mas sim por uma assinatura espectral do material, ou materiais, que se encontram na região analisada. O modelo mais simples e amplamente utilizado em aplicações com imagens hiperespectrais é o modelo linear, no qual o pixel observado é modelado como uma combinação linear dos endmembers. No entanto, fortes evidências de múltiplas reflexões da radiação solar e/ou materiais intimamente misturados, i.e., misturados em nível microscópico, resultam em diversos modelos não-lineares dos quais destacam-se os modelos bilineares, modelos de pós não-linearidade, modelos de mistura íntima e modelos não-paramétricos. Define-se então o problema de desmistura espectral (ou em inglês spectral unmixing - SU), que consiste em determinar as assinaturas espectrais dos endmembers puros presentes em uma cena e suas proporções (denominadas de abundâncias) para cada pixel da imagem. SU é um problema inverso e por natureza cego uma vez que raramente estão disponíveis informações confiáveis sobre o número de endmembers, suas assinaturas espectrais e suas distribuições em uma dada cena. Este problema possui forte conexão com o problema de separação cega de fontes mas difere no fato de que no problema de SU a independência de fontes não pode ser considerada já que as abundâncias são de fato proporções e por isso dependentes (abundâncias são positivas e devem somar 1). A determinação dos endmembers é conhecida como extração de endmembers e a literatura apresenta uma gama de algoritmos com esse propósito. Esses algoritmos normalmente exploram a geometria convexa resultante do modelo linear e da restrições sobre as abundâncias. Quando os endmembers são considerados conhecidos, ou estimados em um passo anterior, o problema de SU torna-se um problema supervisionado, com pares de entrada (endmembers) e saída (pixels), reduzindo-se a uma etapa de inversão, ou regressão, para determinar as proporções dos endmembers em cada pixel. Quando modelos não-lineares são considerados, a literatura apresenta diversas técnicas que podem ser empregadas dependendo da disponibilidade de informações sobre os endmembers e sobre os modelos que regem a interação entre a luz e os materiais numa dada cena. No entanto, informações sobre o tipo de mistura presente em cenas reais são raramente disponíveis. Nesse contexto, métodos kernelizados, que assumem modelos não-paramétricos, têm sido especialmente bem sucedidos quando aplicados ao problema de SU. Dentre esses métodos destaca-se o SK-Hype, que emprega a teoria de mínimos quadrados-máquinas de vetores de suporte (LS-SVM), numa abordagem que considera um modelo linear com uma flutuação não-linear representada por uma função pertencente a um espaço de Hilbert de kernel reprodutivos (RKHS). Nesta tese de doutoramento diferentes problemas foram abordados dentro do processo de SU de imagens hiperespectrais não-lineares como um todo. Contribuições foram dadas para a detecção de misturas não-lineares, estimação de endmembers quando uma parte considerável da imagem possui misturas não-lineares, e seleção de bandas no espaço de Hilbert de kernels reprodutivos (RKHS). Todos os métodos foram testados através de simulações com dados sintéticos e reais, e considerando unmixing supervisionado e não-supervisionado. No Capítulo 4, um método semi-paramétrico de detecção de misturas não-lineares é apresentado para imagens hiperespectrais. Esse detector compara a performance de dois modelos: um linear paramétrico, usando mínimos-quadrados (LS), e um não-linear não-paramétrico usando processos Gaussianos. A idéia da utilização de modelos não-paramétricos se conecta com o fato de que na prática pouco se sabe sobre a real natureza da não-linearidade presente na cena. Os erros de ajuste desses modelos são então comparados em uma estatística de teste para a qual é possível aproximar a distribuição na hipótese de misturas lineares e, assim, estimar um limiar de detecção para uma dada probabilidade de falso-alarme. A performance do detector proposto foi estudada considerando problemas supervisionados e não-supervisionados, sendo mostrado que a melhoria obtida no desempenho SU utilizando o detector proposto é estatisticamente consistente. Além disso, um grau de não-linearidade baseado nas energias relativas das contribuições lineares e não-lineares do processo de mistura foi definido para quantificar a importância das parcelas linear e não-linear dos modelos. Tal definição é importante para uma correta avaliação dos desempenhos relativos de diferentes estratégias de detecção de misturas não-lineares. No Capítulo 5 um algoritmo iterativo foi proposto para a estimação de endmembers como uma etapa de pré-processamento para problemas SU não supervisionados. Esse algoritmo intercala etapas de detecção de misturas não-lineares e estimação de endmembers de forma iterativa, na qual uma etapa de estimação de endmembers é seguida por uma etapa de detecção, na qual uma parcela dos pixels mais não-lineares é descartada. Esse processo é repetido por um número máximo de execuções ou até um critério de parada ser atingido. Demonstra-se que o uso combinado do detector proposto com um algoritmo de estimação de endmembers leva a melhores resultados de SU quando comparado com soluções do estado da arte. Simulações utilizando diferentes cenários corroboram as conclusões. No Capítulo 6 dois métodos para SU não-linear de imagens hiperespectrais, que empregam seleção de bandas (BS) diretamente no espaço de Hilbert de kernels reprodutivos (RKHS), são apresentados. O primeiro método utiliza o algoritmo Kernel K-Means (KKM) para encontrar clusters diretamente no RKHS onde cada centroide é então associada ao vetor espectral mais próximo. O segundo método é centralizado e baseado no critério de coerência, que incorpora uma medida da qualidade do dicionário no RKHS para a SU não-linear. Essa abordagem centralizada é equivalente a resolver um problema de máximo clique (MCP). Contrariamente a outros métodos concorrentes que não incluem uma escolha eficiente dos parâmetros do modelo, o método proposto requer apenas uma estimativa inicial do número de bandas selecionadas. Os resultados das simulações empregando dados, tanto sintéticos como reais, ilustram a qualidade dos resultados de unmixing obtidos com os métodos de BS propostos. Ao utilizar o SK-Hype, para um número reduzido de bandas, são obtidas estimativas de abundância tão precisas quanto aquelas obtidas utilizando o método SK-Hype com todo o espectro disponível, mas com uma pequena fração do custo computacional

Fusion rapide d'images multispectrales et hyperspectrales en astronomie infrarouge.

Le James Webb Space Telescope (JWST) sera lancé en octobre 2021 et fournira des images multispectrales (à basse résolution spectrale) sur de larges champs de vue (avec une haute résolution spatiale) et des images hyperspectrales (à haute résolution spectrale) sur des petits champs de vue (avec une plus basse résolution spatiale). Les travaux de cette thèse ont pour but de développer des méthodes de fusion qui combinent ces images pour reconstruire la scène astrophysique observée à haute résolution spatiale et spectrale. Le produit fusionné permettra une amélioration de l'interprétation scientifique des données. Ces travaux s'inscrivent dans le programme d'observation prioritaire Early Release Science "Radiative Feedback of Massive Stars" qui sera mené lors de la première vague des missions scientifiques du JWST en septembre 2022. Le problème de fusion d'images de résolutions spatiales et spectrales différentes a été largement étudié dans un contexte d'observation de la Terre. Les méthodes les plus performantes sont basées sur la résolution de problèmes inverses, en minimisant un critère de fidélité aux données complété par un terme de régularisation. Le terme d'attache aux données est formulé d'après un modèle direct des instruments d'observation. Le terme de régularisation peut être interprété comme une information a priori sur l'image fusionnée. Les principaux enjeux de la fusion de données pour le JWST sont le très gros volume des données fusionnées, considérablement plus grand que la taille typique des images rencontrées en observation de la Terre, et la complexité des deux instruments d’observation. Dans cette thèse, nous proposons d'abord un cadre générique permettant de simuler des observations telles qu'elles seront fournies par deux instruments embarqués sur le JWST: l'imageur multispectral NIRCam et le spectromètre NIRSpec. Ce protocole repose principalement sur une image de référence à hautes résolutions spatiale et spectrale et sur la modélisation des instruments considérés. Dans ces travaux, l'image de référence est synthétiquement créée en exploitant une factorisation réaliste des caractéristiques spatiales et spectrales d'une région de photodissociation. Pour simuler les images multi- et hyperspectrales, nous établissons un modèle d’observation précis respectant les spécifications des instruments NIRCam et de NIRSpec. Ce modèle direct tient compte des particularités des instruments d'observation astrophysique, à savoir un flou spectralement variant pour chacun des instruments, et de leurs caractéristiques de bruit particulières. Ce cadre générique, inspiré par le célèbre protocole de Wald et al. (2005), rend possible la simulation de données réalistes qui seront utilisées pour évaluer les performances des algorithmes de fusion. Ensuite, nous exploitons le modèle direct précédemment établi pour formuler la tâche de fusion comme un problème inverse. En complément du terme d'attache aux données obtenu, un certain nombre de régularisations sont explorées. Tout d'abord, une régularisation spectrale est définie en suivant une hypothèse de rang faible sur l’image fusionnée. Ensuite, les régularisations spatiales suivantes sont eßxplorées : régularisation de type Sobolev, régularisation de type Sobolev à poids, représentation par patch et apprentissage de dictionnaires. Pour surmonter la complexité des modèles instrumentaux ainsi que la très grande taille des données, une implémentation rapide est proposée, en résolvant le problème dans le domaine spatial de Fourier et dans un sousespace spectral. Une importance particulière a été accordée à une prise en compte des incertitudes liées au problème : erreurs de pointage du télescope et de recalage des images

Variational methods and its applications to computer vision

Many computer vision applications such as image segmentation can be formulated in a ''variational'' way as energy minimization problems. Unfortunately, the computational task of minimizing these energies is usually difficult as it generally involves non convex functions in a space with thousands of dimensions and often the associated combinatorial problems are NP-hard to solve. Furthermore, they are ill-posed inverse problems and therefore are extremely sensitive to perturbations (e.g. noise). For this reason in order to compute a physically reliable approximation from given noisy data, it is necessary to incorporate into the mathematical model appropriate regularizations that require complex computations. The main aim of this work is to describe variational segmentation methods that are particularly effective for curvilinear structures. Due to their complex geometry, classical regularization techniques cannot be adopted because they lead to the loss of most of low contrasted details. In contrast, the proposed method not only better preserves curvilinear structures, but also reconnects some parts that may have been disconnected by noise. Moreover, it can be easily extensible to graphs and successfully applied to different types of data such as medical imagery (i.e. vessels, hearth coronaries etc), material samples (i.e. concrete) and satellite signals (i.e. streets, rivers etc.). In particular, we will show results and performances about an implementation targeting new generation of High Performance Computing (HPC) architectures where different types of coprocessors cooperate. The involved dataset consists of approximately 200 images of cracks, captured in three different tunnels by a robotic machine designed for the European ROBO-SPECT project.Open Acces

Demosaicing multi-energy patterned composite pixels for spectral CT

Tese de mestrado integrado em Engenharia Biomédica e Biofísica, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2016O desenvolvimento da Tomografia Computadorizada foi realizada na combinação de duas áreas científicas, computação e imagiologia com base em raios-x. Em 1895, o cientista Wilhelm Roentgen descobriu os raios-X: fotões de altas energias provenientes de transições eletrónicas nos átomos. Estes são radiações eletromagnéticas que se propagam à velocidade da luz e são ionizantes. Devido às suas propriedades, os raios-x foram imediatamente rentabilizados como uma ferramenta para explorar a composição da matéria. Os fotões interagem com a matéria por dois mecanismos dominantes, dependendo da energia da radiação eletromagnética: efeito fotoelétrico e efeito de Compton. O efeito fotoelétrico corresponde à interação dos fotões com os eletrões que se encontram nas órbitas de maior energia do átomo. O fotão transfere toda a sua energia para o eletrão, sendo parte dessa usada para superar a energia de ligação do eletrão e a energia restante é transferida para o mesmo eletrão sob a forma de energia cinética. O efeito de Compton corresponde à interação do fotão com o eletrão que se encontra numa das órbitas de menor energia. Depois da interação, o fotão é desviado e o eletrão é ejetado do átomo. O fotão desviado pode voltar a interagir com a matéria sob o efeito de Compton ou o efeito fotoelétrico, ou simplesmente não a interagir com a matéria. Os raios-X têm a sua intensidade diminuída em função das interações que ocorrem com o material que as absorve. A atenuação da energia destes acontece de maneira exponencial em função da espessura do material absorvente. Devido às propriedades físicas provocadas pelos raios-X, esta radiação foi estabelecida como uma ferramenta médica. A tomografia convencional consistiu numa técnica de diagnóstico na qual a aquisição de imagem é realizada a partir de um filme radiográfico, que resulta da projeção das estruturas anatómicas tridimensionais em imagens bidimensionais, com sobreposições de informação anatómica. Em 1970, os cientistas Hounsfield e Cormack desenvolveram uma técnica, a Tomografia Computadorizada, que possuía logo de início a vantagem de corrigir o problema da sobreposição de informação. A Tomografia Computadorizada reconstrói as estruturas internas de um objeto a partir de múltiplas projeções utilizando algoritmos de reconstrução. A diferenciação e classificação de diferentes tipos de tecidos tornou-se extremamente desafiante nesta técnica, devido ao facto de que mesmo que dois materiais difiram em número atómico, dependendo da densidade de massa ou concentração, eles podem aparecer idênticos na imagem. Desta forma uma das soluções foi o estudo da Tomografia Computorizada Espectral, sendo esta uma técnica promissora no desenvolvimento da imagiologia pois potencia a deteção e caracterização dos tecidos anatómicos além dos níveis atualmente atingíveis com técnicas de TC convencionais. A TC espectral leva em consideração que a radiação transmitida transporta mais informações para além de mudanças de intensidade e que o coeficiente de atenuação depende não só do material, mas também da energia do fotão. A TC espectral difere das outras técnicas no sentido em que utiliza as características físicas dos materiais em estudo em mais de dois espectros de energia. Através da aquisição de imagens em diferentes níveis de energia, a técnica é capaz de diferenciar os vários elementos do corpo com base na densidade dos materiais ou nos números atómicos destes. As diferenças entre os vários tecidos são exibidas através de distintas cores na imagem final. Uma tecnologia importante utilizada na CT Espectral é a dos detetores de contagem de fotões, conhecidos por detetores híbridos. Estes detetores têm a particularidade de separar o espetro incidente em múltiplos espetros, cuja forma depende dos limiares de energia impostos. Estes detetores operam num modo de contagem, ou seja, em vez de operarem em modo de integração tal como os detetores convencionais, estes efetuam a contagem individual dos fotões da radiação incidente a partir de limiares de energia estipulados. A influência do ruído electrónico afeta a energia medida de cada fotão, contudo tendo em conta que estes detetores efetuam a contagem de fotões, o ruído eletrónico deixa de ter uma influência tão significativa na qualidade da imagem adquirida. “K-edge Imaging” é uma das abordagens utilizadas em sistemas de TC espectral; explora as propriedades físicas de agentes de contrastes utilizados em tomografia computorizada e as suas respetivas propriedades físicas. Os elementos utilizados para os agentes contrastes são elementos pesados e altamente atenuantes, e cujo efeito fotoelétrico ocorre ao mesmo alcance das energias utilizadas em TC. Deste modo, cada um desses elementos pesados tem um salto característico na sua atenuação de raios-X, o qual corresponde à energia que ocorre o efeito fotoelétrico. Como os eletrões envolvidos no efeito fotoelétrico pertencem à orbital K, o salto característico é designado por "K-edge". “K-edge Imaging” explora a escolha do espetro de energia aplicado de forma a abranger o salto característico destes elementos para identificar e localizar componentes específicos. No CPPM, o grupo imXgam desenvolveu uma micro-TC e uma PET / TC simultânea que incorpora a nova tecnologia de detetores híbridos desenvolvida pelo centro: o detetor XPAD3. Esta tecnologia não só permite trabalhar em modo de contagem de fotões, mas também é capaz de selecionar informação energética sobre os fotões detetados; consequentemente as capacidades do detector XPAD3 foram exploradas para desenvolver “K-edge Imaging”. Os artefactos que resultam de várias aquisições estão relacionados com o movimento. Para resolver esse problema, o CPPM desenvolveu um conceito de pixéis compostos, que consiste numa matriz de pixéis (3 × 3) com 3 diferentes limiares de energia. Embora, os pixéis compostos resolvam os artefactos de movimento, as imagens adquiridas perderam a resolução espacial. Assim, o projeto deste trabalho tem como objetivo a realização de "K-edge Imaging" em objectos em movimento em plena resolução espacial. Este projeto aborda o problema como um problema “Inpainting”, onde as medidas desconhecidas para cada limiar de energia serão estimadas a partir de medidas parciais. Há uma vasta literatura sobre o problema “Inpainting”, assim como noutra área de processamento de imagem, o “Demosaicing”. Estes são métodos de restauração que removem regiões danificadas ou reconstroem porções perdidas da imagem. O problema “Demosaicing” tem um interesse particular para este trabalho em virtude do método recuperar informação de imagens coloridas (imagens RGB). A utilização do método “Demosaicing” em imagens adquiridas por sistemas TC é praticamente inexistente, pelo que o objetivo deste projeto foi avaliar não só os métodos de restauração convencionais, mas também adaptar e avaliar o método “Demosaicing” às imagens adquiridas por sistemas TC. Desta forma, as imagens espectrais foram tratadas como imagens coloridas: cada imagem adquirida por um limiar de energia foi configurada como uma cor. A imagem resultante foi submetida ao processo de recuperação que consistiu em acoplar as três imagens obtidas por cada limiar de energia em uma imagem de cor( imagem RGB). Este trabalho exigiu, em primeiro lugar, o estudo do esquema de amostragem de imagens espectrais e a avaliação de desempenho dos métodos mais simples em relação ao ruído, ao fator de subamostragem e à resolução espacial. As técnicas mais sofisticadas como a “Inpainting” e ”Demosaicing” foram desenvolvidas e avaliadas especificamente para imagens espectrais tomográficas. Após a avaliação destas, foi realizado um “estado de arte” que comparou os métodos e, consequentemente, fez uma análise de qual o método mais adequado para imagens de TC espectral. A segunda parte deste projeto consistiu no estudo do padrão que os píxeis compostos devem seguir, de forma a definir um protocolo de aquisição. Para tal, foram testados dois tipos de padrões: regular e aleatório. A ideia de píxeis compostos foi obtida criando uma matriz com vários componentes que dependem do número de limiar de energias que se quer utilizar. Conforme mencionado, no CPPM é utilizado uma matriz de pixels com três limiares de energia, desta forma, neste projeto, a possibilidade de aumentar o número de limiares de energia foi também testado. Os objetivos do projeto foram alcançados uma vez que a avaliação dos métodos foi realizada e conclui-se que a nova abordagem apresentou melhores resultados que os métodos padrão. Conclui-se que as imagens adquiridas pelo método “Demosaicing” apresentam melhor resolução espacial. Relativamente ao padrão dos pixéis compostos verificou-se que em ambos a reconstrução apresentou bom desempenho. A análise do aumento de número de limiares de energia apontou para bons resultados, observados no uso de 4 níveis de energia, porém a nova abordagem “Demosaicing” teria de ser reformulada. De forma a alcançar os objetivos, este tema foi dividido em vários capítulos. No segundo capítulo foram introduzidos os conceitos físicos envolvidos na tomografia espectral, desde a produção dos raios-X até ao desenvolvimento da técnica propriamente dita. O terceiro capítulo abordou como o “estado de arte” foi efetuado, documentando o que foi realizado atualmente no campo em estudo. Nos capítulos 4 e 5 apresentou-se os materiais e métodos utilizados, assim como exposto as suas aplicações,e de forma mais particular a matemática e a programação envolvidas. No capítulo 6 apresentou-se os resultados alcançados e as respectivas observações. No último capítulo sumariou-se os resultados obtidos e as conclusões retiradas a partir destes.Computed Tomography is a diagnosis technique that uses X-ray radiation to create images of structures. This technique consists in reconstructing a quantitative map of the attenuation coefficients of the object sections from multiple projections using reconstruction algorithms. Since the attenuation coefficient is not unique for any material, the differentiation and classification of different tissue types by Computed Tomography has revealed to be extremely challenging. The solution has been provided through the development of an energy sensitive CT scanner, known as Spectral CT. This technique takes in consideration that the transmitted radiation carries more information than intensity changes, that the x-ray tube produces a wide range of energy spectrum and that the attenuation of radiation depends not only on the material but also on the photon energy. Spectral CT uses the attenuation characteristics at more than two energies which makes it possible to differentiate various elements in the body, based on their material density or atomic numbers. Therefore, this technique uses the new detector technology, the hybrid pixel detector. This detector allows the energy threshold setting. Combining the physical properties of different materials and the possibility of setting the energy threshold in the detectors, a new spectral imaging technique is used, K-edge imaging. This technique explores the discontinuity in the photoelectric effect, which is generated when photons interact with matter, and those interact with the shell electrons. Therefore, the Centre de Physique des Particules de Marseille developed a micro-CT and a simultaneous PET/CT scan based on hybrid pixel detector. The ability of tuning the energy threshold of each pixel independently was exploited to develop K-edge imaging and the proof of concept has been established on phantom and on living mice. In the context of pre-clinical imaging, objects are moving and the several acquisitions must be performed simultaneously to allow the registration set. For this purpose, CPPM had been working with composite pixels made of 9 (3× 3) pixels with 3 different thresholds. This solves the motion artefact problem at the price of loss in spatial resolution. Therefore, the research project of this work aims at performing K-edge imaging on moving object at full spatial resolution. The problem is seen as an Inpainting problem where unknown measure must be estimated from partial measurements. A huge literature exists in the Inpainting, and especially in the field of Demosaicing, which is particularity of interest in this research project. The project consists in a study of the sampling scheme of spectral CT images and to evaluate the performance of simplest methods with respect to noise and spatial resolution. More sophisticated techniques of Inpainting and Demosaicing were tested, which were developed specifically for spectral CT images by incorporating prior on image. Therefore, an evaluation performance of all the reconstruction methods was successfully made, and a state-of-art was established. In this research project, in order to create the composite pixels concept, a set of dynamic strategies of patterning composite pixels was achieved in order to define optimal protocols of acquisition

Contributions à la fusion de segmentations et à l’interprétation sémantique d’images

Cette thèse est consacrée à l’étude de deux problèmes complémentaires, soit la fusion de segmentation d’images et l’interprétation sémantique d’images. En effet, dans un premier temps, nous proposons un ensemble d’outils algorithmiques permettant d’améliorer le résultat final de l’opération de la fusion. La segmentation d’images est une étape de prétraitement fréquente visant à simplifier la représentation d’une image par un ensemble de régions significatives et spatialement cohérentes (également connu sous le nom de « segments » ou « superpixels ») possédant des attributs similaires (tels que des parties cohérentes des objets ou de l’arrière-plan). À cette fin, nous proposons une nouvelle méthode de fusion de segmentation au sens du critère de l’Erreur de la Cohérence Globale (GCE), une métrique de perception intéressante qui considère la nature multi-échelle de toute segmentation de l’image en évaluant dans quelle mesure une carte de segmentation peut constituer un raffinement d’une autre segmentation. Dans un deuxième temps, nous présentons deux nouvelles approches pour la fusion des segmentations au sens de plusieurs critères en nous basant sur un concept très important de l’optimisation combinatoire, soit l’optimisation multi-objectif. En effet, cette méthode de résolution qui cherche à optimiser plusieurs objectifs concurremment a rencontré un vif succès dans divers domaines. Dans un troisième temps, afin de mieux comprendre automatiquement les différentes classes d’une image segmentée, nous proposons une approche nouvelle et robuste basée sur un modèle à base d’énergie qui permet d’inférer les classes les plus probables en utilisant un ensemble de segmentations proches (au sens d’un certain critère) issues d’une base d’apprentissage (avec des classes pré-interprétées) et une série de termes (d’énergie) de vraisemblance sémantique.This thesis is dedicated to study two complementary problems, namely the fusion of image segmentation and the semantic interpretation of images. Indeed, at first we propose a set of algorithmic tools to improve the final result of the operation of the fusion. Image segmentation is a common preprocessing step which aims to simplify the image representation into significant and spatially coherent regions (also known as segments or super-pixels) with similar attributes (such as coherent parts of objects or the background). To this end, we propose a new fusion method of segmentation in the sense of the Global consistency error (GCE) criterion. GCE is an interesting metric of perception that takes into account the multiscale nature of any segmentations of the image while measuring the extent to which one segmentation map can be viewed as a refinement of another segmentation. Secondly, we present two new approaches for merging multiple segmentations within the framework of multiple criteria based on a very important concept of combinatorial optimization ; the multi-objective optimization. Indeed, this method of resolution which aims to optimize several objectives concurrently has met with great success in many other fields. Thirdly, to better and automatically understand the various classes of a segmented image we propose an original and reliable approach based on an energy-based model which allows us to deduce the most likely classes by using a set of identically partitioned segmentations (in the sense of a certain criterion) extracted from a learning database (with pre-interpreted classes) and a set of semantic likelihood (energy) term

Advances in Computer Recognition, Image Processing and Communications, Selected Papers from CORES 2021 and IP&C 2021

As almost all human activities have been moved online due to the pandemic, novel robust and efficient approaches and further research have been in higher demand in the field of computer science and telecommunication. Therefore, this (reprint) book contains 13 high-quality papers presenting advancements in theoretical and practical aspects of computer recognition, pattern recognition, image processing and machine learning (shallow and deep), including, in particular, novel implementations of these techniques in the areas of modern telecommunications and cybersecurity