119 research outputs found
The effect of using multiple connectivity metrics in brain Functional Connectivity studies
Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Sinais e Imagens Médicas) Universidade de Lisboa, Faculdade de Ciências, 2022Resting-state functional magnetic resonance imaging (rs-fMRI) has the potential to assist as a
diagnostic or prognostic tool for a diverse set of neurological and neuropsychiatric disorders, which are
often difficult to differentiate. fMRI focuses on the study of the brain functional Connectome, which is
characterized by the functional connections and neuronal activity among different brain regions, also
interpreted as communications between pairs of regions. This Functional Connectivity (FC) is quantified
through the statistical dependences between brain regions’ blood-oxygen-level-dependent (BOLD)
signals time-series, being traditionally evaluated by correlation coefficient metrics and represented as
FC matrices. However, several studies underlined limitations regarding the use of correlation metrics to
fully capture information from these signals, leading investigators towards different statistical metrics
that would fill those shortcomings. Recently, investigators have turned their attention to Deep Learning
(DL) models, outperforming traditional Machine Learning (ML) techniques due to their ability to
automatically extract relevant information from high-dimensional data, like FC data, using these models
with rs-fMRI data to improve diagnostic predictions, as well as to understand pathological patterns in
functional Connectome, that can lead to the discovery of new biomarkers. In spite of very encouraging
performances, the black-box nature of DL algorithms makes difficult to know which input information
led the model to a certain prediction, restricting its use in clinical settings.
The objective of this dissertation is to exploit the power of DL models, understanding how FC
matrices created from different statistical metrics can provide information about the brain FC, beyond
the conventionally used correlation family. Two publicly available datasets where studied, the ABIDE I dataset, composed by healthy and autism spectrum disease (ASD) individuals, and the ADHD-200
dataset, with typically developed controls and individuals with attention-deficit/hyperactive disorder
(ADHD). The computation of the FC matrices of both datasets, using different statistical metrics, was
performed in MATLAB using MULAN’s toolbox functions, encompassing the correlation coefficient,
non-linear correlation coefficient, mutual information, coherence and transfer entropy. The
classification of FC data was performed using two DL models, the improved ConnectomeCNN model
and the innovative ConnectomeCNN-Autoencoder model. Moreover, another goal is to study the effect
of a multi-metric approach in classification performances, combining multiple FC matrices computed
from the different statistical metrics used, as well as to study the use of Explainable Artificial
Intelligence (XAI) techniques, namely Layer-wise Relevance Propagation method (LRP), to surpass the
black-box problem of DL models used, in order to reveal the most important brain regions in ADHD.
The results show that the use of other statistical metrics to compute FC matrices can be a useful
complement to the traditional correlation metric methods for the classification between healthy subjects
and subjects diagnosed with ADHD and ASD. Namely, non-linear metrics like h2 and mutual
information, achieved similar and, in some cases, even slightly better performances than correlation
methods. The use of FC multi-metric, despite not showing improvements in classification performance
compared to the best individual method, presented promising results, namely the ability of this approach
to select the best features from all the FC matrices combined, achieving a similar performance in relation
to the best individual metric in each of the evaluation measures of the model, leading to a more complete
classification. The LRP analysis applied to ADHD-200 dataset proved to be promising, identifying brain
regions related to the pathophysiology of ADHD, which are in broad accordance with FC and structural
study’s findings.A ressonância magnética funcional em estado de repouso (rs-fMRI) tem o potencial de ser uma
ferramenta auxiliar de diagnóstico ou prognóstico para um conjunto diversificado de distúrbios
neurológicos e neuropsiquiátricos, que muitas vezes são difíceis de diferenciar. A análise de dados de
rs-fMRI recorre muitas vezes ao conceito de conectoma funcional do cérebro, que se caracteriza pelas
conexões funcionais entre as diferentes regiões do cérebro, sendo estas conexões interpretadas como
comunicações entre diferentes pares de regiões cerebrais. Esta conectividade funcional é quantificada
através de dependências estatísticas entre os sinais fMRI das regiões cerebrais, sendo estas
tradicionalmente calculadas através da métrica coeficiente de correlação, e representadas através de
matrizes de conectividade funcional. No entanto, vários estudos demonstraram limitações em relação ao
uso de métricas de correlação, em que estas não conseguem capturar por completo todas as informações
presentes nesses sinais, levando os investigadores à procura de diferentes métricas estatísticas que
pudessem preencher essas lacunas na obtenção de informações mais completas desses sinais.
O estudo destes distúrbios neurológicos e neuropsiquiátricos começou por se basear em técnicas
como mapeamento paramétrico estatístico, no contexto de estudos de fMRI baseados em tarefas. Porém,
essas técnicas apresentam certas limitações, nomeadamente a suposição de que cada região cerebral atua
de forma independente, o que não corresponde ao conhecimento atual sobre o funcionamento do cérebro.
O surgimento da rs-fMRI permitiu obter uma perspetiva mais global e deu origem a uma vasta literatura
sobre o efeito de patologias nos padrões de conetividade em repouso, incluindo tentativas de diagnóstico
automatizado com base em biomarcadores extraídos dos conectomas. Nos últimos anos, os
investigadores voltaram a sua atenção para técnicas de diferentes ramos de Inteligência Artificial, mais
propriamente para os algoritmos de Deep Learning (DL), uma vez que são capazes de superar os
algoritmos tradicionais de Machine Learning (ML), que foram aplicados a estes estudos numa fase
inicial, devido à sua capacidade de extrair automaticamente informações relevantes de dados de alta
dimensão, como é o caso dos dados de conectividade funcional. Esses modelos utilizam os dados obtidos
da rs-fMRI para melhorar as previsões de diagnóstico em relação às técnicas usadas atualmente em
termos de precisão e rapidez, bem como para compreender melhor os padrões patológicos nas conexões
funcionais destes distúrbios, podendo levar à descoberta de novos biomarcadores. Apesar do notável
desempenho destes modelos, a arquitetura natural em caixa-preta dos algoritmos de DL, torna difícil
saber quais as informações dos dados de entrada que levaram o modelo a executar uma determinada
previsão, podendo este utilizar informações erradas dos dados para alcançar uma dada inferência,
restringindo o seu uso em ambientes clínicos.
O objetivo desta dissertação, desenvolvida no Instituto de Biofísica e Engenharia Biomédica, é
explorar o poder dos modelos DL, de forma a avaliar até que ponto matrizes de conectividade funcional
criadas a partir de diferentes métricas estatísticas podem fornecer mais informações sobre a
conectividade funcional do cérebro, para além das métricas de correlação convencionalmente usadas
neste tipo de estudos. Foram estudados dois conjuntos de dados bastante utilizados em estudos de
Neurociência e que estão disponíveis publicamente: o conjunto de dados ABIDE-I, composto por
indivíduos saudáveis e indivíduos com doenças do espectro do autismo (ASD), e o conjunto de dados
ADHD-200, com controlos tipicamente desenvolvidos e indivíduos com transtorno do défice de atenção
e hiperatividade (ADHD).
Numa primeira fase foi realizada a computação das matrizes de conetividade funcional de ambos os
conjuntos de dados, usando as diferentes métricas estatísticas. Para isso, foi desenvolvido código de
MATLAB, onde se utilizam as séries temporais dos sinais BOLD obtidas dos dois conjuntos de dados
para criar essas mesmas matrizes de conectividade funcional, incorporando funções de diferentes
métricas estatísticas da caixa de ferramentas MULAN, compreendendo o coeficiente de correlação, o
coeficiente de correlação não linear, a informação mútua, a coerência e a entropia de transferência. De
seguida, a classificação dos dados de conectividade funcional, de forma a avaliar o efeito do uso de
diferentes métricas estatísticas para a criação de matrizes de conectividade funcional na discriminação
de sujeitos saudáveis e patológicos, foi realizada usando dois modelos de DL. O modelo
ConnectomeCNN melhorado e o modelo inovador ConnectomeCNN-Autoencoder foram desenvolvidos
com recurso à biblioteca de Redes Neuronais Keras, juntamente com o seu backend Tensorflow, ambos
em Python. Estes modelos, desenvolvidos previamente no Instituto de Biofísica e Engenharia
Biomédica, tiveram de ser otimizados de forma a obter a melhor performance, onde vários parâmetros
dos modelos e do respetivo treino dos mesmos foram testados para os dados a estudar. Pretendeu-se
também estudar o efeito de uma abordagem multi-métrica nas tarefas de classificação dos sujeitos de
ambos os conjuntos de dados, sendo que, para estudar essa abordagem as diferentes matrizes calculadas
a partir das diferentes métricas estatísticas utilizadas, foram combinadas, sendo usados os mesmos
modelos que foram aplicados às matrizes de conectividade funcional de cada métrica estatística
individualmente. É importante realçar que na abordagem multi-métrica também foi realizada a
otimização dos parâmetros dos modelos utilizados e do respetivo treino, de modo a conseguir a melhor
performance dos mesmos para estes dados. Para além destes dois objetivos, estudou-se o uso de técnicas
de Inteligência Artificial Explicável (XAI), mais especificamente o método Layer-wise Relevance
Propagation (LRP), com vista a superar o problema da caixa-preta dos modelos de DL, com a finalidade
de explicar como é que os modelos estão a utilizar os dados de entrada para realizar uma dada previsão.
O método LRP foi aplicado aos dois modelos utilizados anteriormente, usando como dados de entrada
o conjunto de dados ADHD-200, permitindo assim revelar quais as regiões cerebrais mais importantes
no que toca a um diagnóstico relacionado com o ADHD.
Os resultados obtidos mostram que o uso de outras métricas estatísticas para criar as matrizes de
Conectividade Funcional podem ser um complemento bastante útil às métricas estatísticas
tradicionalmente utilizadas para a classificação entre indivíduos saudáveis e indivíduos como ASD e
ADHD. Nomeadamente métricas estatísticas não lineares como o h2 e a informação mútua, obtiveram
desempenhos semelhantes e, em alguns casos, desempenhos ligeiramente melhores em relação aos
desempenhos obtidos por métodos de correlação, convencionalmente usados nestes estudos de
conectividade funcional. A utilização da multi-métrica de conectividade funcional, apesar de não
apresentar melhorias no desempenho geral da classificação em relação ao melhor método das matrizes
de conectividade funcional individuais do conjunto de métricas estatísticas abordadas, apresenta
resultados que justificam a exploração mais aprofundada deste tipo de abordagem, de forma a
compreender melhor a complementaridade das métricas e a melhor maneira de as utilizar. O uso do
método LRP aplicado ao conjunto de dados do ADHD-200 mostrou a sua aplicabilidade a este tipo de
estudos e a modelos de DL, identificando as regiões cerebrais mais relacionadas à fisiopatologia do
diagnóstico do ADHD que são compatíveis com o que é reportado por diversos estudos de conectividade
funcional e estudos de alterações estruturais associados a esta doença. O facto destas técnicas de XAI
demonstrarem como é que os modelos de DL estão a usar os dados de entrada para efetuar as previsões,
pode significar uma mais rápida e aceite adoção destes algoritmos em ambientes clínicos. Estas técnicas
podem auxiliar o diagnóstico e prognóstico destes distúrbios neurológicos e neuropsiquiátricos, que são
na maioria das vezes difíceis de diferenciar, permitindo aos médicos adquirirem um conhecimento em
relação à previsão realizada e poder explicar a mesma aos seus pacientes
Brain connectivity analysis: a short survey
This short survey the reviews recent literature on brain connectivity studies. It encompasses all forms of static and dynamic
connectivity whether anatomical, functional, or effective. The last decade has seen an ever increasing number of studies devoted
to deduce functional or effective connectivity, mostly from functional neuroimaging experiments. Resting state conditions have
become a dominant experimental paradigm, and a number of resting state networks, among them the prominent default mode
network, have been identified. Graphical models represent a convenient vehicle to formalize experimental findings and to closely
and quantitatively characterize the various networks identified. Underlying these abstract concepts are anatomical networks, the
so-called connectome, which can be investigated by functional imaging techniques as well. Future studies have to bridge the gap between anatomical neuronal connections and related functional or effective connectivities
Recommended from our members
Application of Deep Learning to Brain Connectivity Classification in Large MRI Datasets
The use of machine learning for whole-brain classification of magnetic resonance imaging (MRI) data is of clear interest, both for understanding phenotypic differences in brain structure and function and for diagnostic applications. Developments of deep learning models in the past decade have revolutionized photographic image and speech recognition, bringing promise to do the same to other fields of science. However, there are many practical and theoretical challenges in the translation of such methods to the unique context of MRIs of the brain. This thesis presents a theoretical underpinning for whole-brain classification of extremely large datasets of multi-site MRIs, including machine learning model architecture, dataset curation methods, machine learning visualization methods, encoding of MRI data, and feature extraction. To replicate large sample sizes typically applied to deep learning models, a dataset of over 50,000 functional and structural MRIs was amassed from nine different databases, and the undertaken analyses were conducted on three covariates commonly found across these collections: sex, resting state/task, and autism spectrum disorder. I find that deep learning is not only a method that has promise for clinical application in the future, but also a powerful statistical tool for analyzing complex, nonlinear relationships in brain data where conventional statistics may fail. However, results are also dependent on factors such as dataset imbalances, confounding factors such as motion and head size, selected methods of encoding MRI data, variability of machine learning models and selected methods of visualizing the machine learning results. In this thesis, I present the following methodological innovations: (1) a method of balancing datasets as a means of regressing out measurable confounding factors; (2) a means of removing spatial biases from deep learning visualization methods; (3) methods of encoding functional and structural datasets as connectivity matrices; (4) the use of ensemble models and convolutional neural network architectures to improve classification accuracy and consistency; (5) adaptation of deep learning visualization methods to study brain connections utilized in the classification process. Additionally, I discuss interpretations, limitations, and future directions of this research.Gates Cambridge Scholarshi
Contributions to the study of Austism Spectrum Brain conectivity
164 p.Autism Spectrum Disorder (ASD) is a largely prevalent neurodevelopmental condition with a big social and economical impact affecting the entire life of families. There is an intense search for biomarkers that can be assessed as early as possible in order to initiate treatment and preparation of the family to deal with the challenges imposed by the condition. Brain imaging biomarkers have special interest. Specifically, functional connectivity data extracted from resting state functional magnetic resonance imaging (rs-fMRI) should allow to detect brain connectivity alterations. Machine learning pipelines encompass the estimation of the functional connectivity matrix from brain parcellations, feature extraction and building classification models for ASD prediction. The works reported in the literature are very heterogeneous from the computational and methodological point of view. In this Thesis we carry out a comprehensive computational exploration of the impact of the choices involved while building these machine learning pipelines
Graph Signal Processing: Overview, Challenges and Applications
Research in Graph Signal Processing (GSP) aims to develop tools for
processing data defined on irregular graph domains. In this paper we first
provide an overview of core ideas in GSP and their connection to conventional
digital signal processing. We then summarize recent developments in developing
basic GSP tools, including methods for sampling, filtering or graph learning.
Next, we review progress in several application areas using GSP, including
processing and analysis of sensor network data, biological data, and
applications to image processing and machine learning. We finish by providing a
brief historical perspective to highlight how concepts recently developed in
GSP build on top of prior research in other areas.Comment: To appear, Proceedings of the IEE
A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis
The Autism Spectrum Disorder (ASD) is a complex and heterogeneous neurodevelopmental condition characterized by cognitive, behavioral, and social dysfunction. Much
effort is being made to identify brain imaging biomarkers and develop tools that could
facilitate its diagnosis - currently based on behavioral criteria through a lengthy and timeconsuming process. In particular, the use of Machine Learning (ML) classifiers based on
resting-state functional Magnetic Resonance Imaging (rs-fMRI) data is promising, but
there is an ongoing need for further research on their accuracy. Therefore, we conducted a
systematic review and meta-analysis to summarize and aggregate the available evidence
in the literature so far. The systematic search resulted in the selection of 93 articles, whose
data were extracted and analyzed through the systematic review. A bivariate randomeffects meta-analytic model was implemented to investigate the sensitivity and specificity
across the 55 studies (132 independent samples) that offered sufficient information for
a quantitative analysis. Our results indicated overall summary sensitivity and specificity
estimates of 73.8% (95% CI: 71.8-75.8%) and 74.8% (95% CI: 72.3-77.1%), respectively,
and Support Vector Machine (SVM) stood out as the most used classifier, presenting
summary estimates above 76%. Studies with bigger samples tended to obtain worse accuracies, except in the subgroup analysis for Artificial Neural Network (ANN) classifiers.
The use of other brain imaging or phenotypic data to complement rs-fMRI information
seem to be promising, achieving specially higher sensitivities (p = 0.002) when compared
to rs-fMRI data alone (84.7% - 95% CI: 78.5-89.4% - versus 72.8% - 95% CI: 70.6-74.8%).
Lower values of sensitivity/specificity were found when the number of Regions of Interest
(ROIs) increased. We also highlight the performance of the approaches using the Automated Anatomical Labelling atlas with 116 ROIs (AAL116). Regarding the features used
to train the classifiers, we found better results using the Pearson Correlation (PC) Fishertransformed or other features in comparison to the use of the PC without modifications.
Finally, our analysis showed AUC values between acceptable and excellent, but given the
many limitations indicated in our study, further well-designed studies are warranted to
extend the potential use of those classification algorithms to clinical settings.Agência 1O Transtorno do Espectro Autista (TEA) é uma condição complexa e heterogênea que
afeta o desenvolvimento cerebral e é caracterizada por disfunções cognitivas, comportamentais e sociais. Muito esforço vem sendo feito para identificar biomarcadores baseados
em imagens cerebrais e desenvolver ferramentas que poderiam facilitar o diagnóstico do
TEA - atualmente baseado em critérios comportamentais, através de um processo longo
e demorado. Em particular, o uso de algoritmos de Aprendizado de Máquina para classificação de dados de Imagens de Ressonância Magnética funcional em estado de repouso
(rs-fMRI) é promissor, mas há uma necessidade contínua de pesquisas adicionais a respeito
da precisão desses classificadores. Assim, este trabalho realiza uma revisão sistemática e
meta-análise de modo a resumir e agregar as evidências disponíveis na literatura da área
até o momento. A busca sistemática por artigos resultou na seleção de 93 deles, que
tiveram seus dados extraídos e analisados através da revisão sistemática. Um modelo
meta-analítico bivariado de efeitos aleatórios foi implementado para investigar a sensibilidade e especificidade dos 55 estudos (132 amostras independentes) que ofereceram
informação suficiente para serem utilizados na análise quantitativa. Os resultados obtidos
indicaram estimativas gerais de sensibilidade e especificidade de 73.8% (95% IC: 71.8-
75.8%) e 74.8% (95% IC: 72.3-77.1%), respectivamente, e os classificadores baseados em
SVM (do inglês, Support Vector Machine) se destacaram como os mais utilizados, apresentando estimativas acima de 76%. Estudos que utilizaram amostras maiores tenderam
a obter piores resultados de precisão, com exceção do subgrupo composto por classificadores baseados em Redes Neurais Artificiais. O uso de outros tipos de imagens cerebrais
ou dados fenotípicos para complementar as informações obtidas através da rs-fMRI se
mostrou promissor, alcançando especialmente sensibilidades mais altas ( = 0.002) em
relação aos estudos que utilizaram apenas dados de rs-fMRI (84.7% - 95% IC: 78.5-89.4%
- versus 72.8% - 95% IC: 70.6-74.8%). Valores menores de sensibilidade/especificidade
foram encontrados quando o número de Regiões de Interesse (ROIs, do inglês Regions
of Interest) aumentou. Vale destacar também o desempenho das abordagens utilizando o
atlas AAL (do inglês, Automated Anatomical Labelling) com 116 ROIs. Em relação às
features usadas para treinar os classificadores, foram encontrados melhores resultados nos
estudos que utilizaram a correlação de Pearson em conjunto com a transformação Z de
Fisher ou outras features em comparação ao uso da correlação de Pearson sem modifica-
ções. Finalmente, a análise revelou valores da área sob a curva ROC (do inglês, Receiver
Operating Characteristic) entre aceitável e excelente. Entretanto, considerando as várias
limitações que são indicadas no estudo, mais estudos bem desenhados são necessários para
estender o uso potencial desses algoritmos de classificação a ambientes clínicos
Recommended from our members
Effects of hormones, genetics, and sex on typical and atypical brain organization
The first part of this thesis discusses developmental influences on the human connectome in relation to autism and attention deficit hyperactivity disorder (ADHD), conditions associated with alterations in brain connectivity and marked by social impairments. It reports an experiment investigating whether the connectomes of individuals with autism or ADHD differ from the connectome of neurotypical individuals, and what the underlying genetic basis could be for any differences in neural architecture. Chapter 2 reports an analysis of networks in children with autism or ADHD, using structural covariance magnetic resonance imaging (scMRI). We found overlapping as well as distinct network features across both conditions. Chapter 3 reports an analysis of how gene expression might be associated with the basic building blocs of these structural covariance networks. We found that synaptic and transcriptionally downregulated genes were replicably associated with cortical thickness differences in children with autism, but not in children with ADHD.
In addition, the first part also aims to elucidate the potential modulation effects of sex on autism neurobiology. Chapter 4 reports an analysis of structural covariance networks in male and female adults with and without autism. We found that biological sex is a modulator of neurobiological heterogeneity in autism. Chapter 5 reports pilot data aiming to identify an electrophysiological signature of these network properties using electroencephalography (EEG). We find little evidence for theories about network asymmetry, but indications of altered frontal network integration.
The second part of the thesis examines the acute effects of hormones on brain connectomics. Hormones are an integral part of the mechanism of social behaviour. In a series of hormone administration studies, we report experiments to test the acute effects of steroid and peptide hormones on brain functional connectivity (Chapters 6 and 7). Chapter 6 reports an oxytocin administration study that used a novel data-driven approach to assess resting-state fMRI connectivity in women. Although the number of fMRI studies on oxytocin have increased over past years, little is known about its effect on women. We found that oxytocin robustly enhances cortico-subcortical connectivity, and that this effect positively correlates with autistic traits. This is interesting given that oxytocin has been proposed as a potential therapeutic in autism. Chapter 7 reports an experiment testing if testosterone modulates connectivity in a specific social environment (a fear response). This was confirmed during the social task, but not during baseline resting-state, highlighting the role of testosterone in functional connectivity in this specific context.
Chapter 8 is the concluding chapter that integrates all the empirical findings in the thesis. We discuss their implications for our understanding of autism and ADHD, and of the role of steroid and peptide hormones in the typically and atypically developing connectome. Chapter 8 also reflects on the limitations of the experiments reported, and sets out future directions for research in this area.Medical Research Council, Autism Research Trust, Pinsent Darwin Trust, Cambridge Trus
Scalable Machine Learning Methods for Massive Biomedical Data Analysis.
Modern data acquisition techniques have enabled biomedical researchers to collect and analyze datasets of substantial size and complexity. The massive size of these datasets allows us to comprehensively study the biological system of interest at an unprecedented level of detail, which may lead to the discovery of clinically relevant biomarkers. Nonetheless, the dimensionality of these datasets presents critical computational and statistical challenges, as traditional statistical methods break down when the number of predictors dominates the number of observations, a setting frequently encountered in biomedical data analysis. This difficulty is compounded by the fact that biological data tend to be noisy and often possess complex correlation patterns among the predictors. The central goal of this dissertation is to develop a computationally tractable machine learning framework that allows us to extract scientifically meaningful information from these massive and highly complex biomedical datasets. We motivate the scope of our study by considering two important problems with clinical relevance: (1) uncertainty analysis for biomedical image registration, and (2) psychiatric disease prediction based on functional connectomes, which are high dimensional correlation maps generated from resting state functional MRI.PhDElectrical Engineering: SystemsUniversity of Michigan, Horace H. Rackham School of Graduate Studieshttp://deepblue.lib.umich.edu/bitstream/2027.42/111354/1/takanori_1.pd
- …