A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis

Abstract

The Autism Spectrum Disorder (ASD) is a complex and heterogeneous neurodevelopmental condition characterized by cognitive, behavioral, and social dysfunction. Much effort is being made to identify brain imaging biomarkers and develop tools that could facilitate its diagnosis - currently based on behavioral criteria through a lengthy and timeconsuming process. In particular, the use of Machine Learning (ML) classifiers based on resting-state functional Magnetic Resonance Imaging (rs-fMRI) data is promising, but there is an ongoing need for further research on their accuracy. Therefore, we conducted a systematic review and meta-analysis to summarize and aggregate the available evidence in the literature so far. The systematic search resulted in the selection of 93 articles, whose data were extracted and analyzed through the systematic review. A bivariate randomeffects meta-analytic model was implemented to investigate the sensitivity and specificity across the 55 studies (132 independent samples) that offered sufficient information for a quantitative analysis. Our results indicated overall summary sensitivity and specificity estimates of 73.8% (95% CI: 71.8-75.8%) and 74.8% (95% CI: 72.3-77.1%), respectively, and Support Vector Machine (SVM) stood out as the most used classifier, presenting summary estimates above 76%. Studies with bigger samples tended to obtain worse accuracies, except in the subgroup analysis for Artificial Neural Network (ANN) classifiers. The use of other brain imaging or phenotypic data to complement rs-fMRI information seem to be promising, achieving specially higher sensitivities (p = 0.002) when compared to rs-fMRI data alone (84.7% - 95% CI: 78.5-89.4% - versus 72.8% - 95% CI: 70.6-74.8%). Lower values of sensitivity/specificity were found when the number of Regions of Interest (ROIs) increased. We also highlight the performance of the approaches using the Automated Anatomical Labelling atlas with 116 ROIs (AAL116). Regarding the features used to train the classifiers, we found better results using the Pearson Correlation (PC) Fishertransformed or other features in comparison to the use of the PC without modifications. Finally, our analysis showed AUC values between acceptable and excellent, but given the many limitations indicated in our study, further well-designed studies are warranted to extend the potential use of those classification algorithms to clinical settings.Agência 1O Transtorno do Espectro Autista (TEA) é uma condição complexa e heterogênea que afeta o desenvolvimento cerebral e é caracterizada por disfunções cognitivas, comportamentais e sociais. Muito esforço vem sendo feito para identificar biomarcadores baseados em imagens cerebrais e desenvolver ferramentas que poderiam facilitar o diagnóstico do TEA - atualmente baseado em critérios comportamentais, através de um processo longo e demorado. Em particular, o uso de algoritmos de Aprendizado de Máquina para classificação de dados de Imagens de Ressonância Magnética funcional em estado de repouso (rs-fMRI) é promissor, mas há uma necessidade contínua de pesquisas adicionais a respeito da precisão desses classificadores. Assim, este trabalho realiza uma revisão sistemática e meta-análise de modo a resumir e agregar as evidências disponíveis na literatura da área até o momento. A busca sistemática por artigos resultou na seleção de 93 deles, que tiveram seus dados extraídos e analisados através da revisão sistemática. Um modelo meta-analítico bivariado de efeitos aleatórios foi implementado para investigar a sensibilidade e especificidade dos 55 estudos (132 amostras independentes) que ofereceram informação suficiente para serem utilizados na análise quantitativa. Os resultados obtidos indicaram estimativas gerais de sensibilidade e especificidade de 73.8% (95% IC: 71.8- 75.8%) e 74.8% (95% IC: 72.3-77.1%), respectivamente, e os classificadores baseados em SVM (do inglês, Support Vector Machine) se destacaram como os mais utilizados, apresentando estimativas acima de 76%. Estudos que utilizaram amostras maiores tenderam a obter piores resultados de precisão, com exceção do subgrupo composto por classificadores baseados em Redes Neurais Artificiais. O uso de outros tipos de imagens cerebrais ou dados fenotípicos para complementar as informações obtidas através da rs-fMRI se mostrou promissor, alcançando especialmente sensibilidades mais altas ( = 0.002) em relação aos estudos que utilizaram apenas dados de rs-fMRI (84.7% - 95% IC: 78.5-89.4% - versus 72.8% - 95% IC: 70.6-74.8%). Valores menores de sensibilidade/especificidade foram encontrados quando o número de Regiões de Interesse (ROIs, do inglês Regions of Interest) aumentou. Vale destacar também o desempenho das abordagens utilizando o atlas AAL (do inglês, Automated Anatomical Labelling) com 116 ROIs. Em relação às features usadas para treinar os classificadores, foram encontrados melhores resultados nos estudos que utilizaram a correlação de Pearson em conjunto com a transformação Z de Fisher ou outras features em comparação ao uso da correlação de Pearson sem modifica- ções. Finalmente, a análise revelou valores da área sob a curva ROC (do inglês, Receiver Operating Characteristic) entre aceitável e excelente. Entretanto, considerando as várias limitações que são indicadas no estudo, mais estudos bem desenhados são necessários para estender o uso potencial desses algoritmos de classificação a ambientes clínicos

    Similar works