Ensembles de classificadores para bases de dados desbalanceadas: uma abordagem baseada em amostragem evolucionária

Em muitos problemas práticos de classificação, o conjunto de dados a ser utilizado para a indução do classificador é significativamente desbalanceado. Isso ocorre quando a quantidade de exemplos de determinada classe é muito inferior à(s) da(s) outra(s) classe(s). Conjuntos de dados desbalanceados podem comprometer o desempenho da maioria dos algoritmos clássicos de classificação, uma vez que estes assumem uma distribuição de exemplos equilibrada entre as classes. Por outro lado, em diferentes cenários de aplicação, a estratégia de combinar vários classificadores em estruturas conhecidas como ensembles tem se mostrado bastante eficaz, levando a uma acurácia preditiva estável e, muitas vezes, superior àquela obtida por um classificador isoladamente. Nesse contexto, este trabalho propõe uma nova abordagem para lidar com conjuntos de dados desbalanceados, a qual utiliza ensembles de classificadores induzidos a partir de amostras balanceadas do conjunto de dados original. Para tanto, utiliza-se algoritmo genético multiobjetivo, que evolui a combinação dos exemplos que compõe as amostras balanceadas, levando em consideração a diversidade e o valor da área sob a curva ROC (AUC) dos classificadores induzidos por estas amostras.FAPES

Multimodal Data Fusion and Quantitative Analysis for Medical Applications

Medical big data is not only enormous in its size, but also heterogeneous and complex in its data structure, which makes conventional systems or algorithms difficult to process. These heterogeneous medical data include imaging data (e.g., Positron Emission Tomography (PET), Computerized Tomography (CT), Magnetic Resonance Imaging (MRI)), and non-imaging data (e.g., laboratory biomarkers, electronic medical records, and hand-written doctor notes). Multimodal data fusion is an emerging vital field to address this urgent challenge, aiming to process and analyze the complex, diverse and heterogeneous multimodal data. The fusion algorithms bring great potential in medical data analysis, by 1) taking advantage of complementary information from different sources (such as functional-structural complementarity of PET/CT images) and 2) exploiting consensus information that reflects the intrinsic essence (such as the genetic essence underlying medical imaging and clinical symptoms). Thus, multimodal data fusion benefits a wide range of quantitative medical applications, including personalized patient care, more optimal medical operation plan, and preventive public health. Though there has been extensive research on computational approaches for multimodal fusion, there are three major challenges of multimodal data fusion in quantitative medical applications, which are summarized as feature-level fusion, information-level fusion and knowledge-level fusion: • Feature-level fusion. The first challenge is to mine multimodal biomarkers from high-dimensional small-sample multimodal medical datasets, which hinders the effective discovery of informative multimodal biomarkers. Specifically, efficient dimension reduction algorithms are required to alleviate "curse of dimensionality" problem and address the criteria for discovering interpretable, relevant, non-redundant and generalizable multimodal biomarkers. • Information-level fusion. The second challenge is to exploit and interpret inter-modal and intra-modal information for precise clinical decisions. Although radiomics and multi-branch deep learning have been used for implicit information fusion guided with supervision of the labels, there is a lack of methods to explicitly explore inter-modal relationships in medical applications. Unsupervised multimodal learning is able to mine inter-modal relationship as well as reduce the usage of labor-intensive data and explore potential undiscovered biomarkers; however, mining discriminative information without label supervision is an upcoming challenge. Furthermore, the interpretation of complex non-linear cross-modal associations, especially in deep multimodal learning, is another critical challenge in information-level fusion, which hinders the exploration of multimodal interaction in disease mechanism. • Knowledge-level fusion. The third challenge is quantitative knowledge distillation from multi-focus regions on medical imaging. Although characterizing imaging features from single lesions using either feature engineering or deep learning methods have been investigated in recent years, both methods neglect the importance of inter-region spatial relationships. Thus, a topological profiling tool for multi-focus regions is in high demand, which is yet missing in current feature engineering and deep learning methods. Furthermore, incorporating domain knowledge with distilled knowledge from multi-focus regions is another challenge in knowledge-level fusion. To address the three challenges in multimodal data fusion, this thesis provides a multi-level fusion framework for multimodal biomarker mining, multimodal deep learning, and knowledge distillation from multi-focus regions. Specifically, our major contributions in this thesis include: • To address the challenges in feature-level fusion, we propose an Integrative Multimodal Biomarker Mining framework to select interpretable, relevant, non-redundant and generalizable multimodal biomarkers from high-dimensional small-sample imaging and non-imaging data for diagnostic and prognostic applications. The feature selection criteria including representativeness, robustness, discriminability, and non-redundancy are exploited by consensus clustering, Wilcoxon filter, sequential forward selection, and correlation analysis, respectively. SHapley Additive exPlanations (SHAP) method and nomogram are employed to further enhance feature interpretability in machine learning models. • To address the challenges in information-level fusion, we propose an Interpretable Deep Correlational Fusion framework, based on canonical correlation analysis (CCA) for 1) cohesive multimodal fusion of medical imaging and non-imaging data, and 2) interpretation of complex non-linear cross-modal associations. Specifically, two novel loss functions are proposed to optimize the discovery of informative multimodal representations in both supervised and unsupervised deep learning, by jointly learning inter-modal consensus and intra-modal discriminative information. An interpretation module is proposed to decipher the complex non-linear cross-modal association by leveraging interpretation methods in both deep learning and multimodal consensus learning. • To address the challenges in knowledge-level fusion, we proposed a Dynamic Topological Analysis framework, based on persistent homology, for knowledge distillation from inter-connected multi-focus regions in medical imaging and incorporation of domain knowledge. Different from conventional feature engineering and deep learning, our DTA framework is able to explicitly quantify inter-region topological relationships, including global-level geometric structure and community-level clusters. K-simplex Community Graph is proposed to construct the dynamic community graph for representing community-level multi-scale graph structure. The constructed dynamic graph is subsequently tracked with a novel Decomposed Persistence algorithm. Domain knowledge is incorporated into the Adaptive Community Profile, summarizing the tracked multi-scale community topology with additional customizable clinically important factors

Development of a machine learning-based pipeline able to predict genes associated with diseases and cell processes using interpretable network embeddings

Tese de Mestrado, Bioinformática e Biologia Computacional, 2022, Universidade de Lisboa, Faculdade de CiênciasA revolução tecnológica no mundo da sequenciação observada nas últimas duas décadas levou a um grande aumento no número de proteínas conhecidas. Porém, este aumento não foi correspondido com o aumento no seu número de anotações proteicas, em particular acerca do seu envolvimento em processos celulares e doenças. Atualmente, apenas cerca de 25% das proteínas humanas é conhecida por ter uma associação a uma doença. A lenta expansão de conhecimento destas associações deve-se essencialmente às técnicas experimentais necessárias para as descobrir, como por exemplo, estudos de ligação genética e genome-wide association studies, uma vez que falham quando aplicados a doenças heterogéneas, ou produzem números elevados de falsos positivos, respetivamente. Isto leva a um complexo processo de validação de resultados, que inevitavelmente desacelera o processo de anotação. O desenvolvimento de métodos capazes de produzir um número mais restrito de candidatos surge então como uma necessidade para a mais eficaz descoberta de associações, com vários tipos de métodos computacionais a terem sido desenvolvidos nas últimas décadas. Uma fração destes métodos foca-se no uso de redes. Os mecanismos de processos celulares e doenças surgem da coordenação de múltiplas proteínas que interagem fisicamente, formando módulos de doenças e de processos celulares numa rede de interações biológicas. As redes biológicas podem ser representadas sob a forma de grafos, objectos matemáticos que representam como um conjunto de entidades interage entre si. Os grafos são formados por um conjuntos de nós (ou vértices), ligados entre si por arestas, permitindo a fácil representação e análise de redes, como as de interação de proteínas. Estas redes podem então ser exploradas de forma a encontrar padrões de interação que caracterizem as proteínas que fazem parte de um determinado módulo, de modo a mais tarde expandir este conhecimento e encontrar novas proteínas candidatas que possam eventualmente estar associadas a esse mesmo módulo e ser experimentalmente validadas. A deteção dos padrões que caracterizam as proteínas associadas a cada módulo depende do uso de métricas capazes de discriminar as relações de interesse que cada proteína apresenta, podendo estas métricas ir desde a medição da distância de cada proteína ao módulo, ao uso de métodos mais complexos de difusão, tais como Random Walks with Restart. Muitos dos algoritmos já desenvolvidos focam-se no uso de métricas de proximidade, como o Closeness, que mede a centralidade de um determinado nó na rede, ou realizando um teste hipergeométrico de modo a analisar o enriquecimento de um nó em ligações com nós do módulo de interesse. A maioria dos algoritmos disponíveis na literatura baseia-se apenas na informação dada pela relação de cada nó com os nós do módulo em estudo, com uma minoria destes algoritmos a usar informação adicional de doenças fenotipicamente semelhantes. O mapeamento do interactoma humano ainda está por concluir, e, portanto, as redes de interação proteica usadas estão incompletas, faltando nós e arestas aos grafos contruídos. Para além disso, os processos de deteção de associações estão expostos à presença de falsos positivos. Tanto a incompletude das redes da interação como a presença de falsos positivos são fatores que podem afetar em larga escala as previsões de algoritmos que apenas se baseiam no próprio módulo, dificultando então o processo de seleção de novos candidatos. Será, portanto, interessante o desenvolvimento de um algoritmo capaz de usar uma maior fração dos dados ao seu dispor, sem depender do uso de informação, como a semelhança fenotípica, que permita uma maior precisão aquando da previsão de novos candidatos, mas também uma maior robustez sob a presença de alterações na rede de interação ou de anotações incorretas. Neste trabalho, é então proposto o desenvolvimento de um novo algoritmo para a previsão de novos candidatos associados com doenças ou processos celulares designado de Gene Annotation Prediction using Module-based Interpretable Network Embeddings (GAP-MINE). A maior contribuição deste algoritmo é o uso de network embeddings facilmente interpretáveis num contexto biológico. Network embeddings, são vetores usados para explicar a relação de cada nó da rede com os restantes através de um espaço multidimensional. Estes podem ser adaptados ao contexto de nosso problema, e assim explicar a relação que cada nó tem com cada módulo, criando, portanto, uma representação multidimensional que pode ser usada para descobrir os padrões que caracterizam as proteínas associadas a um determinado módulo, usando informação adicional contida no restante vetor. Para além disso, ao exprimirem a relação de cada nó com os diferentes módulos, estes vetores permitem uma melhor interpretação dos resultados, uma vez que permitem a análise dos módulos escolhidos. O algoritmo desenvolvido é composto por 6 passos que podem ser facilmente adaptados consoante a natureza do problema. Primeiramente, a rede de interação proteica foi construída utilizando as interações disponíveis na bases de dados APID e HuRI, juntamente com as anotações de associação de proteínas a processos e doenças, provenientes das bases de dados REACTOME e DisGeNET, respetivamente. A rede criada apresenta um total de 17 204 nós, ligados por 260 960 arestas. Foram criados três tipos de módulos: um de processos celulares, num total de 429, e dois do doença, que variam consoante a conectividade do módulo em si, porém tendo origem nos mesmo dados, totalizando um total de 203 aquando da utilização de módulos conectados, e de 301 aquando da utilização de módulos mais dispersos na rede. Cinco diferentes métricas foram, de seguida, aplicadas à rede (Hypergeometric Test, Closeness, Betweenness, Fraction Betweenness e Random Walks with Restart) sendo modificadas das suas formas normais de forma a explicar como cada nó se relaciona com os nós associados a um determinado módulo. Ao serem aplicadas aos diferentes módulos, é então formado um embedding para cada nó de dimensão igual ao número de módulos presentes na rede, resultando na matriz de embeddings de N vs. M dimensões, onde N é o número de nós da rede e M o número de módulos. À matriz é depois aplicado um passo de seleção, onde, para a classificação de um determinado módulo são selecionados os módulos que mais contribuem para a discriminação das proteínas associadas e não associadas ao mesmo. Tendo os módulos mais relevantes selecionados, os embeddings são fornecidos a um modelo de regressão logística, um algoritmo de classificação, que é treinado e otimizado com uma validação cruzada de 10 passos. Este algoritmo de classificação é depois avaliado usando um conjunto de teste, e aplicado para a totalidade dos dados de modo a prever as novas associações. Por fim, as associações previstas são validadas através comparação dos termos da Gene Ontology e da Human Phenotype Ontology (este último exclusivamente aplicado a proteínas de doença) em comum com os termos enriquecidos das proteínas do módulo alvo, e pela procura do identificador da proteína e do nome do módulo em títulos e resumos da literatura. O algoritmo GAP-MINE foi primeiramente comparado com um modelo padrão que apenas utiliza os valores obtidos para o módulo que se pretende classificar. Verificou-se que as Random Walks with Restart são as melhores métricas a ser usadas para a previsão de novas proteínas associadas aos módulos, obtendo valores medianos de F-Measure acima de 0.9 utilizando tanto o nosso algoritmo, como os modelos padrão. Comparando o nosso algoritmo com os modelos padrão, foi possível observar que foram obtidos resultados significativamente melhores em 2 dos 3 tipos de módulos aquando da utilização de tanto as Random Walks with Restart, como do Closeness como métricas, obtendo, no entanto, piores resultados usando Betweenness e Fraction Betweenness. Analisando as Random Walks with Restart em pormenor, foi possível verificar que a melhoria dos resultados obtidos se deveu a um aumento da precisão em todos os módulos, à custa de capturar um menor número de positivos. O mesmo comportamento foi verificado em testes feitos onde a rede utilizada foi alterada para simular casos de falta de informação ou da inclusão de falsos positivos. A combinação GAP-MINE com Random Walks with Restart foi também comparada com outros algoritmos já estabelecidos (GenePANDA, Raw e MaxLink), tendo sido observado que o nosso algoritmo é capaz de obter resultados significativamente melhores do que qualquer um dos três algoritmos. De forma geral, as previsões feitas pelo nosso algoritmo mostram-se enriquecidas em termos relevantes e relacionados com ostermos associados aos diferentes processos e doenças, tendo também sido possível verificar a presença na literatura de algumas das novas associações. Concluindo, o nosso algoritmo mostra-se ser uma alternativa capaz de prever novas associações entre proteínas e processos celulares/doenças, com uma melhoria de precisão, o que deverá facilitar o processo de validação experimental, e acelerar a descoberta de novas associações.The rapid growth of genomic sequences has expanded the number of known proteins, however, their annotation mapping to known diseases and cell processes is still trailing. Protein mapping relies on experimental methods, such as linkage mapping studies, that are both expensive and time-consuming, so computational methods have emerged as alternatives for candidate prioritization. Network-based algorithms are one kind of algorithm that has been developed for this purpose. Diseases and cell processes are resultant of the coordination of multiple physically interacting proteins, thus, biological networks can be used to search for new proteins that frequently interact with other disease or process associated proteins. Although several algorithms have been developed to tackle this problem, most of them do not use the full extent of available information within the network for their predictions, only relying on the known proteins associated with the disease/cell process of interest, or only using additional information from phenotypically similar diseases. Here we propose GAP-MINE, a network-based algorithm with module-based interpretable embeddings, that uses additional modules to improve the prediction of new gene annotations. GAP-MINE is an adaptable algorithm with diverse possibilities in each of its several steps, such as the use of different classification algorithms or different protein interaction networks. We applied GAP-MINE in the discovery of newly associated genes for a total of 429 processes and 301 diseases. Using Random Walks with Restart as the scoring function, GAP-MINE shows median F-Measure scores consistently above 0.9. Compared to baseline and literature algorithms, GAP-MINE not only shows significantly better results but is also more precise and robust to the addition of noise, with its candidates showing biologically relevant annotations. GAP-MINE is therefore a suitable algorithm for gene annotation prediction and could be used to narrow down the number of genes to validate experimentally

Epigenetics and genetics of hematopoietic stem cells heterogeneity

Abstract In diploid eukaryotic organisms, most genes are expressed biallelically. However, there are exceptions where the expression occurs in a monoallelic pattern that results from a differential allele-specific transcription based on the different epigenetic marking of the two alleles. At the level of cells, there are three classes of monoallelic expression regulated by epigenetic mechanisms: parent-of-origin imprinting, X chromosome inactivation (XCI), and random autosomal monoallelic expression (RMAE). Biased repopulations obtained from single-cell transplantation assays revealed that the pool of hematopoietic stem cells (HSCs) is heterogeneous, reflecting the epigenetic differences of individual cells. According to a model in which the allele-specific expression patterns are established during differentiation in embryonic stem cells and are stably propagated through cell divisions, it is assumed that HSCs carry genes (and alleles) with these stable epigenetic marks. Therefore, the analysis of epigenetic states in the stem cell population at the clonal level is necessary to understand its heterogeneity and diversity. Here we evaluated for the first time the persistence of allele-specific epigenetic states in the hematopoietic system in vivo using allelic imbalance as a readout. We created a monoclonal hematopoietic system in mice by single HSC transplantation and then analyzed the emerging lymphoid progeny using a genome-wide transcriptomics approach. We revealed that in the single-HSC derived hematopoietic cells, XCI is stably maintained through extensive proliferation and differentiation, whereas the vast majority of autosomal genes lack the stable clonal patterns of random monoallelic expression. This finding shows that the recurrent parallels between XCI and RMAE are misleading, suggesting that different mechanisms underlie these two classes of monoallelic expression. Additionally, we show that this in vivo clonal approach, which is free of genetic manipulation, can replace the artificial strategies that have been used to study tissue-specific XCI. Finally, stable allele-specific expression patterns were found in a rare number of genes (14 genes, <0.2%) in the progeny of a single HSC, indicating that these patterns were already present in the original HSC used for transplantation. However, the number of genes with stable monoallelic expression in cells that underwent differentiation steps is much lower than the numbers previously reported in studies using clonal cell lines in vitro without extensive differentiation (~2–15%). To reconcile these observations, we propose that most allele-specific expression patterns in autosomal genes are metastable and can be erased and reestablished at different differentiation stages.Resumo Nos organismos eucarióticos diplóides, a maioria dos genes são expressos bialelicamente. No entanto, existem excepções em que, ao nível das células, a expressão ocorre num padrão monoalélico que resulta de uma transcrição diferencial dos alelos de base epigenética. Existem três classes de expressão monoalélica regulada por mecanismos epigenéticos: imprinting de origem parental, inactivação do cromossoma X (XCI*) e expressão aleatória monoalélica autossómica (RMAE). Populações enviesadas obtidas a partir de ensaios de transplante de uma única célula revelaram que o conjunto de células estaminais hematopoiéticas (HSCs) é heterogéneo, reflectindo as diferenças epigenéticas de células individuais. Segundo um modelo em que os padrões da expressão específica de alelos são estabelecidos durante a diferenciação de células estaminais embrionárias e são propagados depois de forma estável através de divisões celulares, as HSCs carregam genes (e alelos) com marcas epigenéticas estáveis. A análise a nível clonal dos estados epigenéticos das células estaminais é necessária para entender a sua heterogeneidade e diversidade. Nesta tese, avaliamos pela primeira vez a persistência de estados epigenéticos entre os alelos no sistema hematopoiético in vivo usando o desequilíbrio da expressão alélica como ferramenta de leitura. O trabalho baseou-se na criação de um sistema hematopoiético monoclonal em ratinho por transplante de uma única HSC e no subsequente estudo da progenia linfóide emergente por análise transcriptómica de todo o genoma. Nas células hematopoiéticas resultantes de uma única HSC, verificámos que a XCI é mantida de forma estável após extensa proliferação e diferenciação, enquanto a vasta maioria dos genes autossómicos não estão sob RMAE. Assim, os paralelismos recorrentes na literatura entre XCI e RMAE são enganosos, porque estes dois fenómenos não têm a mesma estabilidade e serão regulados por diferentes mecanismos. Além disso, demonstramos que esta abordagem clonal com base num sistema sem manipulação genética pode ser uma estratégia para estudar a XCI específica de tecidos in vivo. Por fim, um padrão de RMAE foi encontrado num número raro de genes (14 genes, <0,2% do total) em células linfóides resultantes de uma única HSC, indicando que esses padrões já estavam presentes na HSC original usada no transplante. No entanto, o número de genes com RMAE em células que passaram por etapas de diferenciação é muito menor do que o número relatado anteriormente em estudos usando linhagens celulares clonais in vitro sem diferenciação extensa (~2–15%). Para conciliar estas observações, propomos que a maioria dos padrões de RMAE são meta-estáveis, isto é, passíveis de eliminação e restauração em diferentes estados de diferenciação

Exploring Inter-Species Regulatory Differences Through Single Cell Analysis of Drosophila Embryogenesis

Variationen in der Genexpression spielen eine zentrale Rolle bei der evolutionären Divergenz, die zur Speziation führt. Dies wird durch Veränderungen sowohl in nicht-kodierenden cis-wirkenden regulatorischen Elementen (CREs) wie Promotoren und Enhancern als auch in trans-wirkenden regulatorischen Elementen bestimmt. Veränderungen in den regulatorischen Sequenzen können Entwicklungsmuster verändern und wirken als eine der treibenden Kräfte der Evolution der Genexpression. Hier untersuche ich die Anwendung der Einzelzell-Multiomik in der evolutionären vergleichenden Genomik, wobei der Schwerpunkt auf den funktionellen Auswirkungen der Divergenz bei cis-regulatorischen Elementen liegt. Unter Verwendung von Hybrid-Embryonen von Drosophila melanogaster und sechellia generiere ich ein diploides Referenzgenom und führe allelspezifische Einzelzellanalysen von scRNA-seq und scATAC-seq durch. Zusammen können diese beiden komplimentären Ansätze einen integrativen Überblick über die Transkription und die Zugänglichkeit des Chromatins liefern, wodurch CREs identifiziert und mit allelspezifischen Veränderungen in den Genen, die sie regulieren, in Verbindung gebracht werden können. Die computergestützte Rekonstruktion verschiedener Zellidentitäten durch Clustering einzelner Zellen ermöglicht es uns auch zu untersuchen, wie sich das Allel-Ungleichgewicht während der Zelltyp-Spezifikation räumlich verändern kann. Im Gegensatz zu früheren Forschungsarbeiten stelle ich fest, dass Gene, die an der Entwicklung und Musterbildung beteiligt sind, ein unterschiedliches allelisches Ungleichgewicht in der Expression und Zugänglichkeit über die Zelltypen hinweg aufweisen. Diese Arbeit zeigt das Potenzial der Kombination von Einzelzell-Multiomik und artübergreifenden Vergleichen in der vergleichenden Genomik und wirft ein neues Licht auf die Rolle von cis-regulatorischen Elementen in der adaptiven Evolution.Variation in gene expression plays a pivotal role in the evolutionary divergence that leads to speciation. This is determined by changes in both non-coding cis-acting regulatory elements (CREs) like promoters and enhancers, as well as trans-acting regulatory elements. Changes in regulatory sequences can alter developmental patterns, acting as one of the driving forces behind gene expression evolution. However, poor sequence conservation of CREs makes it challenging to identify them and link changes in regulatory sequences to new phenotypes. Here, I explore the application of single cell multiomics in evolutionary comparative genomics, with a focus on functional effects of divergence in cis-regulatory elements. Using hybrid embryos of Drosophila melanogaster and Drosophila sechellia, I generate a diploid reference genome and conduct single cell allele-specific analysis of scRNA-seq and scATAC-seq data. Together, these two assays can provide an integrative read-out of transcription and chromatin accessibility, allowing CREs to be identified and linked to allele-specific changes (allelic imbalance) in the genes they regulate. The computational reconstruction of different cell identities via single cell clustering also allows us to investigate how allelic imbalance may vary spatially during cell-type specification. In contrast to previous research, I find that genes involved in development and patterning display differential allelic imbalance in expression and accessibility across cell types. In addition, I investigate the role of neurodevelopmental allelic imbalance in the sechellia lineage and identify candidate genes for sechellia-specific adaptations. While highlighting current computational limitations, this thesis demonstrates the potential of combining single cell multiomics and cross-species comparisons in comparative genomics and shedding new light on the role of cis-regulatory elements and mechanisms of adaptive evolution

Semantic interpretation of events in lifelogging

The topic of this thesis is lifelogging, the automatic, passive recording of a person’s daily activities and in particular, on performing a semantic analysis and enrichment of lifelogged data. Our work centers on visual lifelogged data, such as taken from wearable cameras. Such wearable cameras generate an archive of a person’s day taken from a first-person viewpoint but one of the problems with this is the sheer volume of information that can be generated. In order to make this potentially very large volume of information more manageable, our analysis of this data is based on segmenting each day’s lifelog data into discrete and non-overlapping events corresponding to activities in the wearer’s day. To manage lifelog data at an event level, we define a set of concepts using an ontology which is appropriate to the wearer, applying automatic detection of concepts to these events and then semantically enriching each of the detected lifelog events making them an index into the events. Once this enrichment is complete we can use the lifelog to support semantic search for everyday media management, as a memory aid, or as part of medical analysis on the activities of daily living (ADL), and so on. In the thesis, we address the problem of how to select the concepts to be used for indexing events and we propose a semantic, density- based algorithm to cope with concept selection issues for lifelogging. We then apply activity detection to classify everyday activities by employing the selected concepts as high-level semantic features. Finally, the activity is modeled by multi-context representations and enriched by Semantic Web technologies. The thesis includes an experimental evaluation using real data from users and shows the performance of our algorithms in capturing the semantics of everyday concepts and their efficacy in activity recognition and semantic enrichment

Agregação de ranks baseada em grafos

Orientador: Ricardo da Silva TorresTese (doutorado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: Neste trabalho, apresentamos uma abordagem robusta de agregação de listas baseada em grafos, capaz de combinar resultados de modelos de recuperação isolados. O método segue um esquema não supervisionado, que é independente de como as listas isoladas são geradas. Nossa abordagem é capaz de incorporar modelos heterogêneos, de diferentes critérios de recuperação, tal como baseados em conteúdo textual, de imagem ou híbridos. Reformulamos o problema de recuperação ad-hoc como uma recuperação baseada em fusion graphs, que propomos como um novo modelo de representação unificada capaz de mesclar várias listas e expressar automaticamente inter-relações de resultados de recuperação. Assim, mostramos que o sistema de recuperação se beneficia do aprendizado da estrutura intrínseca das coleções, levando a melhores resultados de busca. Nossa formulação de agregação baseada em grafos, diferentemente das abordagens existentes, permite encapsular informação contextual oriunda de múltiplas listas, que podem ser usadas diretamente para ranqueamento. Experimentos realizados demonstram que o método apresenta alto desempenho, produzindo melhores eficácias que métodos recentes da literatura e promovendo ganhos expressivos sobre os métodos de recuperação fundidos. Outra contribuição é a extensão da proposta de grafo de fusão visando consulta eficiente. Trabalhos anteriores são promissores quanto à eficácia, mas geralmente ignoram questões de eficiência. Propomos uma função inovadora de agregação de consulta, não supervisionada, intrinsecamente multimodal almejando recuperação eficiente e eficaz. Introduzimos os conceitos de projeção e indexação de modelos de representação de agregação de consulta com base em grafos, e a sua aplicação em tarefas de busca. Formulações de projeção são propostas para representações de consulta baseadas em grafos. Introduzimos os fusion vectors, uma representação de fusão tardia de objetos com base em listas, a partir da qual é definido um modelo de recuperação baseado intrinsecamente em agregação. A seguir, apresentamos uma abordagem para consulta rápida baseada nos vetores de fusão, promovendo agregação de consultas eficiente. O método apresentou alta eficácia quanto ao estado da arte, além de trazer uma perspectiva de eficiência pouco abordada. Ganhos consistentes de eficiência são alcançadas em relação aos trabalhos recentes. Também propomos modelos de representação baseados em consulta para problemas gerais de predição. Os conceitos de grafos de fusão e vetores de fusão são estendidos para cenários de predição, nos quais podem ser usados para construir um modelo de estimador para determinar se um objeto de avaliação (ainda que multimodal) se refere a uma classe ou não. Experimentos em tarefas de classificação multimodal, tal como detecção de inundação, mostraram que a solução é altamente eficaz para diferentes cenários de predição que envolvam dados textuais, visuais e multimodais, produzindo resultados melhores que vários métodos recentes. Por fim, investigamos a adoção de abordagens de aprendizagem para ajudar a otimizar a criação de modelos de representação baseados em consultas, a fim de maximizar seus aspectos de capacidade discriminativa e eficiência em tarefas de predição e de buscaAbstract: In this work, we introduce a robust graph-based rank aggregation approach, capable of combining results of isolated ranker models in retrieval tasks. The method follows an unsupervised scheme, which is independent of how the isolated ranks are formulated. Our approach is able to incorporate heterogeneous models, defined in terms of different ranking criteria, such as those based on textual, image, or hybrid content representations. We reformulate the ad-hoc retrieval problem as a graph-based retrieval based on {\em fusion graphs}, which we propose as a new unified representation model capable of merging multiple ranks and expressing inter-relationships of retrieval results automatically. By doing so, we show that the retrieval system can benefit from learning the manifold structure of datasets, thus leading to more effective results. Our graph-based aggregation formulation, unlike existing approaches, allows for encapsulating contextual information encoded from multiple ranks, which can be directly used for ranking. Performed experiments demonstrate that our method reaches top performance, yielding better effectiveness scores than state-of-the-art baseline methods and promoting large gains over the rankers being fused. Another contribution refers to the extension of the fusion graph solution for efficient rank aggregation. Although previous works are promising with respect to effectiveness, they usually overlook efficiency aspects. We propose an innovative rank aggregation function that it is unsupervised, intrinsically multimodal, and targeted for fast retrieval and top effectiveness performance. We introduce the concepts of embedding and indexing graph-based rank-aggregation representation models, and their application for search tasks. Embedding formulations are also proposed for graph-based rank representations. We introduce the concept of {\em fusion vectors}, a late-fusion representation of objects based on ranks, from which an intrinsically rank-aggregation retrieval model is defined. Next, we present an approach for fast retrieval based on fusion vectors, thus promoting an efficient rank aggregation system. Our method presents top effectiveness performance among state-of-the-art related work, while promoting an efficiency perspective not yet covered. Consistent speedups are achieved against the recent baselines in all datasets considered. Derived from the fusion graphs and fusion vectors, we propose rank-based representation models for general prediction problems. The concepts of fusion graphs and fusion vectors are extended to prediction scenarios, where they can be used to build an estimator model to determine whether an input (even multimodal) object refers to a class or not. Performed experiments in the context of multimodal classification tasks, such as flood detection, show that the proposed solution is highly effective for different detection scenarios involving textual, visual, and multimodal features, yielding better detection results than several state-of-the-art methods. Finally, we investigate the adoption of learning approaches to help optimize the creation of rank-based representation models, in order to maximize their discriminative power and efficiency aspects in prediction and search tasksDoutoradoCiência da ComputaçãoDoutor em Ciência da Computaçã

Seamless Multimodal Biometrics for Continuous Personalised Wellbeing Monitoring

Artificially intelligent perception is increasingly present in the lives of every one of us. Vehicles are no exception, (...) In the near future, pattern recognition will have an even stronger role in vehicles, as self-driving cars will require automated ways to understand what is happening around (and within) them and act accordingly. (...) This doctoral work focused on advancing in-vehicle sensing through the research of novel computer vision and pattern recognition methodologies for both biometrics and wellbeing monitoring. The main focus has been on electrocardiogram (ECG) biometrics, a trait well-known for its potential for seamless driver monitoring. Major efforts were devoted to achieving improved performance in identification and identity verification in off-the-person scenarios, well-known for increased noise and variability. Here, end-to-end deep learning ECG biometric solutions were proposed and important topics were addressed such as cross-database and long-term performance, waveform relevance through explainability, and interlead conversion. Face biometrics, a natural complement to the ECG in seamless unconstrained scenarios, was also studied in this work. The open challenges of masked face recognition and interpretability in biometrics were tackled in an effort to evolve towards algorithms that are more transparent, trustworthy, and robust to significant occlusions. Within the topic of wellbeing monitoring, improved solutions to multimodal emotion recognition in groups of people and activity/violence recognition in in-vehicle scenarios were proposed. At last, we also proposed a novel way to learn template security within end-to-end models, dismissing additional separate encryption processes, and a self-supervised learning approach tailored to sequential data, in order to ensure data security and optimal performance. (...)Comment: Doctoral thesis presented and approved on the 21st of December 2022 to the University of Port