Feature Learning in Image Hierarchies using Functional Maximal Correlation

This paper proposes the Hierarchical Functional Maximal Correlation Algorithm (HFMCA), a hierarchical methodology that characterizes dependencies across two hierarchical levels in multiview systems. By framing view similarities as dependencies and ensuring contrastivity by imposing orthonormality, HFMCA achieves faster convergence and increased stability in self-supervised learning. HFMCA defines and measures dependencies within image hierarchies, from pixels and patches to full images. We find that the network topology for approximating orthonormal basis functions aligns with a vanilla CNN, enabling the decomposition of density ratios between neighboring layers of feature maps. This approach provides powerful interpretability, revealing the resemblance between supervision and self-supervision through the lens of internal representations

The Conditional Cauchy-Schwarz Divergence with Applications to Time-Series Data and Sequential Decision Making

The Cauchy-Schwarz (CS) divergence was developed by Pr\'{i}ncipe et al. in 2000. In this paper, we extend the classic CS divergence to quantify the closeness between two conditional distributions and show that the developed conditional CS divergence can be simply estimated by a kernel density estimator from given samples. We illustrate the advantages (e.g., the rigorous faithfulness guarantee, the lower computational complexity, the higher statistical power, and the much more flexibility in a wide range of applications) of our conditional CS divergence over previous proposals, such as the conditional KL divergence and the conditional maximum mean discrepancy. We also demonstrate the compelling performance of conditional CS divergence in two machine learning tasks related to time series data and sequential inference, namely the time series clustering and the uncertainty-guided exploration for sequential decision making.Comment: 23 pages, 7 figure

Estratégia institucional para a gestão dos dados de investigação: estudo e recomendações

O presente relatório apresenta o estudo e as recomendações para o desenvolvimento de uma estratégia institucional na Universidade do Minho para a gestão de dados de investigação. O relatório foi preparado pelo grupo de trabalho nomeado pelo Senhor Reitor da UMinho a 12 de abril de 2017 no despacho nº RT-27/2017. O Grupo iniciou os seus trabalhos no mês de maio com o mandato de “produzir um estudo e recomendações que sustentem a formulação de uma estratégia institucional relativa aos dados de investigação, incluindo a identificação de políticas, infraestruturas e serviços para a gestão dos dados de investigação na UMinho”. A metodologia adotada passou pela realização de duas reuniões presenciais, correspondendo às duas fases do trabalho – inicialmente diagnóstico e posteriormente desenho de soluções e formulação de recomendações –, e pela redação deste documento, de forma assíncrona e não presencial. O relatório reflete a metodologia adotada e encontra-se estruturado em duas partes: 1ª) estudo e análise e 2ª) recomendações. Para a primeira parte, o grupo de trabalho tomou como base o estudo realizado em 2014 pelos Serviços de Documentação da UMinho (SDUM) que fornece informação relevante sobre os dados gerados no âmbito da investigação realizada na UMinho e sobre as práticas de gestão desses dados. Esta parte do estudo foi complementada com a análise dos primeiros resultados do programa de diagnóstico iniciado pelos SDUM e aplicado a seis comunidades piloto no primeiro semestre de 2017 com o intuito de caracterizar os processos de gestão dos dados e avaliar papéis e responsabilidade associados. Neste relatório analisam-se ainda as políticas para dados dos financiadores de ciência e inovação, com particular enfoque para os requisitos dos dados de investigação abertos no Horizonte 2020 e princípios FAIR para a gestão de dados. Reflete-se ainda sobre a Política Nacional de Ciência Aberta e o desenvolvimento de estratégias institucionais nas universidades. A secção prospetiva do presente relatório apresenta recomendações estruturadas em cinco tópicos: 1) Política, 2) Infraestrutura e sistemas para dados, 3) Serviços e ferramentas de apoio à gestão dos dados, 4) Capacitação e 5) Questões legais, de proteção de dados e de propriedade intelectual. O relatório desenvolve os componentes e detalhes das seguintes recomendações: 1. Definição de uma política institucional da Universidade do Minho relativa à gestão e partilha dos dados de investigação. 2. Disponibilização de uma infraestrutura de sistemas e serviços integrados a disponibilizar à comunidade da UMinho para a gestão de dados ao longo do ciclo de vida da investigação. 3. Criação de ferramentas de apoio à gestão de dados que assegurem a interligação e utilização dos componentes da infraestrutura institucional de dados. 4. Desenvolvimento de ações e programas integrados que promovam e valorizem as competências dos investigadores em matéria de gestão e partilha de dados de investigação. 5. Disponibilização e reforço de serviços de apoio e consultoria no domínio da proteção de dados, licenciamento e reutilização de dados e propriedade intelectual

Statistical Coding and Decoding of Heartbeat Intervals

The heart integrates neuroregulatory messages into specific bands of frequency, such that the overall amplitude spectrum of the cardiac output reflects the variations of the autonomic nervous system. This modulatory mechanism seems to be well adjusted to the unpredictability of the cardiac demand, maintaining a proper cardiac regulation. A longstanding theory holds that biological organisms facing an ever-changing environment are likely to evolve adaptive mechanisms to extract essential features in order to adjust their behavior. The key question, however, has been to understand how the neural circuitry self-organizes these feature detectors to select behaviorally relevant information. Previous studies in computational perception suggest that a neural population enhances information that is important for survival by minimizing the statistical redundancy of the stimuli. Herein we investigate whether the cardiac system makes use of a redundancy reduction strategy to regulate the cardiac rhythm. Based on a network of neural filters optimized to code heartbeat intervals, we learn a population code that maximizes the information across the neural ensemble. The emerging population code displays filter tuning proprieties whose characteristics explain diverse aspects of the autonomic cardiac regulation, such as the compromise between fast and slow cardiac responses. We show that the filters yield responses that are quantitatively similar to observed heart rate responses during direct sympathetic or parasympathetic nerve stimulation. Our findings suggest that the heart decodes autonomic stimuli according to information theory principles analogous to how perceptual cues are encoded by sensory systems