Towards protean learning : accomodating signature changes in artificial agents.

Le domaine de l'Apprentissage Automatique (AA) produit des agents apprenants sophistiqués: des programmes dont l'objectif est de découvrir, de façon systématique, des procédures résolvant des tâches difficiles à automatiser comme la vision artificielle, le contrôle robotique, etc. Certaines tâches posent un défi particulier parce que l'ensemble des entrées possibles de l'agent apprenant, ou ses sorties, sont naturellement amenées à changer au fil de l'apprentissage. Nous appelons ces ensembles la "signature" de l'agent. Par exemple, un capteur robotique qui cesse de fonctionner entraîne un changement de signature appelé "suppression d'entrée". Quand un nouveau moteur est branché, il y a "ajout de sortie". Ces évènements, que nous appelons "changements de signature", affectent n'importe quel agent traitant des flux de données dont la pertinence ou la disponibilité varient, pourvu qu'il vive assez longtemps. Mais quand la signature change, l'espace de recherche exploré devient indéfini, et il est coûteux, en termes de calcul, de reprendre l'apprentissage de zéro. Comment mieux accomoder les changements de signature chez les agents apprenants ?Dans tout l'AA, les algorithmes d'apprentissage sont conçus pour être robustes aux changements. En particulier, les domaines de l'Apprentissage Continu, de la Dérive Conceptuelle ou de l'Apprentissage par Transfert se soucient d'améliorer la réaction d'agents apprenants dans des contextes changeants, comme des distributions changeantes de données dans l'Apprentissage Supervisé Incrémental (ASI), ou des environments changeants dans l'Apprentissage par Reinforcement (AR). Cependant, la question d'accomoder explicitement les changements de signature n'a pas encore, à notre connaissance, été abordée par la communauté. Dans ce travail, nous suggérons qu'elle représente un important nouveau contexte d'apprentissage, l'Apprentissage Protéiforme (AP), et nous entreprenons d'initier ce domaine avec trois contributions.Premièrement, nous développons une formalisation rigoureuse de l'AP et du problème des changements de signature. En particulier, nous nous intéressons à l'ajout et la suppression d'entrée, qui constituent le sous-domaine restreint de l'AP d'Entrée (APE). Nous montrons qu'il plusieurs contextes d'APE différents et non-triviaux, et qu'un jeu de projections naturelles permet d'accomoder les évenèments APE de façon générique indépendamment de la tâche entreprise. Deuxièmement, nous concevons et conduisons une expérience synthétique pour étudier la démarche APE dans un contexte d'ASI. Nous montrons que les projections naturelles tendent à produire de meilleures accomodations que les méthodes naïves, et nous discutons cet avantage au regard des différentes propriétés de la tâche entreprise. Troisièmement, nous concevons et conduisons une autre expérience pour montrer que ces résultats s'appliquent aussi dans un contexte d'AR tabulaire. En analysant soigneusement les traces d'apprentissage, nous décomposons et documentons les nombreux effets en jeu pendant l'accomodation APE. Nous concluons que l'AP n'est pas seulement intéressant pour l'importance des défis qu'il pose, mais aussi parce qu'il existe des techniques génériques, comme les projections naturelles que nous exhibons, qui les relèvent correctement dans les contextes testés.In the domain of Machine Learning (ML), computer scientists develop sophisticated learning agents: programs aimed to automatically discover procedures to solve difficult automation tasks like artificial vision, robot control, etc. Some tasks are challenging because the set of possible inputs to the learning agent, or their outputs, naturally change over the course of learning. These sets are referred to as the agent "signature". When a sensor fails on a robot for instance, the event constitutes a signature change called "input deletion". When a new actuator is plugged in, there is an "output addition". These events occur to any long-lived agent processing streaming data whose relevance or availability varies over time. But when the agent signature is transformed, the explored search space becomes undefined, and restarting the learning from scratch is wasteful in terms of computing resources. How to better accomodate signature changes in learning?Throughout ML, learning algorithms are designed to be robust to changes. In particular, approaches like Continual Learning, Concept Drift or Transfer Learning are concerned with the reaction of learning agents to changing contexts like changing data distributions in Online Supervised Learning (OSL) or changing environments in Reinforcement Learning (RL). However, to our knowledge, the problem of explicitely accomodating signature changes has not been tackled by the community yet. In this thesis, we consider that it constitutes a significant new learning context, namely Protean Learning (PL), and we engage into this domain with three contributions.First, we develop a rigorous formalization of PL and the signature change problem. In particular, we focus on input addition and input deletion, that constitute the restricted Input-PL (IPL) subdomain. We show that there exists a non-trivial range of IPL contexts, and that a natural set of projections permits generic accomodation of IPL events regardless of the task at hand. Second, we design and conduct a synthetic experiment to address the IPL approach in an OSL context. We show that natural projections provide better accomodation than naive approaches as a general trend, and we qualify this advantage depending on various properties of the task at hand. Third, we design and conduct another benchmark experiment to show that the above results also extends to a tabular RL context. With a careful analysis of the learning traces, we dissect and document the numerous effects in play during IPL accomodation. We conclude that PL is not only interesting because of the important challenges it addresses, but because there exists generic techniques, like the natural IPL projections we exhibit, that correctly face them in the tested contexts

Vers un apprentissage protéiforme : accommoder les changements de signature des agents artificiels

Agents in Machine Learning are computer procedures aimed to automatically discover solutions to complex automation tasks like artificial vision, robot control, etc. This searching process called "learning" is characterized, like any computer procedure, by the set of possible input data they feed on, and the set of possible output data they produce. We refer to these sets as the learning agent signature.Some learning tasks are challenging because the agent signature undergoes changes over the natural course of learning. When a sensor fails for instance, there is a sudden unexpected "input deletion". When a new actuator comes into use, there is an "output addition". But when the signature is transformed, the explored space of solutions becomes undefined, and restarting the learning from scratch is wasteful in terms of computing resources. In this thesis, we address the problem of accommodating signature changes in learning.Making learning algorithms robust to changes is a longstanding problem. Approaches like Continual Learning, Concept Drift or Transfer Learning have long been concerned with the reaction of agents to evolving contexts, like varying data distributions in Online Supervised Learning or fluctuating environments in Reinforcement Learning. However, to our knowledge, the problem of explicitly accommodating signature changes has not been tackled by the community yet. We defend that it constitutes a significant new learning context, namely Protean Learning (PL).First, we develop a rigorous formalization of PL and the signature change problem. In particular, we focus on input addition and deletion, which constitute the restricted Input-PL (IPL) subdomain. We show that there exists 10 different IPL profiles, and that a set of projections among solutions spaces, called natural projections, permits generic accommodation of IPL events.Second, we design and conduct two synthetic experiments to measure the advantage of natural projections in various contexts: an "adam" gradient descent in a Recurrent Neural Network solving an Online Supervised Learning task, "Q-Learning" and "Actor-Critic" approaches with eligibility traces in a tabular Reinforcement Learning task. In every context, one protean agent benefiting from the transfer induced by the natural projections is submitted to an elementary signature change event during the course of learning. Its short-term and long-term performances are compared against a naive agent restarting the learning from scratch. The process is replicated 1,000 times. Then, with a careful analysis of the learning traces, we dissect and document the numerous effects in play during IPL accommodation, and established with p-value <= 0.01.We show that natural projections permit better accommodation of the signature changes than the naive approach, and we qualify this advantage in depth depending on various controlled properties of the learning context, like the difficulty of the task at hand, the information contained in the input lost or gained, the stochastic or deterministic nature of the searched policy, or the IPL profile. We conclude that PL is not only interesting because it brings up a challenging new category of contextual changes, but also because there exist generic techniques, like the natural IPL projections we exhibit, that correctly address them in the tested situations.Les agents de l'Apprentissage Automatique sont des procédures informatiques dont l'objectif est de découvrir, de façon systématique, des solutions à des tâches complexes comme la vision artificielle, le contrôle robotique, etc. Ce processus de recherche appelé "apprentissage" est caractérisé, comme tout programme, par un ensemble d'entrées possibles et un ensemble possible de sorties produites. Nous appelons ces ensembles la signature de l'agent apprenant.Certaines tâches posent un défi particulier parce que la signature est naturellement amenée à changer au fil de l'apprentissage. Par exemple, un capteur qui cesse de fonctionner entraîne une "suppression d'entrée". Quand un nouvel actionneur devient disponible, il y a "ajout de sortie". À chaque changement de signature, l'espace des solutions exploré devient indéfini, et il est coûteux, en termes de calcul, de reprendre l'apprentissage de zéro. Dans cette thèse, nous abordons la question de l'accommodation du processus d'apprentissage aux changements de signature.Rendre l'apprentissage robuste aux changements de contexte est un problème de longue date. L'Apprentissage Continu, la Dérive Conceptuelle ou l'Apprentissage par Transfert par exemple, améliorent sa robustesse dans des contextes évolutifs comme des distributions variables de données dans l'Apprentissage Supervisé Incrémental, ou des environnements fluctuants dans l'Apprentissage par Renforcement. Cependant, la question d'accommoder explicitement les changements de signature n'a pas encore, à notre connaissance, été abordée par la communauté. Nous défendons qu'elle représente un nouveau contexte d'apprentissage : l'Apprentissage Protéiforme (AP).Dans un premier temps, nous établissons une formalisation rigoureuse de l'AP et du problème des changements de signature. En particulier, nous nous intéressons à l'ajout et la suppression d'entrée, qui constituent le sous-domaine restreint de l'AP d'Entrée (APE). Nous montrons qu'il existe 10 profils différents d'APE, et qu'un jeu de projections entre les espaces de solutions, dites projections na- turelles, permet d'accommoder les évènements APE de façon générique.Dans un second temps, nous concevons et réalisons deux expériences synthétiques pour mesurer l'avantage de ces projections dans des contextes diversifiés : descente de gradient "adam" dans un Réseau de Neurones Récurrent soumis à un tâche d'Apprentissage Supervisé Incrémental, "Q-Learning" et "Actor-Critic" avec traces d'éligibilité dans une tâche tabulaire d'Apprentissage par Renforcement. Dans chaque contexte, un agent protéiforme bénéficiant du transfert induit par les projections naturelles est soumis à une transformation élémentaire de signature en cours d'apprentissage. Ses performances à court et long termes sont comparées à celles d'un agent naïf reprenant l'apprentissage de zéro. Nous répliquons la procédure 1 000 fois dans chaque contexte, puis, par une analyse soigneuse des traces d'apprentissage, nous décomposons et documentons les nombreux effets en jeu pendant le processus d'accommodation APE, et établis par une p-value <= 0,01.Nous montrons que les projections naturelles accommodent les changements de signature de façon plus économique que l'approche naïve, et nous discutons précisément des limites de cet avantage au regard des différentes propriétés contrôlées du contexte d'apprentissage, par exemple la difficulté de la tâche, l'informativité des senseurs gagnés ou perdus, la nature stochastique ou déterministe des stratégies recherchées, ou le profil APE. Nous concluons que l'intérêt de l'AP n'est pas seulement qu'il soulève une catégorie nouvelle de changements contextuels, mais aussi qu'il existe des techniques génériques, comme les projections APE naturelles que nous exhibons, qui les accommodent correctement dans les contextes testés

Promels: formalize spontaneous emergence of arbitrary relations among objects

In this intermediate research report, we sum up the current state of our work concerning the Affinity module of project Biose. The intent is to design a mathematical object representing an abstract shape: the matching key. Keys can be matched against each other to produce a match value. Keys can be mutated into other close, random keys. If we associate each node in a graph with one of these keys, then the relations between nodes only derive from the matching of the keys together. If we successively mutate the keys, the graph relations layout will take every possible configuration

Tapas: an R package to perform trend and peaks analysis. Zenodo. https://doi.org/10.5281/zenodo.6344463

An R package to perform trend and peaks analysi

Biose: towards a mechanistic model of the living

The living world is a huge system spread over multiple scales of space and time. Particular aspects of it are addressed with life models: protein interactions, species interplay, developmental dynamics. We are interested in invariant aspects exhibited similarly in various systems regardless of the actual objects they involve: predation, epidemies spread, evolution, cooperation, cheatery, metamorphosis, information transfers. We design an abstract model supporting such invariants. Its statement only relies upon the common properties of biotic objects. We derive it into an abstract biotic simulation engine, useful in both checking validity of the model and animating arbitrary virtual biotic media: multi-agent systems, physical worlds, cellular automata, human languages, stockmarkets, self-reconfigurable robots

Trends and Peaks analysis in R with the ‘tapas’ package

International audienceThe set of functions gathered in the tapas R-package (https://github.com/wfinsinger/tapas) is meant to be used for analyzing paleoecological records when the goal is to estimate the long-term trend and identify peaks to reconstruct the occurrence, the return intervals, and the magnitude of distinct events. The package heavily builds on CharAnalysis, a software for analyzing sediment-charcoal records written in and compiled with Matlab.Two main reasons led to the development of tapas. Firstly, as R is an open source product, modifying the software to suit individual needs may be more straightforward. Secondly, an integration and inter-operability with other already existing R-packages may allow using trend and peak-detection analysis in conjunction with other workflows. These may include both workflows involving single site records as well as workflows making use of large sets of records through connections to open-access databases

Nanopore sequencing of PCR products enables multicopy gene family reconstruction

International audienceThe importance of gene amplifications in evolution is more and more recognized. Yet, tools to study multi-copy gene families are still scarce, and many such families are overlooked using common sequencing methods. Haplotype reconstruction is even harder for polymorphic multi-copy gene families. Here, we show that all variants (or haplotypes) of a multi-copy gene family present in a single genome, can be obtained using Oxford Nanopore Technologies sequencing of PCR products, followed by steps of mapping, SNP calling and haplotyping. As a proof of concept, we acquired the sequences of highly similar variants of the cidA and cidB genes present in the genome of the Wolbachia wPip, a bacterium infecting Culex pipiens mosquitoes. Our method relies on a wide database of cid genes, previously acquired by cloning and Sanger sequencing. We addressed problems commonly faced when using mapping approaches for multi-copy gene families with highly similar variants. In addition, we confirmed that PCR amplification causes frequent chimeras which have to be carefully considered when working on families of recombinant genes. We tested the robustness of the method using a combination of bioinformatics (read simulations) and molecular biology approaches (sequence acquisitions through cloning and Sanger sequencing, specific PCRs and digital droplet PCR). When different haplotypes present within a single genome cannot be reconstructed from short reads sequencing, this pipeline confers a high throughput acquisition, gives reliable results as well as insights of the relative copy numbers of the different variants