Prise en compte de la dynamique du contexte pour les systèmes ambiants par systèmes multi-agents adaptatifs

Les systèmes ambiants se composent de nombreux appareils électroniques hétérogènes, distribués dans l'environnement et interagissant de façon dynamique. Dès lors, l'individu est au centre des préoccupations de la conception de ces systèmes qui peuvent et doivent s'adapter au contexte des utilisateurs. On parle alors de systèmes sensibles au contexte. Cependant, la forte dynamique des systèmes ambiants rend difficile, voire impossible, d'établir à l'avance pour de tels systèmes toutes les règles d'adaptation nécessaires. L'apprentissage du comportement à attribuer à un système ambiant en fonction du contexte, en s'affranchissant de toute connaissance a priori, qu'il s'agisse de connaissance sur le comportement qu'il cherche à apprendre, sur les données manipulées, sur les préférences ou profils des utilisateurs, est un défi à lequel tente de répondre cette thèse. La principale contribution de ce travail porte sur la conception du système multi-agent Amadeus. Son objectif est d'apprendre un comportement pertinent pour un système ambiant en se basant sur l'observation des actions récurrentes des utilisateurs, puis d'établir dans quels contextes ces actions sont réalisées afin de suppléer l'utilisateur si une situation similaire se présente. L'apprentissage réalisé par Amadeus s'appuie sur l'approche par AMAS (Adaptive Multi-Agent System), et est local à chaque dispositif. Il consiste à distribuer et à intégrer les agents d'Amadeus à chaque dispositif composant le système ambiant, ces agents étant alors en charge d'apprendre et de mettre en œuvre localement et coopérativement le bon comportement à attribuer au dispositif associé en fonction des actions de l'utilisateur.The ambient systems are composed by many heteregeneous devices, distributed in the environment, and interacting dynamically. So, the person is a central concern of these systems that have to adapt themselves to the users' context. Thos kind of systems are called/named context aware system. However, the strong dynamic of ambient systems makes impossible to design a priori all adaptation rules needed. The learning of the behaviour to give to an ambient system depending of its context, independantly of any a priori knowledge -knowledge about the behaviour he has to learn, about the used data, or about the users preferences- is the challenge to which this thesis tries to answer. The main contribution of this work is the design of the adaptive multi agent system Amadeus. Its objective is to learn a pertinent behaviour for an ambient system based on the observation of the reccuring actions performed by users, and then to determine in which contexts theses actions are performed in order to perform them on behalf of the user. The learning performed by Amadeus is based on the AMAS approach (Adaptive Multi-Agent System), and is local to each device. It consists in distributing and integrating the Amadeus agents to each device of the ambient system, these agents being able to determine locally and cooperatively the good behaviour to assign to the associated device depending of the users actions

RELIEFS : un système d'inspiration cognitive pour le filtrage adaptatif de documents textuels

International audienceL'objet de cet article est la présentation d'un nouveau système nommé RELIEFS (pour RELevance Information Extraction Fuzzy System) pour le filtrage adaptatif de documents textuels. Les grands principes de fonctionnement de ce système s'inspirent de mécanismes cognitifs intervenant dans les processus de sélection de l'information. Plus précisément, notre recherche part de l'analyse de modèles de la mémoire sémantique (accès et organisation des connaissances en mémoire) et de modèles qui rendent compte de phénomènes attentionnels (sélection des informations provenant de l'environnement). Des liens forts sont tissés entre ces modèles et des modèles traditionnellement utilisés en RI. Une nouvelle interprétation de la notion de pertinence est proposée. L'analyse nous conduit à extraire un ensemble de mécanismes de base renvoyant aux notions d'activation et de propagation d'activation pour la sélection d'information " pertinentes ". Ces mécanismes sont implémentés et testés avec succès dans la tâche de filtrage adaptatif de TREC9

Modélisation probabiliste du style d'apprentissage et application à l'adaptation de contenus pédagogiques indexés par une ontologie

Cette thèse s'inscrit dans le cadre général des systèmes d'enseignement adaptatifs. La problématique traitée est l'adaptation de l'activité pédagogique au mode d'apprentissage préféré de l'élève. Les travaux réalisés ont eu pour objectifs de : modéliser les préférences d'apprentissage de l'élève ; modéliser les contenus pédagogiques du domaine à enseigner ; proposer une stratégie d'adaptation qui rapproche les préférences des contenus afin de proposer une méthode pédagogique appropriée. Pour atteindre le premier objectif, la thèse étudie le style d'apprentissage de Felder. Une étude empirique pour établir un modèle de dépendance entre style, pédagogie, et comportement de l'élève a été réalisée. Les résultats ont permis d'établir un modèle de préférences probabiliste. Une méthode en deux étapes pour apprendre ce odèle puis le renforcer est développée. Deux implantations sont proposées : un réseau bayésien et une machine à vecteurs de support. Le contenu quant à lui est modélisé en utilisant une ontologie combinant le domaine, la pédagogie, ainsi que les ressources physiques. Une stratégie d'adaptation structurée sur quatre dimensions est présentée. Celle-ci consiste à rechercher dans le contenu la séquence pédagogique sémantiquement pertinente pour les préférences de l'élève. La recherche s'appuie sur une mesure de similarité sémantique qui est établie. Ce travail a eu un impact sur deux projets européens. En effet, la méthode de production et structuration des contenus, basée sur SCORM, qui est proposée a servi pour le projet UP2UML. L'approche de modélisation de l'élève sert aux recherches sur le profilage dans le projet KPLAB. ABSTRACT : This thesis deals with adaptive teaching systems. The research question is how to adapt pedagogical activities to the prefered learning mode of a student. The scientific objectives are: modelisation of student's learning preferences ; modelisation of adaptive learning contents of a given domain ; establishing an adaptation strategy that maps preferences to contents in order to recommend an appropriate teaching method In order to reach the first objective, the thesis studies the learning style of Felder. An empirical study to derive a dependency model between the style, the pedagogy, and the student behaviour has been conducted. Results led to creating a probabilistic preference model. A two-stage method to learn and reinforce the model is developed. Two implementations are proposed: a bayesian network and an SVM classifier. The content is represented using an ontology that combines the domain, the pedagogy, and the physical resources. An adaptation strategy centered around four dimensions is presented. This consists of searching the content to retrieve the most semantically pertinent pedagogical sequence given the student preferences. The search implements an original semantic similarity measure. This work significantly impacted two European research projects. The production and structuration method designed in this thesis and based on SCORM has been applied in the Leonardo Da Vinci project called UP2UML. The student modeling approche serves currently our research on user profiling in the KPLAB projec

Apprentissage par Renforcement et Réduction de la dimensionnalité : une Approche Bio-inspirée

National audienceDepuis les travaux fondateurs de Schultz (Schultz et al., 1997), une structure cérébrale appelée Ganglions de la Base est reconnue comme possible substrat neuronal de l'Apprentissage par Renforcement. En conséquence, de nombreux travaux ont été menés pour préciser cette analogie, tant au niveau fonctionnel qu'anatomique. Un élément architectural notable a cependant été très peu pris en compte : la formidable réduction de dimensionnalité qui s'opère entre l'entrée et la sortie des Ganglions de la Base. Seul un auteur (Bar-Gad et al., 2003) a proposé que cette transformation pourrait être équivalente à une analyse en composantes principales, mais l'analyse des conséquences de cette hypothèse est restée superficielle. C'est dans ce cadre que nous avons choisi de reprendre ces travaux et de les étendre à un cadre plus fonctionnel et plus bio-inspiré afin d'étudier si cette hypothèse reste valide dans ce contexte plus réaliste. Nous montrons en particulier tout l'intérêt qu'il y a à ne pas simplement regarder cette transformation mais aussi à fermer la boucle, c'est à dire à l'utiliser pour la sélection de l'action

Evolution de profils multi-attributs, par apprentissage automatique et adaptatif dans un système de recommandation pour l'aide à la décision

La prise en compte des profils utilisateurs ainsi que leurs évolutions, dans le domaine de l'aide à la décision, constitue actuellement dans la communauté des SIAD (Systèmes Interactifs d'Aide à la Décision) un enjeu important. En effet, la prise en compte du contexte lors de la décision est actuellement émergente pour les SIAD. Ces systèmes d'assistance offrent ainsi des conseils aux utilisateurs en se basant sur leur profil, qui représente leurs préférences à travers une liste de critères valués. Les principales contraintes viennent du fait qu'il est nécessaire que le système puisse amener de l'information pertinente de manière continue. Cela oblige donc à faire évoluer les profils des utilisateurs en fonction de leurs actions. Pour cela, le système ne doit pas seulement " comprendre " ce que l'utilisateur aime, mais également pourquoi. De plus, l'aide apportée aux utilisateurs évoluera donc dans le temps et également par rapport à l'utilisateur. Ainsi l'utilisateur aura à sa disposition une sorte d'assistant personnalisé. L'objectif du travail consiste à apporter une aide à l'activité de l'utilisateur en fonction de son profil. Pour cela, nous proposons de mettre en œuvre et de développer des algorithmes, basés sur des techniques issues du domaine de l'apprentissage, afin de faire évoluer le profil d'un utilisateur en fonction de ses actions. L'aide apportée à l'utilisateur par le système évoluera aussi en fonction de l'évolution de son profil. Le problème à traiter pour l'utilisateur est un problème de prise de décision. Pour ce problème, une assistance est apportée à l'utilisateur, et celle-ci se fait par un affinage des solutions potentielles. Cet affinage est effectué grâce à la mise en place d'un tri (ranking) évolutif des solutions qui sont présentées à l'utilisateur en fonction de son/ses profils. La réalisation d'un tel système nécessite l'articulation des trois principaux domaines de recherche ; qui sont l'Aide à la Décision multicritère, la Décomposition et Agrégation de préférence, et l'Apprentissage automatique. Les domaines de l'Aide à la Décision multicritère et de la Décomposition et Agrégation de préférence peuvent être aussi rassemblés en tant que Procédure d'Agrégation Multicritère (PAMC). Certaines méthodes d'Aide à la Décision multicritère sont mises en place ici et utilisent les données du profil afin d'apporter la meilleure aide possible à l'utilisateur. La décomposition est utilisée pour caractériser un objet afin de fournir à l'apprentissage les données nécessaires à son fonctionnement. L'agrégation quant à elle sert à obtenir une note sur un objet, et cela selon le profil de l'utilisateur, afin de pouvoir effectuer un classement (ranking). L'apprentissage sert à faire évoluer les profils des utilisateurs afin d'avoir toujours un profil représentant le plus fidèlement possible les préférences des utilisateurs. En effet les préférences des utilisateurs évoluant dans le temps, il est nécessaire de traiter ces changements afin d'adapter les réponses à apporter à l'utilisateur. Les contributions de cette thèse portent tout d'abord sur la définition, la construction et l'évolution d'un profil utilisateur (profiling évolutif) en fonction des actions explicites et implicites de l'utilisateur. Ce profiling évolutif est mis en œuvre au sein d'un système de recommandation utilisable sans base d'apprentissage, de manière synchrone et totalement incrémentale, et qui permet aux utilisateurs de changer rapidement de préférences et même d'être incohérents (rationalité limitée). Ce système, qui vient en complément d'un système de Recherche Information, a pour objectif d'établir un ordre total sur une liste d'éléments proposés à l'utilisateur (ranking), et ce en concordance avec les préférences de l'utilisateur. Ces contributions consistent également à la définition de techniques qui permettent d'apporter des parties de solutions à des verrous technologiques comme la désagrégation de critères et la prise en compte d'un nombre variable de critères dans le processus d'aide à la décision interactif, et ce sans définir au préalable de famille cohérente de critères sur laquelle est basée la décision. Plusieurs cadres applicatifs ont été définis afin d'évaluer le système par rapport à d'autres systèmes, mais également afin de tester ses performances de manière hors ligne avec des vraies données utilisateurs, ainsi qu'en ligne, en utilisant directement le système.Considering user profiles and their evolutions, for decision support is currently in the community of DSS (Decision Support Systems) an important issue. Indeed, the inclusion of context in the decision is currently emerging for DSS. Indeed the system offers advice to users based on their profile, which represents their preferences through a list of valued criteria. The main constraints come from the fact that the system need to continuously bring relevant information. It therefore requires changing user profiles thanks to their actions. So, the system must not only "understand" what the user likes, but also why. The users' assistance will evolve over time and therefore with the user. Thus the user has at his disposal a kind of personal assistant. The objective of this work is to provide assistance to the user's activity according to his profile. The objective is to develop an algorithm based on automatic techniques, in order to change the profile of a user based on his actions. The assistance provided to the user by the system will evolves according to the evolution of its profile. The problem addressed to the user is a problem of decision making. For this problem, assistance is provided to the user, and it is a refinement of potential solutions. This refining is done through the establishment of scalable scheduling solutions that are presented to the user depending on his / her profile. The realization of such a system requires the articulation of the three main areas of research which are the Multi-Criteria Decision Support, the Disaggregation and Aggregation of preferences, and Machine Learning. The fields of Decision Support and Multi Disaggregation and Aggregation preference can also be assembled as Multi-Criteria Aggregation Process (PAMC). Some methods of Multicriteria Decision Support are set up here and use profile data to provide the best possible support to the user. The decomposition is used to characterize an object to provide data to the learning algorithm required for its operation. Aggregation serves to score an object according to the user profile in order to rank the selected items. Machine Learning is used to change user profiles in order to always have a profile representing as closely as possible the preferences of users. Indeed user preferences change over the time, it is necessary to address these changes in order to adapt the answers to the user. The contributions of this thesis are firstly, the definition, construction and evolution of a user profile (evolutionary profiling) based on explicit and implicit user's actions. This evolutionary profiling is implemented within a recommender system usable without learning base, synchronously and completely incremental, and that allows users to quickly change their preferences and even to be inconsistent (bounded rationality). This system, which complements an Information System Research, aims to establish a total order on a list of items proposed to the user (ranking) and in accordance with his preferences. These also include the definition of techniques used to make parts of solutions to technological challenges as the disintegration of criteria and the inclusion of a variable number of criteria in the process of interactive decision support, and this without firstly defining coherent family of criteria on which the decision is based. Several application frameworks have been developed to evaluate the system and compare it to other systems, but also to test its performance with real user data in an offline mode, and in an online mode using directly the system

Méthodes infographiques pour l'apprentissage des agents autonomes virtuels

There are two primary approaches to behavioural animation of an Autonomous Virtual Agent (AVA). The first one, or behavioural model, defines how AVA reacts to the current state of its environment. In the second one, or cognitive model, this AVA uses a thought process allowing it to deliberate over its possible actions. Despite the success of these approaches in several domains, there are two notable limitations which we address in this thesis. First, cognitive models are traditionally very slow to execute, as a tree search, in the form of mapping: states → actions, must be performed. On the one hand, an AVA can only make sub-optimal decisions and, on the other hand, the number of AVAs that can be used simultaneously in real-time is limited. These constraints restrict their applications to a small set of candidate actions. Second, cognitive and behavioural models can act unexpectedly, producing undesirable behaviour in certain regions of the state space. This is because it may be impossible to exhaustively test them for the entire state space, especially if the state space is continuous. This can be worrisome for end-user applications involving AVAs, such as training simulators for cars and aeronautics. Our contributions include the design of novel learning methods for approximating behavioural and cognitive models. They address the problem of input selection helped by a novel architecture ALifeE including virtual sensors and perception, regardless of the machine learning technique utilized. The input dimensionality must be kept as small as possible, this is due to the "curse of dimensionality", well known in machine learning. Thus, ALifeE simplifies and speeds up the process for the designer

Apprentissage et Contrôle dans les Architectures Neuronales

The brain, beyond its primary sensori-motor and regulation functions, is an outstanding adaptive system, capable of developping novel responses in novel situations. The principles of machine learning, a fast-developping domain, are at stake for a better understanding of the learning processes in the brain. Computational models of learning have provided several success stories, from which the "layered neural networks" are the most famous ones. This HDR dissertation presents different kinds neural networks models, displaying a more strict obedience to the biological constraints, in particular regarding the recurrent aspect of the neuronal interaction graph, the discreteness of the signals emitted by the neurons and the local aspect of the plasticity rules that govern the synaptic changes. We show in particular how recurrent neural networks organize their sensory input in different regions, how the the synaptic plasticity drives the network toward a more "simple" collective activity, allowing a better separation and prediction of the sensory stimuli, and how motor learning can rely on matching motor primitives with sensory data to organize the physical environment. Several projects are proposed, aiming at expanding some of those ideas into large-scale brain activity models, or also for the design of brain-computer interfaces.Au delà de ses fonctions primaires régulatrices et sensori-motrices, le cerveau est un formidable système adaptatif capable de développer des réponses nouvelles dans des contextes nouveaux. Les principes de l'apprentissage automatique ("machine learning"), en plein développement à l'heure actuelle, peuvent être utiles à la compréhension des processus d'apprentissage dans le cerveau. On parle de modèles computationnels de l'apprentissage, dont les "réseaux de neurones artificiels à couches" sont la réalisation la plus connue. Ce mémoire d'HDR présente des modèles de réseaux de neurones obéissant plus strictement aux contraintes biologiques, en particulier concernant le caractère récurrent du graphe d'interaction neuronale, le caractère discret des signaux émis par les neurones et le caractère local des règles de plasticité qui régissent les changements synaptiques. Nous montrons en particulier comment les réseaux de neurones récurrents organisent leurs données d'entrée en régions distinctes, comment la plasticité synaptique conduit les réseau de neurones vers des activités d'ensemble plus simples, permettant de mieux différencier et prédire les stimuli sensoriels, et comment l'apprentissage moteur peut se fonder sur l'appariement entre primitives motrices et données sensorielles pour organiser l'environnement physique. Différents projets sont proposés, visant à développer ces idées sur des modèles de l'activité du cerveau à large échelle, ou encore dans le cadre des interfaces cerveau-machine

Apprentissage du contrôle de systèmes complexes par l'auto-organisation coopérative d'un système multi-agent: Application à la calibration de moteurs à combustion

This thesis tackles the problem of complex systems control with a multi-agent approach. Controlling a system means applying the adequate actions on its inputs, in order to put the system in a desired state. Usual methods are based on analytical models of the controlled system. They find their limits with complex systems, because of the non-linear dynamics. Building a model of this kind of system is indeed very difficult, and exploiting such a model is even harder. A better approach is to learn how to control, without having to exploit any model. But Ashby's Law taught us that the controller must be at least as complex as the controlled system. A part of the challenge is to build a complex system with the correct functionnality.This challenge is tackled with the Adaptive Multi-Agent Systems (AMAS) approach, which relies on cooperation and emergence to design adaptive multi-agent systems able to perform complex tasks.Cette thèse s'intéresse au contrôle de systèmes complexes, et propose une solution multi-agent.Contrôler un système, c'est appliquer les modifications adéquates sur ses entrées de façon à placer ses sorties dans un état attendu. Les méthodes habituelles se basent majoritairement sur l'utilisation de modèles mathématiques du système contrôlé, afin de calculer les actions de contrôle à effectuer. Ces méthodes trouvent leurs limites face aux systèmes complexes, qui ont une dynamique non-linéaire, et sont souvent bruités et instables. La construction d'un modèle est dans ce cas une tâche ardue, qui peut s'étendre sur plusieurs années. La plupart des méthodes proposent alors d'utiliser un algorithme d'apprentissage artificiel pour apprendre un modèle. Cependant, le modèle produit demeure difficile à exploiter pour le contrôle, puisqu'il reproduit les caractéristiques difficiles du système réel, notamment sa non-linéarité. Une meilleure approche, adoptée dans cette thèse, consiste à apprendre directement le contrôle. La loi de la variété requise indique que, pour être capable d'accomplir sa tâche, le contrôleur doit être au moins aussi complexe que le système contrôlé. Il faut donc concevoir un système capable d'apprendre, de contrôler, et surtout, de franchir le mur de la complexité.La distribution du contrôle, c'est-à-dire l'affectation du contrôle de chaque entrée d'un système à des contrôleurs plus ou moins indépendants, permet de s'attaquer à la complexité. Mais cela demeure un sujet de recherche actif, à plus forte raison lorsque vient s'ajouter une problématique d'apprentissage. Les systèmes multi-agents (SMA), composés d'entités autonomes, se prêtent naturellement aux problèmes distribués et peuvent ainsi beaucoup apporter. En particulier, les systèmes multi-agents adaptatifs (AMAS) s'appuient sur l'auto-organisation des agents pour faire émerger une fonction globale adéquate. Cette auto-organisation est guidée par la coopération. Chaque agent est capable de détecter et de résoudre les situations dans lesquelles il ne peut accomplir sa tâche. Un AMAS est ainsi doté de fortes capacités d'adaptation et d'apprentissage. Il est également capable, grâce à l'émergence, d'accomplir des tâches complexes. Appliquée au problème du contrôle et de son apprentissage, cette approche conduit à la définition d'un SMA particulier, présenté dans cette thèse. Les expérimentations, menées sur des simulations ainsi qu'en situation réelle (sur un moteur à combustion), ont montré la capacité du système à apprendre le contrôle de plusieurs entrées en fonction de critères sur plusieurs sorties, tout en étant robuste aux perturbations, et facile à instancier. Ces résultats sont analysés pour conclure sur la validité du système

Système de vidéosurveillance et de monitoring

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal