Etude d'un filtre neuronal basé sur la structure du filtre de kalman

Méthodes de détermination du gain du filtre de Kalman -- Notions de base sur les réseaux neuronaux -- Fondements biologiques -- Fondement sur les neurones artificiels -- Différents modèles de réseaux neuronaux artificiels -- Apprentissage des réseaux -- Conception du filtre neuronal basé sur la structure du filtre de Kalman -- Les réseaux neuronaux artificiels dans la commande -- Le filtre neuronal -- Simulation du filtre neuronal -- Estimateur neuronal -- Prédicteur neuronal -- Analyse comparative du filtre de Kalman et de l'estimateur neuronal -- Analyse comparative du filtre de Kalman et du prédicteur neuronal

Contrôle des interactions orales entre humain et machine : approche d'apprentissage machine

Les techniques de reconnaissance et de synthèse vocale deviennent de plus en plus performantes et robustes, ce qui facilite la création des applications de dialogue oral humain-machine. Ce sont des applications à partir desquelles la machine dialogue oralement avec l'humain en imitant l'acte de communication des humains. Cependant, le dialogue entre l'humain et la machine manque encore de naturel, de souplesse et est parfois même agaçant. Alors que les recherches se sont orientées vers l'aspect acoustique et sémantique du signal de la parole, d'autres se sont positionnées au niveau de l'apprentissage de la machine. Cette technique consiste à lui apprendre une stratégie du dialogue. La stratégie optimale du dialogue permet à l'humain et à la machine de communiquer de manière efficace. La question qui se pose en informatique cognitive est de savoir comment une machine peut apprendre des séquences de comportements, en l'occurrence, des énoncés du langage naturel qui, lorsque confrontées à une séquence effective, doivent être aptes à interagir avec celui qui a ces comportements (humains)? . Plus généralement, l'un des domaines importants de recherche en informatique cognitive est celui de la représentation des connaissances qu'il faut construire pour permettre à la machine d'effectuer une tâche de type intelligence artificielle. Pour ce faire, il existe plusieurs approches. Quelle que soit celle retenue, il faut d'abord savoir quelle est sa représentation, ensuite, savoir comment transférer ces connaissances à la machine pour qu'elle puisse apprendre afin d'améliorer sa performance. Ce transfert relève de trois aspects fondamentaux de notre thèse : représentation des connaissances, acquisition des connaissances et recherche d'information. Notre recherche ne vise cependant pas des réponses abstraites. Elle les explore directement dans un domaine spécifique où ces connaissances sont éminemment requises et doivent être apprises: le dialogue oral humain-machine qui se réalise dans un système de dialogue oral humain-machine. Dans ce système, nous nous concentrerons sur l'aspect stratégique du dialogue considéré comme étant important pour contrôler les interactions orales entre l'humain et la machine [ENG05], [HEN05], [LEV00], [PIE04], [SCH05], [SCH06], [SCH99]. Une stratégie optimale du dialogue permet à la machine de contrôler efficacement ces interactions orales. Nos hypothèses de solutions à appliquer dans le domaine du dialogue sont: 1-La connaissance que représente la stratégie du dialogue peut être vue comme un processus dynamique qui est composé de séquences d'actions. Il traduit un comportement stochastique, dynamique et coopératif avec lequel deux interlocuteurs s'engagent dans un dialogue. Ce processus peut être décrit comme le processus de décision de Markov (état, action, transition, récompense). 2-Pour transférer cette connaissance de l'humain à la machine, nous proposerons une approche d'apprentissage par renforcement avec l'aide d'un utilisateur simulé (Pietquin et Beaufort, 2005 ; J. Schatzmann et al., 2006). Cette approche permet à la machine d'acquérir les connaissances des stratégies optimales du dialogue. 3-Cette stratégie optimale est le résultat, non seulement de la formalisation des connaissances et de l'apprentissage, mais est aussi obtenue grâce à la recherche d'information qui se manifeste à travers un mécanisme de transition entre les états qu'offre le modèle de Markov. Nous démontrerons la faisabilité de notre approche par la réalisation d'un prototype qui met en évidence le processus d'apprentissage proposé. Le dialogue issu de cet apprentissage sera simulé oralement par une interface Windows programmé en Visual Studio C++/.Net dans le laboratoire de R&D de Nuance Communications, Inc. Ainsi, nous démontrerons qu'un système avec une stratégie apprise, modélisée selon nos hypothèses de représentation et d'acquisition des connaissances sera meilleur qu'un système sans stratégie apprise grâce à cette approche.\ud ______________________________________________________________________________ MOTS-CLÉS DE L'AUTEUR: représentation des connaissances, acquisition des connaissances, recherche d'information, contrôle des interactions, intelligence artificielle, processus de décision de Markov, apprentissage machine par renforcement, stratégie du dialogue, système de dialogue oral humain-machine, utilisateur simulé

Equilibre, coordination et cycle

Les théories du cycle d'affaires, telles qu'elles émergent au début des années 1950, mettent l'accent sur les problèmes de coordination, et plus précisément sur les effets des comportements d'investissement hors de l'équilibre. Les nouvelles théories, qui se sont développées à partir des années 1970, sont basées sur la méthode de l'équilibre et mettent l'accent sur les propriétés de la fonction d'utilité, de la fonction de production ou de la structure d'information ex ante. Elles constituent un véritable défi pour les « vieilles » théories, mais elles ne les rendent pas obsolètes, dans la mesure où elles font défaut sur un point crucial qui est d'expliquer la nature d'une dynamique multi-phases (ou multi-regimes).Equilibrium, co-ordination and cycles Theories of business cycles, as they emerge at the beginning of the fifties, essentially focus on co-ordination issues and more precisely on the effects of out-of-equilibrium investment behaviours. New theories, that has been developed from the beginning of the seventies onwards, are based on the so-called equilibrium method and focus on the properties of the utility function, the production function or the ex ante structure of information. They constitute a real challenge for the "old" theories, but they do not make them obsolete insofar as they miss the crucial point which is to explain the nature of a 'multi-phase (or multi-regime) dynamics'

Equilibre, coordination et cycle

Les théories du cycle d'affaires, telles qu'elles émergent au début des années 1950, mettent l'accent sur les problèmes de coordination, et plus précisément sur les effets des comportements d'investissement hors de l'équilibre. Les nouvelles théories, qui se sont développées à partir des années 1970, sont basées sur la méthode de l'équilibre et mettent l'accent sur les propriétés de la fonction d'utilité, de la fonction de production ou de la structure d'information ex ante. Elles constituent un véritable défi pour les « vieilles » théories, mais elles ne les rendent pas obsolètes, dans la mesure où elles font défaut sur un point crucial qui est d'expliquer la nature d'une dynamique multi-phases (ou multi-regimes).Equilibrium, co-ordination and cycles Theories of business cycles, as they emerge at the beginning of the fifties, essentially focus on co-ordination issues and more precisely on the effects of out-of-equilibrium investment behaviours. New theories, that has been developed from the beginning of the seventies onwards, are based on the so-called equilibrium method and focus on the properties of the utility function, the production function or the ex ante structure of information. They constitute a real challenge for the "old" theories, but they do not make them obsolete insofar as they miss the crucial point which is to explain the nature of a 'multi-phase (or multi-regime) dynamics'

Modélisation de dialogues à l'aide d'un modèle Markovien caché

La modélisation de dialogue humain-machine est un domaine de recherche qui englobe plusieurs disciplines telles que la philosophie, les sciences cognitives et sociales, et l’informatique. Elle a pour but de reproduire la capacité humaine afin d’apprendre des stratégies optimales de dialogue. De plus, elle vise à concevoir et à évaluer des systèmes de gestion de dialogue ou d’étudier plus en détails la nature des conversations. Par ailleurs, peu de modèles de simulation de dialogues existants ont été jugé bons. Ce mémoire présente un modèle de Markov caché qui prédit l’action de l’utilisateur dans les systèmes de dialogue étant donné l’action du système précédente. L’apprentissage du modèle a été réalisé selon une approche d’apprentissage non supervisé en utilisant différentes méthodes de la validation croisée. Quant à l’évaluation du modèle, elle a été faite en utilisant différentes métriques. Les résultats de l’évaluation ont été en dessous des attentes mais tout de même satisfaisants par rapport aux travaux antérieurs. Par conséquent, des avenues de recherches futures seront proposées pour surpasser cette problématique. Mots-clés : traitement de la langue naturelle, dialogue oral homme-machine, modèle de Markov caché, apprentissage non supervisé, validation croisée.Modeling human-machine dialogue is a research area that encompasses several disciplines such as philosophy, computer science, as well as cognitive and social sciences. It aims to replicate the human ability to learn optimal strategies of dialogue. Furthermore, it aims to design and evaluate management systems for dialogue, and to study the nature of the conversations in more detail. Moreover, few simulation models of existing dialogues were considered good. This thesis presents a hidden Markov model that predicts the action of the user in dialogue systems on the basis of the previous system action. The learning model has been realized through an approach to unsupervised learning using different methods of cross validation. As for model evaluation, it has been done using different metrics. The evaluation results were below expectation. Nonetheless, they are satisfactory compared to previous work. Ultimately, avenues for future research are proposed to overcome this problem. Keywords: natural language processing, spoken dialogue human-machine, Hidden Markov Model (HMM), unsupervised learning, cross validation

Sélection et réglage de paramètres pour l'optimisation de logiciels d'ordonnancement industriel

L’utilisation d’un logiciel d’ordonnancement industriel fait intervenir une multitude de paramètres dont le réglage influence fortement la qualité des résultats. A l’heure actuelle, ce réglage est effectué de façon manuelle, après un travail souvent fastidieux au cours de l’installation initiale du logiciel’ De plus, une fois spécifiées, les valeurs de ces paramètres sont rarement remises en cause par les utilisateurs, du fait de leur manque d’expérience et du nombre important de paramètres à ajuster. L’idée que nous développons ici consiste à utiliser des métaheuristiques pour automatiser cette tâche. Deux problèmes seront abordés : la sélection des paramètres pertinents et leur réglage en fonction des exigences de l’utilisateur. Nous proposons de résoudre ces deux problèmes de façon simultanée, en introduisant des stratégies de sélection au sein des métaheuristiques. Cette approche est appliquée au logiciel d’ordonnancement Ortems® et validée sur plusieurs cas industriels. ABSTRACT : The use of scheduling software requires to set-up a number of parameters that have a direct influence on the schedule quality. Nowadays, this set-up is obtained manually after an extensive effort during initial software installation. Moreover, this set-up is rarely called into question by users, due to their lack of experience and to the high number of parameters involved. It is suggested in this thesis the use of metaheuristics to automate this task. Two problems are considered: selection of relevant parameters and their tuning according to user requirements. We suggest here an approach to solve these problems simultaneously, based on the combination of metaheuristics with some parameter selection strategies. An implementation framework has been developed and tested on an industrial scheduler, named Ortems®. The first results of the use of this framework on real industrial databases are described and commented

Artificial Darwinism: an overview

Genetic algorithms, genetic programming, evolution strategies, and what is now called evolutionary algorithms, are stochastic optimisation techniques inspired by Darwin’s theory. We present here an overview of these techniques, while stressing on the extreme versatility of the artificial evolution concept. Their applicative framework is very large and is not limited to pure optimisation. Artifical evolution implementations are however computationally expensive: an efficient tuning of the components and parameter of these algorithms should be based on a clear comprehension of the evolutionary mechanisms. Moreover, it is noticeable that the killer-applications of the domain are for the most part based on hybridisation with other optimisation techniques. As a consequence, evolutionary algorithms are not to be considered in competition but rather in complement to the “classical ” optimisation techniques.Les algorithmes génétiques, la programmation génétique, les stratégies d’évolution, et ce que l’on appelle maintenant en général les algorithmes évolutionnaires, sont des techniques d’optimisation stochastiques inspirées de la théorie de l’évolution selon Darwin. Nous donnons ici une vision globale de ces techniques, en insistant sur l’extrême flexibilité du concept d’évolution artificielle. Cet outil a un champ très vaste d’applications, qui ne se limite pas à l’optimisation pure. Leur mise en oeuvre se fait cependant au prix d’un coût calculatoire important, d’où la nécessité de bien comprendre ces mécanismes d’évolution pour adapter et régler efficacement les différentes composantes de ces algorithmes. Par ailleurs, on note que les applications-phares de ce domaine sont assez souvent fondées sur une hybridation avec d’autres techniques d’optimisation. Les algorithmes évolutionnaires ne sont donc pas à considérer comme une méthode d’optimisation concurrente des méthodes d’optimisation classiques, mais plutôt comme une approche complémentaire

Formalismes de description des modèles agent

International audienceCe chapitre a pour but de présenter les bonnes pratiques et l’apport de la formalisationdans le domaine de la modélisation de systèmes multi-agents (SMA). Pour cela,les auteurs rappellent dans un premier temps l’intérêt de modéliser des systèmes enmettant en perspective les paradigmes associés à la démarche multi-agents. Il est alorsargumenté que l’utilisation des langages de modélisation graphique permettent unmeilleur échange entre les partenaires intervenant dans la conception d’un SMA (...)

Théorie des jeux et apprentissage pour les réseaux sans fil distribués

Dans cette thèse, nous étudions des réseaux sans fil dans lesquels les terminaux mobiles sont autonomes dans le choix de leurs configurations de communication. Cette autonomie de décision peut notamment concerner le choix de la technologie d'accès au réseau, le choix du point d'accès, la modulation du signal, les bandes de fréquences occupées, la puissance du signal émis, etc. Typiquement, ces choix de configuration sont réalisés dans le but de maximiser des métriques de performances propres à chaque terminal. Sous l'hypothèse que les terminaux prennent leurs décisions de manière rationnelle afin de maximiser leurs performances, la théorie des jeux s'applique naturellement pour modéliser les interactions entre les décisions des différents terminaux. Plus précisément, l'objectif principal de cette thèse est d'étudier des stratégies d'équilibre de contrôle de puissance d'émission afin de satisfaire des considérations d'efficacité énergétique. Le cadre des jeux stochastiques est particulièrement adapté à ce problème et nous permet notamment de caractériser la région de performance atteignable pour toutes les stratégies de contrôle de puissance qui mènent à un état d'équilibre. Lorsque le nombre de terminaux en jeu est grand, nous faisons appel à la théorie des jeux à champ moyen pour simplifier l'étude du système. Cette théorie nous permet d'étudier non pas les interactions individuelles entre les terminaux, mais l'interaction de chaque terminal avec un champ moyen qui représente l'état global des autres terminaux. Des stratégies de contrôle de puissance optimales du jeu à champ moyen sont étudiées. Une autre partie de la thèse a été consacrée à des problématiques d'apprentissage de points d'équilibre dans les réseaux distribués. En particulier, après avoir caractérisé les positions d'équilibre d'un jeu de positionnement de points d'accès, nous montrons comment des dynamiques de meilleures réponses et d'apprentissage permettent de converger vers un équilibre. Enfin, pour un jeu de contrôle de puissance, la convergence des dynamiques de meilleures réponses vers des points d'équilibre a été étudiée. Il est notamment proposé un algorithme d'adaptation de puissance convergeant vers un équilibre avec une faible connaissance du réseau.In this thesis, we study wireless networks in which mobile terminals are free to choose their communication configuration. Theses configuration choices include access wireless technology, access point association, coding-modulation scheme, occupied bandwidth, power allocation, etc. Typically, these configuration choices are made to maximize some performance metrics associated to every terminals. Under the assumption that mobile terminals take their decisions in a rational manner, game theory can be applied to model the interactions between the terminals. Precisely, the main objective of this thesis is to study energy-efficient power control policies from which no terminal has an interest to deviate. The framework of stochastic games is particularly suited to this problem and allows to characterize the achievable utility region for equilibrium power control strategies. When the number of terminals in the network is large, we invoke mean field game theory to simplify the study of the system. Indeed, in a mean field game, the interactions between a player and all the other players are not considered individually. Instead, one only studies the interactions between each player and a mean field, which is the distribution of the states of all the other players. Optimal power control strategies from the mean field formulation are studied. Another part of this thesis has been focused on learning equilibria in distributed games. In particular, we show how best response dynamics and learning algorithms can converge to an equilibrium in a base station location game. For another scenario, namely a power control problem, we study the convergence of the best response dynamics. In this case, we propose a power control behavioral rule that converges to an equilibrium with very little information about the network.PARIS11-SCD-Bib. électronique (914719901) / SudocSudocFranceF

Programmation dynamique avec approximation de la fonction valeur

L'utilisation d'outils pour l'approximation de la fonction de valeur est essentielle pour pouvoir traiter des problèmes de prise de décisions séquentielles de grande taille. Les méthodes de programmation dynamique (PD) et d'apprentissage par renforcement (A/R) introduites aux chapitres 1 et 2 supposent que la fonction de valeur peut être représentée (mémorisée) en attribuant une valeur à chaque état (dont le nombre est supposé fini), par exemple sous la forme d'un tableau. Ces méthodes de résolution, dites exactes, permettent de déterminer la solution optimale du problème considéré (ou tout au moins de converger vers cette solution optimale). Cependant, elles ne s'appliquent souvent qu'à des problèmes jouets, car pour la plupart des applications intéressantes, le nombre d'états possibles est si grand (voire infini dans le cas d'espaces continus) qu'une représentation exacte de la fonction ne peut être parfaitement mémorisée. Il devient alors nécessaire de représenter la fonction de valeur, de manière approchée, à l'aide d'un nombre modéré de coefficients, et de redéfinir et analyser des méthodes de résolution, dites approchées pour la PD et l'A/R, afin de prendre en compte les conséquences de l'utilisation de telles approximations dans les problèmes de prise de décisions séquentielles