Méthodes d'apprentissage de la coordination multiagent : application au transport intelligent

Les problèmes de prise de décisions séquentielles multiagents sont difficiles à résoudre surtout lorsque les agents n'observent pas parfaitement l'état de Y environnement. Les approches existantes pour résoudre ces problèmes utilisent souvent des approximations de la fonction de valeur ou se basent sur la structure pour simplifier la résolution. Dans cette thèse, nous proposons d'approximer un problème de décisions séquentielles multiagent à observation limitée, modélisé par un processus décisionnel markovien décentralisé (DEC-MDP) en utilisant deux hypothèses sur la structure du problème. La première hypothèse porte sur la structure de comportement optimal et suppose qu'il est possible d'approximer la politique optimale d'un agent en connaissant seulement les actions optimales au niveau d'un petit nombre de situations auxquelles l'agent peut faire face dans son environnement. La seconde hypothèse porte, quant à elle, sur la structure organisationnelle des agents et suppose que plus les agents sont éloignés les uns des autres, moins ils ont besoin de se coordonner. Ces deux hypothèses nous amènent à proposer deux approches d'approximation. La première approche, nommée Supervised Policy Reinforcement Learning, combine l'apprentissage par renforcement et l'apprentissage supervisé pour généraliser la politique optimale d'un agent. La second approche se base, quant à elle, sur la structure organisationnelle des agents pour apprendre une politique multiagent dans des problèmes où l'observation est limitée. Pour cela, nous présentons un modèle, le D O F - D E C - M DP (Distance-Observable Factored Decentralized Markov Décision Process) qui définit une distance d'observation pour les agents. A partir de ce modèle, nous proposons des bornes sur le gain de récompense que permet l'augmentation de la distance d'observation. Les résultats empiriques obtenus sur des problèmes classiques d'apprentissage par renforcement monoagents et multiagents montrent que nos approches d'approximation sont capables d'apprendre des politiques proches de l'optimale. Enfin, nous avons testé nos approches sur un problème de coordination de véhicules en proposant une méthode de synchronisation d'agents via la communication dans un cadre à observation limitée

L'intelligence artificielle : une certaine intelligence du social

Sociologie des techniquesDu point de vue d’une sociologie de la connaissance, la recherche contemporaine en intelligence artificielle tire son originalité de l’intérêt porté à la modélisation de la connaissance ordinaire, ce savoir engagé dans la vie de tous les jours (ex. aller l’épicerie, prendre son petit déjeuner). Les entreprises Facebook ou Google, le fameux GAFAM ainsi que les services de musique et de vidéos en ligne capturent et modélisent les faits et gestes du quidam afin de remettre les résultats de leurs calculs en jeu dans cette même vie courante. La recherche en IA porte également sur la mise en forme de savoirs savants et professionnels tout comme durant les années 1960 et 1970, mais cette thèse ne s’y intéressera pas. Dans le cadre d’une sociologie des sciences et des techniques, je me questionne sur ce que nous, en tant que civilisation occidentale, faisons du développement technologique, du monde que nous construisons à l’aide des diverses techniques. Ma préoccupation ne porte pas sur les choix des objets privilégiés par la recherche des laboratoires publics et privés, mais sur les usages, les débouchés selon la question très générale : en quoi telle technique modifie-t-elle ou non notre façon de vivre ? Or, cette question relève d’un exercice de prospective dans la mesure où bien souvent nous ne possédons pas assez de recul sur ces techniques. Elle demeure malgré tout une préoccupation d’arrière-plan de mes questions de recherche. En effet, ces modèles d’apprentissage machine, trouveraient-ils leur place au sein d’une civilisation qui n’accorderait pas autant d’importance à l’efficacité, à la productivité, à la rentabilité, à la science ou encore au travail ? Aussi, viennent-ils entériner l’ordre établi ou bien offrent-ils de nouvelles possibilités d’existence ? Comprendre minimalement l’artefact d’un point de vue technique et saisir du point de vue de la sociologie la façon dont les chercheurs pensent leurs objets nous éclaire sur les catégories de pensées principales qui orientent ces usages et le cas échéant sur les éventuels effets sociétaux. En l’occurrence, l’idée de modéliser de nombreuses activités de la vie quotidienne repose sur une représentation à priori de celle-ci de la part de chercheurs localisés socialement par leur profession et plus généralement leurs relations sociales diverses. Quelle est cette représentation et comment est-elle opérationnalisée dans les modèles ? Posée autrement, de quels rapports au monde témoignent ingénieurs et informaticiens par l’intermédiaire de leurs connaissances professionnelles, savantes et ordinaires ? Ainsi, dans cette thèse, mon travail se ramène à informer de la dimension sociale propre à la technique étudiée. À partir d’entretiens auprès de chercheurs en IA, la question de recherche est la suivante : quels sont les savoirs et raisonnements chez les chercheurs au fondement de l’élaboration des algorithmes relevant de l’intelligence artificielle contemporaine et qui construisent une représentation opératoire particulière de la vie sociale ? Exprimée en terme sociologique, cette question devient : en quoi les modèles d'apprentissage sont-ils un nouveau « modèle concret de connaissance » pour les usagers et informaticiens selon le concept développé par le sociologue Gilles Houles ? Les modèles dits d’apprentissage sous-tendent une conception relationnelle de la constitution de la connaissance humaine et d’un rapport à la réalité médié par l’action comme moyen d’actualisation de cette connaissance. Résumé simplement, le concept sociologique de « modèle concret de connaissance » objective les deux modalités d’existence de la vie humaine que nous retrouvons empiriquement sous deux concepts informatiques : symbolique (leur modèle mathématique) et l’action ou « l’agent informatique » ou « celui qui agit », que ce concept soit mobilisé ou non par les chercheurs. En somme, ces modèles en relation les uns avec les autres et matérialisés dans les objets dits connectés ou « smart » (ex. téléphones, électroménagers) forment un schéma opératoire organisateur de la vie sociale. Ce côté opératoire repose sur la position de « tiers médiateur » ou de « mémoire sociale technicisée » dans les relations humains-humains via machines. Je m'appuierai sur le concept de mémoire sociale et de morphologie sociale développée par le sociologue Maurice Halbwachs. Autrement dit, ce réseau d’objets connectés et d’êtres humains se ramène à l’instauration d’un cadre cognitif collectif particulier, issu des représentations sociales de groupes professionnels précis, mais mises en jeu dans la vie courante de tous, soit une institutionnalisation en cours. En effet, la diffusion et l’adoption des modèles découlent d’un processus de reconnaissance publique de savoirs sous-jacents et déjà institutionnalisés, pour l'essentiel, les mathématiques et l’ingénierie, le savoir implicite des « sciences de la gestion » et un savoir dit « scientifique » par les chercheurs. Plus précisément, le processus en cours consiste en l’institution d’êtres humains et de machines apprenantes en liens permanents via les objets connectés (« Internet of Things »). Au final, elle consiste en une mise en réseau des « régularités sociales » obtenues par classifications et régressions effectuées par les détenteurs des données. Je parlerai d'une « morphologie sociotechnique » ou d’une « configuration sociotechnique ». À la figure du robot polyvalent anthropomorphique censé condenser toute la mise en pratique du savoir sur l’IA, se substitue celle de relations sociales informatisées comme lieux du maintien des liens entre êtres humains par un concentré de savoirs et idées hétérogènes tels qu'un être humain ayant besoin d'aide ou la nécessité de la créativité par exemple. À l’usage, s’établit un type de lien social entre êtres humains via les machines pris entre la réduction propre à tout modèle de l’objet sur lequel il porte, la flexibilité qu’offre la possibilité d’ajustement (le côté « learning ») et le sens donné à l’action par l’utilisateur lambda. L’idéologie comme « mode de connaissance » du réseau sociotechnique est partie prenante de cette institutionnalisation en cours. Elle offre un cadre cognitif qui remet en cause la diversité produite par la division habituelle du travail sémantique au sein des ensembles sociaux en fournissant un modèle de légitimité, soit le discours du « partage ». L’accent mis par cette thèse sur les « sciences de la gestion » et la notion de réseau l’inscrit dans le prolongement des études des trente dernières années sur cette « société informationnelle » de Manuel Castells, une « nouvelle représentation générale des sociétés » en réseau en suivant Luc Boltanski ou encore « l’esprit gestionnaire » qui s’empara des fonctionnaires d’État selon le sociologue Albert Ogien.From the point of view of a sociology of knowledge, contemporary research in Artificial Intelligence (AI) draws its originality by its interest in the modeling of ordinary knowledge, that knowledge engaged in everyday life. The companies Facebook or Google, the so-called GAFAM, as well as online music and video services, capture and model the facts and gestures of the average person in order to put the results of their calculations back into play in its very everyday life. The research in AI also deals with academic and professional knowledge as it did in the 1960s and 1970s, but this thesis will not focus on it. Within the framework of a sociology of science and technology, I question what We, as the Western civilization, do with technological development, about the world we build with the help of various techniques. My concern is not with the choice of research objects privileged by public and private laboratories, but with the uses, the outlets according to the very general question: In what way does such a technique modify or not our way of living? Now, this question is an exercise in foresight insofar as we often do not have enough hindsight on these techniques. Nevertheless, it remains a background concern of my research. Indeed, would these machine learning models find their place in a civilization that would not give as much importance to efficiency, productivity, profitability, science or work? Also, do they endorse the established social organization, or do they offer new possibilities of existence? Understanding the artifact minimally from a technical perspective and grasping from a sociological point of view the way in which researchers think about their objects sheds light on the main categories of thought that guide these uses and, if applicable, on the possible societal effects. In this case, the idea of modeling many activities of daily life is based on an a priori representation of it by researchers who are socially situated by their profession. What is this representation and how is it operationalized in the models? Put differently, what relationships to the world do engineers and computer scientists have through their professional, academic and ordinary knowledge? Thus, in this thesis, my work comes down to informing the social dimension specific to the studied technique. Based on interviews with AI researchers, the question is as follows: What is the knowledge and reasoning of the researchers at the core of the algorithms of contemporary artificial intelligence and which build a specific operational representation of social life? Expressed in sociological terms, this question becomes: In what way are learning models a new "concrete model of knowledge" for users et researchers according to the concept developed by the sociologist Gilles Houles? The so-called learning models underlie a relational constitution of human knowledge and of a relation to reality mediated by actions as a means of actualization of this knowledge. Summarized simply, the sociological concept of "concrete model of knowledge" objectifies the two modalities of existence of the human life that we find empirically under two computing concepts: symbolic (their mathematical model) and the “action” as "the computing agent" or "the one who acts", whether this concept is used or not by the researchers. In sum, these models in relation to each other and materialized in the notorious connected or "smart" objects (e.g. telephones, household appliances) turn social life into a sociotechnical network. Its operational side relies on the position of "third-party intermediary" or "technical social memory" in human-human relations via machines. I will draw upon the concept of "social memory" and "social morphology" developed by the sociologist Maurice Halbwachs. In other words, this network of connected objects and human beings comes down to the establishment of a particular collective cognitive framework, stemming from the social representations of specific professional groups, but put into play in the everyday life of all, that is to say an institutionalization in progress. Indeed, the diffusion and adoption of the models stem from a process of public recognition of underlying and already institutionalized knowledge, essentially mathematics and engineering, the implicit knowledge of the "management sciences" and a knowledge called "scientific" by researchers. More precisely, the process underway consists in the institution of human beings and learning machines in permanent links via connected objects ("Internet of Things"). In the end, it consists in the networking of "social regularities" obtained by classifications and regressions carried out by the data's owners. I will speak of a "sociotechnical morphology" or a "sociotechnical configuration". The figure of the anthropomorphic multipurpose robot, which is supposed to condense all the practical application of knowledge on AI, is replaced by that of computerized social relations as places where links between human beings are maintained by a concentration of heterogeneous knowledge and ideas, such as a human being in need of help or the need for creativity, for example. In use, a type of social link between human beings via the machines is established, caught between the reduction proper to any modelling of the object on which it concerns, the flexibility offered by the possibility of adjustment (the "learning" side) and the meaning given to the action by the lambda user. Ideology as a "mode of knowledge" of the socio-technical network is part of this ongoing institutionalization. It offers a cognitive framework that challenges the diversity produced by the usual division of semantic labor within social groups by providing a model of legitimacy, namely the discourse of "sharing". The emphasis placed by this thesis on the "management sciences" and the notion of network places it in the continuity of the studies of the last thirty years on this "informational society" of Manuel Castells, a "new general representation of societies" into a network according to Luc Boltanski, or the "managerial spirit" which took hold of the State civil servants according to the sociologist Albert Ogie

Conférence Nationale d'Intelligence Artificielle Année 2020

National audienc