Apprentissage statistique de modèles de comportement multimodal pour les agents conversationnels interactifs

Face to face interaction is one of the most fundamental forms of human communication. It is a complex multimodal and coupled dynamic system involving not only speech but of numerous segments of the body among which gaze, the orientation of the head, the chest and the body, the facial and brachiomanual movements, etc. The understanding and the modeling of this type of communication is a crucial stage for designing interactive agents capable of committing (hiring) credible conversations with human partners. Concretely, a model of multimodal behavior for interactive social agents faces with the complex task of generating gestural scores given an analysis of the scene and an incremental estimation of the joint objectives aimed during the conversation. The objective of this thesis is to develop models of multimodal behavior that allow artificial agents to engage into a relevant co-verbal communication with a human partner. While the immense majority of the works in the field of human-agent interaction (HAI) is scripted using ruled-based models, our approach relies on the training of statistical models from tracks collected during exemplary interactions, demonstrated by human trainers. In this context, we introduce "sensorimotor" models of behavior, which perform at the same time the recognition of joint cognitive states and the generation of the social signals in an incremental way. In particular, the proposed models of behavior have to estimate the current unit of interaction ( IU) in which the interlocutors are jointly committed and to predict the co-verbal behavior of its human trainer given the behavior of the interlocutor(s). The proposed models are all graphical models, i.e. Hidden Markov Models (HMM) and Dynamic Bayesian Networks (DBN). The models were trained and evaluated - in particular compared with classic classifiers - using datasets collected during two different interactions. Both interactions were carefully designed so as to collect, in a minimum amount of time, a sufficient number of exemplars of mutual attention and multimodal deixis of objects and places. Our contributions are completed by original methods for the interpretation and comparative evaluation of the properties of the proposed models. By comparing the output of the models with the original scores, we show that the HMM, thanks to its properties of sequential modeling, outperforms the simple classifiers in term of performances. The semi-Markovian models (HSMM) further improves the estimation of sensorimotor states thanks to duration modeling. Finally, thanks to a rich structure of dependency between variables learnt from the data, the DBN has the most convincing performances and demonstrates both the best performance and the most faithful multimodal coordination to the original multimodal events.L'interaction face-à-face représente une des formes les plus fondamentales de la communication humaine. C'est un système dynamique multimodal et couplé – impliquant non seulement la parole mais de nombreux segments du corps dont le regard, l'orientation de la tête, du buste et du corps, les gestes faciaux et brachio-manuels, etc – d'une grande complexité. La compréhension et la modélisation de ce type de communication est une étape cruciale dans le processus de la conception des agents interactifs capables d'engager des conversations crédibles avec des partenaires humains. Concrètement, un modèle de comportement multimodal destiné aux agents sociaux interactifs fait face à la tâche complexe de générer un comportement multimodal étant donné une analyse de la scène et une estimation incrémentale des objectifs conjoints visés au cours de la conversation. L'objectif de cette thèse est de développer des modèles de comportement multimodal pour permettre aux agents artificiels de mener une communication co-verbale pertinente avec un partenaire humain. Alors que l'immense majorité des travaux dans le domaine de l'interaction humain-agent repose essentiellement sur des modèles à base de règles, notre approche se base sur la modélisation statistique des interactions sociales à partir de traces collectées lors d'interactions exemplaires, démontrées par des tuteurs humains. Dans ce cadre, nous introduisons des modèles de comportement dits "sensori-moteurs", qui permettent à la fois la reconnaissance des états cognitifs conjoints et la génération des signaux sociaux d'une manière incrémentale. En particulier, les modèles de comportement proposés ont pour objectif d'estimer l'unité d'interaction (IU) dans laquelle sont engagés de manière conjointe les interlocuteurs et de générer le comportement co-verbal du tuteur humain étant donné le comportement observé de son/ses interlocuteur(s). Les modèles proposés sont principalement des modèles probabilistes graphiques qui se basent sur les chaînes de markov cachés (HMM) et les réseaux bayésiens dynamiques (DBN). Les modèles ont été appris et évalués – notamment comparés à des classifieurs classiques – sur des jeux de données collectés lors de deux différentes interactions face-à-face. Les deux interactions ont été soigneusement conçues de manière à collecter, en un minimum de temps, un nombre suffisant d'exemplaires de gestion de l'attention mutuelle et de deixis multimodale d'objets et de lieux. Nos contributions sont complétées par des méthodes originales d'interprétation et d'évaluation des propriétés des modèles proposés. En comparant tous les modèles avec les vraies traces d'interactions, les résultats montrent que le modèle HMM, grâce à ses propriétés de modélisation séquentielle, dépasse les simples classifieurs en terme de performances. Les modèles semi-markoviens (HSMM) ont été également testé et ont abouti à un meilleur bouclage sensori-moteur grâce à leurs propriétés de modélisation des durées des états. Enfin, grâce à une structure de dépendances riche apprise à partir des données, le modèle DBN a les performances les plus probantes et démontre en outre la coordination multimodale la plus fidèle aux évènements multimodaux originaux

Apprentissage statistique de modèles de comportement multimodal pour les agents conversationnels interactifs

Face to face interaction is one of the most fundamental forms of human communication. It is a complex multimodal and coupled dynamic system involving not only speech but of numerous segments of the body among which gaze, the orientation of the head, the chest and the body, the facial and brachiomanual movements, etc. The understanding and the modeling of this type of communication is a crucial stage for designing interactive agents capable of committing (hiring) credible conversations with human partners. Concretely, a model of multimodal behavior for interactive social agents faces with the complex task of generating gestural scores given an analysis of the scene and an incremental estimation of the joint objectives aimed during the conversation. The objective of this thesis is to develop models of multimodal behavior that allow artificial agents to engage into a relevant co-verbal communication with a human partner. While the immense majority of the works in the field of human-agent interaction (HAI) is scripted using ruled-based models, our approach relies on the training of statistical models from tracks collected during exemplary interactions, demonstrated by human trainers. In this context, we introduce "sensorimotor" models of behavior, which perform at the same time the recognition of joint cognitive states and the generation of the social signals in an incremental way. In particular, the proposed models of behavior have to estimate the current unit of interaction ( IU) in which the interlocutors are jointly committed and to predict the co-verbal behavior of its human trainer given the behavior of the interlocutor(s). The proposed models are all graphical models, i.e. Hidden Markov Models (HMM) and Dynamic Bayesian Networks (DBN). The models were trained and evaluated - in particular compared with classic classifiers - using datasets collected during two different interactions. Both interactions were carefully designed so as to collect, in a minimum amount of time, a sufficient number of exemplars of mutual attention and multimodal deixis of objects and places. Our contributions are completed by original methods for the interpretation and comparative evaluation of the properties of the proposed models. By comparing the output of the models with the original scores, we show that the HMM, thanks to its properties of sequential modeling, outperforms the simple classifiers in term of performances. The semi-Markovian models (HSMM) further improves the estimation of sensorimotor states thanks to duration modeling. Finally, thanks to a rich structure of dependency between variables learnt from the data, the DBN has the most convincing performances and demonstrates both the best performance and the most faithful multimodal coordination to the original multimodal events.L'interaction face-à-face représente une des formes les plus fondamentales de la communication humaine. C'est un système dynamique multimodal et couplé – impliquant non seulement la parole mais de nombreux segments du corps dont le regard, l'orientation de la tête, du buste et du corps, les gestes faciaux et brachio-manuels, etc – d'une grande complexité. La compréhension et la modélisation de ce type de communication est une étape cruciale dans le processus de la conception des agents interactifs capables d'engager des conversations crédibles avec des partenaires humains. Concrètement, un modèle de comportement multimodal destiné aux agents sociaux interactifs fait face à la tâche complexe de générer un comportement multimodal étant donné une analyse de la scène et une estimation incrémentale des objectifs conjoints visés au cours de la conversation. L'objectif de cette thèse est de développer des modèles de comportement multimodal pour permettre aux agents artificiels de mener une communication co-verbale pertinente avec un partenaire humain. Alors que l'immense majorité des travaux dans le domaine de l'interaction humain-agent repose essentiellement sur des modèles à base de règles, notre approche se base sur la modélisation statistique des interactions sociales à partir de traces collectées lors d'interactions exemplaires, démontrées par des tuteurs humains. Dans ce cadre, nous introduisons des modèles de comportement dits "sensori-moteurs", qui permettent à la fois la reconnaissance des états cognitifs conjoints et la génération des signaux sociaux d'une manière incrémentale. En particulier, les modèles de comportement proposés ont pour objectif d'estimer l'unité d'interaction (IU) dans laquelle sont engagés de manière conjointe les interlocuteurs et de générer le comportement co-verbal du tuteur humain étant donné le comportement observé de son/ses interlocuteur(s). Les modèles proposés sont principalement des modèles probabilistes graphiques qui se basent sur les chaînes de markov cachés (HMM) et les réseaux bayésiens dynamiques (DBN). Les modèles ont été appris et évalués – notamment comparés à des classifieurs classiques – sur des jeux de données collectés lors de deux différentes interactions face-à-face. Les deux interactions ont été soigneusement conçues de manière à collecter, en un minimum de temps, un nombre suffisant d'exemplaires de gestion de l'attention mutuelle et de deixis multimodale d'objets et de lieux. Nos contributions sont complétées par des méthodes originales d'interprétation et d'évaluation des propriétés des modèles proposés. En comparant tous les modèles avec les vraies traces d'interactions, les résultats montrent que le modèle HMM, grâce à ses propriétés de modélisation séquentielle, dépasse les simples classifieurs en terme de performances. Les modèles semi-markoviens (HSMM) ont été également testé et ont abouti à un meilleur bouclage sensori-moteur grâce à leurs propriétés de modélisation des durées des états. Enfin, grâce à une structure de dépendances riche apprise à partir des données, le modèle DBN a les performances les plus probantes et démontre en outre la coordination multimodale la plus fidèle aux évènements multimodaux originaux

Composition adaptative de services pour l’Internet des objets

L'internet des objets (IoT) est une technologie émergente, qui représente l’intégration ou la fusion de l'espace d'information et de l'espace physique. Au fil du temps, l’IoT est devenu de plus en plus populaire dans plusieurs endroits. Afin de répondre à la demande compliquée des utilisateurs, la plupart des appareils IoT ne fonctionnent pas seuls, une composition de services multiples doit être effectuée et elle est définie comme la composition de services. Pour des raisons de conductivités, pannes, batterie, charge et autres, la disponibilité des services IoT est imprévisible. Cette imprévisibilité de la disponibilité et l'évolution dynamique des besoins des utilisateurs, font que la composition du service doit gérer cette dynamique et s'adapter à de nouvelles configurations non prévues à la conception. La composition adaptative des services consiste à modifier le système pour lui permettre de se comporter correctement dans différents contextes afin d'assurer la disponibilité des services offerts, afin de répondre à une situation non prévue lors de la phase de conception. De ce fait, notre objectif est de proposer une méthode de composition de services IoT adaptative et sensible au contexte afin de satisfaire les besoins des utilisateurs. Dans notre travail, nous considérons que la croissance de l'Internet des Objets (IoT) implique la disponibilité d'un très grand nombre de services qui peuvent être similaires ou identiques, la gestion de la Qualité de Service (QoS) permet de différencier un service d'un autre. La composition de services offre la possibilité d'effectuer des activités complexes en combinant les fonctionnalités de plusieurs services au sein d'un seul processus. Très peu de travaux ont présenté une solution de composition de services adaptative gérant les attributs de QoS, en plus dans le domaine de la santé, qui est l'un des plus difficiles et délicats car il concerne la précieuse vie humaine. Dans cette thèse, nous présenterons une approche de composition de services adaptative sensible aux QoS basée sur un algorithme génétique multipopulation dans un environnement Fog-IoT. Notre algorithme P-MPGA implémente une méthode de sélection intelligente qui nous permet de sélectionner le bon service. En outre, PMPGA implémente un système de surveillance qui surveille les services pour gérer le changement dynamique des environnements IoT. Les résultats expérimentaux montrent les excellents résultats du P-MPGA en termes de temps d'exécution, de valeurs de fitness moyennes et de rapport temps d'exécution / meilleure valeur de fitness malgré l'augmentation de la population. P-MPGA peut rapidement obtenir un service composite satisfaisant les besoins de QoS de l'utilisateur, ce qui le rend adapté à un environnement IoT à grande échelle

Optimisation multi-objective des problèmes combinatoires : application à la génération des horaires d'examens finaux

Les problèmes d'optimisation combinatoire discrète (POCD) sont des problèmes très difficiles à résoudre. La nature discrète des variables forme un espace non dérivable qui rendent inutiles les techniques basées sur le gradient. Le problème de la production des horaires est représentatif d'une famille de POCD. Il renferme un ensemble d'objectifs conflictuels, un ensemble de contraintes non linéaires et un nombre de combinaisons potentielles très élevé. De plus, un certain nombre d'institutions académiques produisent encore des horaires d'une manière manuelle ou semi-automatique. L'automatisation peut donc éliminer les aspects déplaisants de cette tâche. Ce travail porte sur l'optimisation combinatoire par algorithmes évolutifs et, plus précisément, sur les problèmes de création d'horaires des examens finaux (PCHE). Dans un premier temps, les POCD mono-critère et multi-critères sont décrits d'une manière formelle afin d'en établir les principales caractéristiques. Les méthodes qui ont été proposées pour la résolution d'un PCHE, tels que le recuit simulé, la fouille Tabou et les algorithmes génétiques ont fait l'objet d'une revue de la littérature. Afin de faire un lien avec les méthodes de résolutions multi-critères, il sera prouvé qu'un PCHE est lui aussi un POCD multi-critères. Jusqu'à maintenant, ce sont principalement les modèles mono-critères qui sont utilisés lors de la résolution de ce type de problème. Ainsi, l'étude qui a été entreprise dans ce travail s'est concentrée sur les différentes techniques d'optimisation multi-critères envisagables pour la résolution d'un PCHE. Parmi les algorithmes évolutifs multi-critères les plus populaires, ceux de la famille NSGA de Deb et du SPEA de Zitzler ont été susceptibles d'obtenir de bons résultats. Ces techniques, vues en détail dans ce travail, ont été implantées sur un problème de création des horaires d'examens finaux. Suite à une première série d'expérimentations, les algorithmes NSGA-II et SPEA-II se sont montrés inappropriés pour la résolution d'un PCHE à cause de la gestion des contraintes et à la diversité des solutions. L'ensemble des problèmes rencontrés lors de l'utilisation de ces algorithmes a permis la conception d'une nouvelle approche hybride. Cet algorithme évolutif hybride possède une structure semblable à celle de l'algorithme SPEA-II de Zitzler. La différence majeure est le remplacement de l'opérateur de croisement par deux fouilles Tabou. La première fouille est appliquée afin de réduire les violations de contraintes alors que la deuxième fouille Tabou permet l'optimisation de l'étalement temporel des examens des élèves. Les résultats obtenus avec l'ensemble des bases de données publiques ont démontré qu'en moyenne l'algorithme développé fonctionne très bien et présente un bon potentiel pour la réalisation de travaux futurs

Routage et survivabilité en conception topologique de réseaux à haut débit

Définitions et concepts de base -- Éléments de problématique -- Objectifs de recherche -- Résultats escomptés -- Conception topologique des réseaux distribués -- Paramètres fondamentaux -- Formulation et analyse du problème -- Décomposition des sous-problèmes -- Analyse des techniques de résolution -- Contributions spécifiques -- Routage des paquets dans les réseaux distribués -- Routage et modèle OSI -- Caractérisation des procédures de routage -- Nouvelle approche de routage basée sur les attributs de liaisons -- Caractéristiques des réseaux à haut débit -- Routage à haut débit -- Résultats de mise en oeuvre -- Analyse des résultats et conclusion -- Intégration des aspects de routage et de survivabilité

Modélisation mathématique, simulation et optimisation des réseaux de transport

Les recherches sur différents phénomènes physiques ou sur différents comportements sociaux ont motivé les chercheurs à développer des algorithmes permettant de résoudre des problèmes d'optimisations combinatoires complexes. Ces algorithmes d'optimisation constituent un sujet de recherche de plus en plus important tant du point de vue théorique que pratique. Ce projet traite le comportement des différents algorithmes sur des problèmes non déterministes polynomiaux difficiles, tel que le problème du voyageur de commerce. Notre objectif vise l'implantation et l'étude de l'efficacité de ces algorithmes dans un contexte d'optimisation difficile. Cette contribution complémente les travaux de recherches sur les études des métaheuristiques et elle peut s'appliquer tant aux problèmes académiques qu'aux problèmes réels

Gestion de la sécurité des réseaux à l'aide d'un service innovant de Cloud Based Firewall

Cloud computing has evolved over the last decade from a simple storage service for more complex services, offering the software as a service (SaaS) platforms as a service (PaaS) and most recently the security as a service (SECaaS). In our work, we started with the simple idea to use the resources offered by the Cloud with a low financial cost to propose new architectures of security service. The security of virtual environments is a major issue for the deployment of the use of the Cloud. Unfortunately, these environments are composed of a set of already existing technologies used in a new way, many security solutions are only traditional reconditioned solutions to solve the Cloud and virtual networks security issues. The work done in this thesis is a response to the resource limitations of physical security devices such as firewalls and propose new security architectures consist of management of network security in the cloud-based services following Security as a Service model and propose novel architectures for managing these services. We took the initiative to propose a completely Cloud-Based architecture. The latter allows a cloud provider to provide firewalling service to its customers. It asks them to subscribe to the offer by guaranteeing treatment (analysis) with a capacity of bandwidth traffic with functional filtering rules and other proposed by the subscriber. The results demonstrated the ability of our architecture to manage and cope with network DDoS attacks and to increase analytical capacity by distributing traffic over multiple virtualLe Cloud Computing a évolué au cours de la dernière décennie, passant d’un simple service de stockage à des services plus complexes, en proposant le software comme service (SaaS), les plateformes comme service(PaaS) et très récemment la sécurité comme service (SECaaS).Dans notre travail, nous sommes partis de l'idée simple d'utiliser les ressources offertes par le Cloud avec un faible coût financier pour proposer des nouvelles architectures de service de sécurité.La sécurité des environnements virtuels est un sujet majeur pour le déploiement de l’usage du Cloud. Malheureusement, comme ces environnements sont composés d’un ensemble de technologies déjà existantes, utilisées d'une manière nouvelle, de nombreuses solutions sécuritaires ne sont que des solutions traditionnelles reconditionnées à la problématique Cloud et réseaux virtuels.Le travail effectué dans le cadre de cette thèse vient répondre à la limitation de ressources des équipements physiques de sécurité comme les Firewalls et a pour objectif de proposer de nouveaux services de sécurité composés d’architectures de gestion de la sécurité des réseaux dans le Cloud basé sur le modèle Security as a Service, ainsi que des architectures de management de ces services.Nous avons pris l’initiative de proposer une architecture totalement Cloud-Based. Cette dernière, permet à un Cloud provider de proposer un service de Firewalling à ses clients. Celui-ci leur demande de s’abonner à l’offre en leur garantissant le traitement (analyse) d’une capacité de bande-passante de trafic avec des règles de filtrages fonctionnelles et d’autres proposées par l’abonné.Les résultats obtenus ont démontré les aptitudes de nos architectures à gérer et à faire face à des attaques réseaux de type DDoS et à augmenter la capacité d’analyse en distribuant le trafic sur plusieurs pare-feu virtuels

Routage multi-chemin basé sur la fiabilité des routes dans les réseaux mobiles Ad Hoc

La prolifération des unités mobiles de calcul et de communication (comme: les téléphones cellulaires et les assistants PDA) et l'accroissement de la popularité des applications multimédia rendent le support de la qualité de service (QoS) dans les réseaux sans fil en général et les MANET en particulier une tâche incontournable. C'est pourquoi, différents protocoles de QoS ont été développés dans la littérature pour les réseaux ad hoc, permettant de garantir les ressources réseaux comme la bande passante et le délai de transfert. Par ailleurs, assurer la QoS dans un environnement mobile comme celui des réseaux ad hoc est très délicat. Cependant, la mobilité aléatoire et imprévue peut nuire la continuité de service et la rendre extrêmement difficile voir même impossible. Il est légitime donc, de considérer la fiabilité des routes comme étant la contrainte de QoS principale à prendre en compte. C'est dans ce contexte qu'une nouvelle métrique de QoS a été développée qui est basée sur le concept de confiance (Trust). Cette métrique est nommée la stabilité bout en bout. Dans cet ouvrage, un nouveau protocole de routage multi-chemin basé essentiellement sur la fiabilité des routes sera présenté. Il s'agit du protocole MSBR (Multipath Stability Based Routing). Ce protocole de QoS a pour but de rechercher et maintenir les routes disjointes qui satisfont le degré de stabilité et la bande passante exigés par l'application. L'étude de simulation menée a démontré la fiabilité et la stabilité des routes découvertes par MSBR par rapport à d'autre protocole au mieux comme ABR. L'étude a prouvé également l'efficacité du protocole MSBR tant au niveau taux de réception de donnée que de délai de transfert bout en bout, spécialement dans les conditions de trafics denses et de débits élevés