Apprentissage statistique de modèles de comportement multimodal pour les agents conversationnels interactifs

Face to face interaction is one of the most fundamental forms of human communication. It is a complex multimodal and coupled dynamic system involving not only speech but of numerous segments of the body among which gaze, the orientation of the head, the chest and the body, the facial and brachiomanual movements, etc. The understanding and the modeling of this type of communication is a crucial stage for designing interactive agents capable of committing (hiring) credible conversations with human partners. Concretely, a model of multimodal behavior for interactive social agents faces with the complex task of generating gestural scores given an analysis of the scene and an incremental estimation of the joint objectives aimed during the conversation. The objective of this thesis is to develop models of multimodal behavior that allow artificial agents to engage into a relevant co-verbal communication with a human partner. While the immense majority of the works in the field of human-agent interaction (HAI) is scripted using ruled-based models, our approach relies on the training of statistical models from tracks collected during exemplary interactions, demonstrated by human trainers. In this context, we introduce "sensorimotor" models of behavior, which perform at the same time the recognition of joint cognitive states and the generation of the social signals in an incremental way. In particular, the proposed models of behavior have to estimate the current unit of interaction ( IU) in which the interlocutors are jointly committed and to predict the co-verbal behavior of its human trainer given the behavior of the interlocutor(s). The proposed models are all graphical models, i.e. Hidden Markov Models (HMM) and Dynamic Bayesian Networks (DBN). The models were trained and evaluated - in particular compared with classic classifiers - using datasets collected during two different interactions. Both interactions were carefully designed so as to collect, in a minimum amount of time, a sufficient number of exemplars of mutual attention and multimodal deixis of objects and places. Our contributions are completed by original methods for the interpretation and comparative evaluation of the properties of the proposed models. By comparing the output of the models with the original scores, we show that the HMM, thanks to its properties of sequential modeling, outperforms the simple classifiers in term of performances. The semi-Markovian models (HSMM) further improves the estimation of sensorimotor states thanks to duration modeling. Finally, thanks to a rich structure of dependency between variables learnt from the data, the DBN has the most convincing performances and demonstrates both the best performance and the most faithful multimodal coordination to the original multimodal events.L'interaction face-à-face représente une des formes les plus fondamentales de la communication humaine. C'est un système dynamique multimodal et couplé – impliquant non seulement la parole mais de nombreux segments du corps dont le regard, l'orientation de la tête, du buste et du corps, les gestes faciaux et brachio-manuels, etc – d'une grande complexité. La compréhension et la modélisation de ce type de communication est une étape cruciale dans le processus de la conception des agents interactifs capables d'engager des conversations crédibles avec des partenaires humains. Concrètement, un modèle de comportement multimodal destiné aux agents sociaux interactifs fait face à la tâche complexe de générer un comportement multimodal étant donné une analyse de la scène et une estimation incrémentale des objectifs conjoints visés au cours de la conversation. L'objectif de cette thèse est de développer des modèles de comportement multimodal pour permettre aux agents artificiels de mener une communication co-verbale pertinente avec un partenaire humain. Alors que l'immense majorité des travaux dans le domaine de l'interaction humain-agent repose essentiellement sur des modèles à base de règles, notre approche se base sur la modélisation statistique des interactions sociales à partir de traces collectées lors d'interactions exemplaires, démontrées par des tuteurs humains. Dans ce cadre, nous introduisons des modèles de comportement dits "sensori-moteurs", qui permettent à la fois la reconnaissance des états cognitifs conjoints et la génération des signaux sociaux d'une manière incrémentale. En particulier, les modèles de comportement proposés ont pour objectif d'estimer l'unité d'interaction (IU) dans laquelle sont engagés de manière conjointe les interlocuteurs et de générer le comportement co-verbal du tuteur humain étant donné le comportement observé de son/ses interlocuteur(s). Les modèles proposés sont principalement des modèles probabilistes graphiques qui se basent sur les chaînes de markov cachés (HMM) et les réseaux bayésiens dynamiques (DBN). Les modèles ont été appris et évalués – notamment comparés à des classifieurs classiques – sur des jeux de données collectés lors de deux différentes interactions face-à-face. Les deux interactions ont été soigneusement conçues de manière à collecter, en un minimum de temps, un nombre suffisant d'exemplaires de gestion de l'attention mutuelle et de deixis multimodale d'objets et de lieux. Nos contributions sont complétées par des méthodes originales d'interprétation et d'évaluation des propriétés des modèles proposés. En comparant tous les modèles avec les vraies traces d'interactions, les résultats montrent que le modèle HMM, grâce à ses propriétés de modélisation séquentielle, dépasse les simples classifieurs en terme de performances. Les modèles semi-markoviens (HSMM) ont été également testé et ont abouti à un meilleur bouclage sensori-moteur grâce à leurs propriétés de modélisation des durées des états. Enfin, grâce à une structure de dépendances riche apprise à partir des données, le modèle DBN a les performances les plus probantes et démontre en outre la coordination multimodale la plus fidèle aux évènements multimodaux originaux

Apprentissage statistique de modèles de comportement multimodal pour les agents conversationnels interactifs

Face to face interaction is one of the most fundamental forms of human communication. It is a complex multimodal and coupled dynamic system involving not only speech but of numerous segments of the body among which gaze, the orientation of the head, the chest and the body, the facial and brachiomanual movements, etc. The understanding and the modeling of this type of communication is a crucial stage for designing interactive agents capable of committing (hiring) credible conversations with human partners. Concretely, a model of multimodal behavior for interactive social agents faces with the complex task of generating gestural scores given an analysis of the scene and an incremental estimation of the joint objectives aimed during the conversation. The objective of this thesis is to develop models of multimodal behavior that allow artificial agents to engage into a relevant co-verbal communication with a human partner. While the immense majority of the works in the field of human-agent interaction (HAI) is scripted using ruled-based models, our approach relies on the training of statistical models from tracks collected during exemplary interactions, demonstrated by human trainers. In this context, we introduce "sensorimotor" models of behavior, which perform at the same time the recognition of joint cognitive states and the generation of the social signals in an incremental way. In particular, the proposed models of behavior have to estimate the current unit of interaction ( IU) in which the interlocutors are jointly committed and to predict the co-verbal behavior of its human trainer given the behavior of the interlocutor(s). The proposed models are all graphical models, i.e. Hidden Markov Models (HMM) and Dynamic Bayesian Networks (DBN). The models were trained and evaluated - in particular compared with classic classifiers - using datasets collected during two different interactions. Both interactions were carefully designed so as to collect, in a minimum amount of time, a sufficient number of exemplars of mutual attention and multimodal deixis of objects and places. Our contributions are completed by original methods for the interpretation and comparative evaluation of the properties of the proposed models. By comparing the output of the models with the original scores, we show that the HMM, thanks to its properties of sequential modeling, outperforms the simple classifiers in term of performances. The semi-Markovian models (HSMM) further improves the estimation of sensorimotor states thanks to duration modeling. Finally, thanks to a rich structure of dependency between variables learnt from the data, the DBN has the most convincing performances and demonstrates both the best performance and the most faithful multimodal coordination to the original multimodal events.L'interaction face-à-face représente une des formes les plus fondamentales de la communication humaine. C'est un système dynamique multimodal et couplé – impliquant non seulement la parole mais de nombreux segments du corps dont le regard, l'orientation de la tête, du buste et du corps, les gestes faciaux et brachio-manuels, etc – d'une grande complexité. La compréhension et la modélisation de ce type de communication est une étape cruciale dans le processus de la conception des agents interactifs capables d'engager des conversations crédibles avec des partenaires humains. Concrètement, un modèle de comportement multimodal destiné aux agents sociaux interactifs fait face à la tâche complexe de générer un comportement multimodal étant donné une analyse de la scène et une estimation incrémentale des objectifs conjoints visés au cours de la conversation. L'objectif de cette thèse est de développer des modèles de comportement multimodal pour permettre aux agents artificiels de mener une communication co-verbale pertinente avec un partenaire humain. Alors que l'immense majorité des travaux dans le domaine de l'interaction humain-agent repose essentiellement sur des modèles à base de règles, notre approche se base sur la modélisation statistique des interactions sociales à partir de traces collectées lors d'interactions exemplaires, démontrées par des tuteurs humains. Dans ce cadre, nous introduisons des modèles de comportement dits "sensori-moteurs", qui permettent à la fois la reconnaissance des états cognitifs conjoints et la génération des signaux sociaux d'une manière incrémentale. En particulier, les modèles de comportement proposés ont pour objectif d'estimer l'unité d'interaction (IU) dans laquelle sont engagés de manière conjointe les interlocuteurs et de générer le comportement co-verbal du tuteur humain étant donné le comportement observé de son/ses interlocuteur(s). Les modèles proposés sont principalement des modèles probabilistes graphiques qui se basent sur les chaînes de markov cachés (HMM) et les réseaux bayésiens dynamiques (DBN). Les modèles ont été appris et évalués – notamment comparés à des classifieurs classiques – sur des jeux de données collectés lors de deux différentes interactions face-à-face. Les deux interactions ont été soigneusement conçues de manière à collecter, en un minimum de temps, un nombre suffisant d'exemplaires de gestion de l'attention mutuelle et de deixis multimodale d'objets et de lieux. Nos contributions sont complétées par des méthodes originales d'interprétation et d'évaluation des propriétés des modèles proposés. En comparant tous les modèles avec les vraies traces d'interactions, les résultats montrent que le modèle HMM, grâce à ses propriétés de modélisation séquentielle, dépasse les simples classifieurs en terme de performances. Les modèles semi-markoviens (HSMM) ont été également testé et ont abouti à un meilleur bouclage sensori-moteur grâce à leurs propriétés de modélisation des durées des états. Enfin, grâce à une structure de dépendances riche apprise à partir des données, le modèle DBN a les performances les plus probantes et démontre en outre la coordination multimodale la plus fidèle aux évènements multimodaux originaux

L’utilité des médias sociaux pour la surveillance épidémiologique : une étude de cas de Twitter pour la surveillance de la maladie de Lyme

La maladie de Lyme est la maladie transmise par tiques la plus répandue dans l’hémisphère du Nord. Le système de surveillance des cas humains de la maladie de Lyme est basé sur un système passif des cas par les professionnels de santé qui présente plusieurs failles rendant la surveillance incomplète. Avec l’expansion de l’usage de l’internet et des réseaux sociaux, des chercheurs proposent l’utilisation des données provenant des réseaux sociaux comme outil de surveillance, cette approche est appelée l’infodémiologie. Cette approche a été testée dans plusieurs études avec succès. L’objectif de ce mémoire est de construire une base de données à partir des tweets auto-déclarés, des tweets classifiés et étiquetés comme un cas potentiel de Lyme ou non à l’aide des modèles de classificateurs basés sur des transformateurs comme, BERTweet, DistilBERT et ALBERT. Pour ce faire, un total de 20 000 tweets en anglais en lien avec la maladie de Lyme sans restriction géographique de 2010 à 2022 a été collecté avec la plateforme API twitter. Nous avons procédé au nettoyage la base de données. Ensuite les données nettoyées ont été classifiées en binaire comme cas potentiels ou non de la maladie de Lyme sur la base des symptômes de la maladie comme mots-clés. À l’aide des modèles de classification basés sur les transformateurs, la classification automatique des données est évaluée en premier sans, et ensuite avec des émojis convertis en mots. Nous avons trouvé que les modèles de classification basés sur les transformateurs performent mieux que les modèles de classification classiques comme TF-IDF, Naive Bayes et autres ; surtout le modèle BERTweet a surpassé tous les modèles évalués avec un score F1 moyen de 89,3%, une précision de 97%, une exactitude de 90% et un rappel de 82,6%. Aussi l’incorporation des émojis dans notre base de données améliore la performance de tous les modèles d’au moins 5% mais BERTweet a une fois de plus le mieux performé avec une augmentation de tous les paramètres évalués. Les tweets en anglais sont majoritairement en provenance des États-Unis et pour contrecarrer cette prédominance, les futurs travaux devraient collecter des tweets de toutes langues en lien avec la maladie de Lyme surtout parce que les pays européens où la maladie de Lyme sont en émergence ne sont pas des pays anglophones.Lyme disease is the most common tick-borne disease in the Northern Hemisphere. The surveillance system for human cases of Lyme disease has several flaws which make the surveillance incomplete. Nowadays with the extensive use of internet and social networks, researchers propose the use of data from social networks as a surveillance tool, this approach is called Infodemiology. This approach has been successfully tested in several studies. The aim of this thesis is to build a database from self-reported tweets, capable of classifying a tweet as a potential case of Lyme or not using BERT transformer-based classifier models. A total of 20,000 English tweets related to Lyme disease without geographical restriction from 2010 to 2022 were collected with twitter API. Then these data were cleaned and manually classified by binary classification as potential Lyme cases or not using as keywords the symptoms of Lyme disease; Also, emojis have been converted into words and integrated. Using classification models based on BERT transformers, the labeling of data as disease-related or non-disease-related is evaluated first without, and then with emojis. Transformer-based classification models performed better than conventional classification models, especially the BERTweet model outperformed all evaluated models with an average F1 score of 89.3%, precision of 97%, accuracy of 90%, and recall of 82.6%. Also, the incorporation of emojis in our database improves the performance of all models by at least 5% but BERTweet once again performed best with an increase in all parameters evaluated. Tweets in English are mostly from the United States and to counteract this predominance, future work should collect tweets of all languages related to Lyme disease especially because the European countries where Lyme disease are emerging are not English-speaking countries

Perspectives d'avenir de la télévision traditionnelle à l'ère des nouveaux médias

Depuis 1995, Internet a tranquillement gagné sa place dans les foyers des Québécois jusqu'à faire partie prenante de leur vie quotidienne pour une grande majorité des cas. L'évolution d'Internet a entraîné avec elle la naissance des nouveaux médias. Ces derniers, en diffusant des contenus audiovisuels sur le web, s'immiscent dans le créneau de la télévision traditionnelle qui jusqu'à maintenant régnait en reine dans le domaine de l'audiovisuel. Suite à l'intégration des nouveaux médias dans les habitudes de consommation des téléspectateurs, de nombreux auteurs se sont lancés dans des pronostics apocalyptiques quant à l'avenir de la télévision traditionnelle. Nous avons ainsi tenté d'analyser ces discours prospectivistes publics à travers la méthode de recension des écrits afin de confirmer l'idée généralement reçue dans la littérature que les discours annonçant la mort de la télévision traditionnelle s'inscrivent dans une pensée déterministe. Plus précisément, nous avons formulé l'hypothèse que les discours prospectivistes prédisant la fin de la télévision traditionnelle cadrent dans la pensée déterministe et à l'opposé, que les discours prospectivistes prévoyant la survie de la télévision traditionnelle se rapprochent davantage de la pensée de la construction sociale des usages. À terme, notre hypothèse s'est avérée confirmée en partie seulement alors qu'une grande majorité des postulats sous-tendant les discours publics prospectivistes annonçant la survie de la télévision s'inscrivaient effectivement dans la construction sociale des usages, mais une telle tendance n'était pas aussi perceptible du côté des postulats sous-tendant les discours publics prospectivistes annonçant la mort de la télévision cadrant dans une pensée déterministe. \ud ______________________________________________________________________________ \ud MOTS-CLÉS DE L’AUTEUR : Télévision traditionnelle, nouveaux médias, Internet, déterminisme, construction sociale des usages

Les représentations de la participation sociale et l’intention d’intégrer des actions de cette nature au projet de retraite chez des personnes préretraitées et retraitées : cibler l’intervention en orientation

La présente étude tente de décrire les représentations de la participation sociale à la retraite ainsi que de prédire l’intention des personnes préretraitées et retraitées d’intégrer des actions de cette nature dans leur projet de retraite, et ce, en vue d’éventuellement mieux cibler l’intervention en orientation en fonction de cet enjeu. Selon la théorie du comportement planifié d’Ajzen, il est possible d’intervenir sur l’une ou l’autre des variables de l’intention comportementale pour modifier cette intention et, par le fait même, le comportement lui-même. Dans ce contexte, on pourrait envisager que les conseillères et conseillers d’orientation puissent intervenir pour stimuler l’intégration d’actions de participation sociale dans l’élaboration du projet de retraite des personnes en fin de carrière. Une telle démarche permettrait possiblement aux personnes retraitées d’être plus actives et impliquées personnellement et collectivement, ce qui s’harmonise au principe du vieillissement positif, actif et en santé mis de l’avant par diverses instances intéressées par ces questions

Modélisation des réactions émotionnelles dans un système tutoriel intelligent

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

Analyse de la détérioration de la forêt de la Cordillère de la Costa dans le sud chilien : géomatique et modélisation prospective appliquée sur une forêt patrimoniale de la province d'Osorno (41º 15’ - 41º 00’ latitude Sud)

SAn area of the Cordillera de la Costa is studied in southern Chile (41°15'S - 41°00'S), inhabited by ethnic Mapuche. There are still valuable temperate forests that have high conservation priority worldwide. But it is found, a continuous process of transformation related to the extraction of firewood, ranching, disruption of habitat conifer Fitzroya cupressoides, and deployment of forest plantations. Based on a multi-temporal satellite images classification, a spatial-temporal modeling was implemented to understand and predict the dynamics of the deterioration of the forest. Retrospective analysis revealed that between 1976 and 2008, the forest has been reduced 12,400 ha, a deforestation rate of 0.25% per annum. 20 models of deforestation are calibrated, 4 of them are selected to construct scenarios. The simulation predicted that reductions of forest between 2008 and 2040 could reach 13,000 ha. Two other models implemented simulate changes in habitat quality F. cupressoides. Scenarios predict an increase in the damaged surface; extrapolating from the learning period 2001-2008 during which the largest share of indigenous lands was legalized, compared with the previous period to 2001, predicts a significant increase in the damaged surface. In this way, it provides a tool to enhance the local management of environmental systems still not incorporated into the Chilean planning. Finally, the thesis also makes interesting comparisons between models that differ with respect to the calibration parameters.On étudie une zone de la Cordillère de la Costa au sud du Chili (41°15'S-41°00'S), habitée par l'ethnie Mapuche. Là, il y a encore des précieuses forêts tempérées, qui ont une haute priorité de conservation au plan mondial. Mais, il est constaté, un processus continu de transformation lié à l'extraction de bois de chauffe, l'élevage extensif, la perturbation de l'habitat du conifère Fitzroya cupressoides, et le déploiement des plantations forestières. Sur la base d'une classification multi-temporelle d'images satellite, une modélisation spatio-temporelle a été mise en œuvre pour comprendre et anticiper la dynamique de la détérioration de la forêt. L'analyse rétrospective révèle qu'entre 1976 et 2008, la forêt a été réduite 12400 ha, soit un taux de déforestation 0,25% par an. 20 modèles de déforestation sont calibrés, 4 d'entre eux sont sélectionnés pour construire des scénarios prospectifs. La simulation prévoit que la diminution de forêt entre 2008 et 2040 pourrait atteindre 13000 ha. Deux autres modèles mis en œuvre simulent l'évolution de la qualité de l'habitat de F. cupressoides. Les scénarios prévoient une augmentation de la surface détériorée ; l’extrapolation à partir de la période d’apprentissage 2001-2008 pendant laquelle la plus grande part de terres indigènes a été légalisée, par rapport à la période précédente à 2001, prédit une augmentation plus significative de la surface détériorée. On fournit un outil pour amplifier la gestion territoriale des systèmes environnementaux toujours non incorporée dans la planification chilienne. Enfin, la thèse met également d'intéressantes comparaisons entre modèles qui diffèrent par rapport aux paramètres de calibration

Importance économique du Port Autonome de Liège: rapport 2003

The Port Autonome de Liège, with its 26 kilometres of berths and several multimodal platforms, plays an important role in the Walloon and Belgian economy. This update paper gives an extensive overview of the economic importance and the latest developments of the Port Autonome de Liège, through revised results for the period 1997 - 2003. Focusing on the three major variables of value added, employment and investment, it also provides some information about the financial situation of a few vital sectors. An indication concerning the financial health of the companies studied is also provided, using the National Bank's bankruptcy prediction model. In addition, it includes figures of several cargo traffics and draws a picture of social developments in the Port Autonome de Liège. Annual accounts data from the Central Balance Sheet Office were used for the calculation of direct effects, the study of financial ratios and the analysis of the social balance sheet. The indirect effects of these port activities are estimated in terms of value added (VA) and employment, on the basis of data from the National Accounts Institute. In the Liège harbour's network, direct VA came to 1 billion euro and total VA - the sum of direct and indirect VA - to 2 billion euro in 2003. In the same year direct and total employment respectively attained 12,400 and 28,500 fulltime equivalents, while investment directly linked with the port fell to 121 million euro. The position of the Port Autonome de Liège as the second largest inland port in Europe is threatened by the planned closure of the Cockerill Sambre's blast furnaces. This will take place gradually but will be completed by 2009. 2,700 direct and 4,500 indirect jobs are concerned, as well as 8 million tonnes of transhipment. However new spaces will be opened up, which means that new businesses will be created in the port area. New development sites are under construction and will soon be operative. An overall restructuring of the Liège harbour's network is under way and constitutes the main challenge for the Port Autonome de Liège's authorities in the next five years. In spite of this climate of uncertainty, the Port Autonome de Liège is striving to establish itself as a major logistic centre in the region, able to add value to the goods passing through it, in order to withstand the climate of increasing regional and international competition.branch survey, maritime cluster, subcontracting, indirect effects, transport intermodality, public investments.