Apprentissage automatique pour l'assistance au suivi d'étudiants en ligne : approches classique et bio-inspirée

Cette thèse a pris la forme d’un partenariat entre l’équipe VORTEX du laboratoire de recherche en informatique IRIT et l’entreprise Andil, spécialisée dans l'informatique pour l'e-learning. Ce partenariat est conclu autour d’une thèse CIFRE, dispositif soutenu par l’État via l’ANRT. La doctorante, Angela Bovo, a travaillé au sein de l'Université Toulouse 1 Capitole. Un partenariat a également été noué avec l'institut de formation Juriscampus, qui nous a fourni des données issues de formations réelles pour nos expérimentations. Notre objectif principal avec ce projet était d'améliorer les possibilités de suivi des étudiants en cours de formation en ligne pour éviter leur décrochage ou leur échec. Nous avons proposé des possibilités de suivi par apprentissage automatique classique en utilisant comme données les traces d'activité des élèves. Nous avons également proposé, à partir de nos données, des indicateurs de comportement des apprenants. Avec Andil, nous avons conçu et réalisé une application web du nom de GIGA, déjà commercialisée et appréciée par les responsables de formation, qui implémente ces propositions et qui a servi de base à de premières expériences de partitionnement de données qui semblent permettre d'identifier les étudiants en difficulté ou en voie d'abandon. Ce projet a également été lancé avec l'objectif d'étudier les possibilités de l'algorithme d'apprentissage automatique inspiré du cerveau humain Hierarchical Temporal Memory (HTM), dans sa version Cortical Learning Algorithm (CLA), dont les hypothèses fondatrices sont bien adaptées à notre problème. Nous avons proposé des façons d'adapter HTM-CLA à des fonctionnalités d'apprentissage automatique classique (partitionnement, classification, régression, prédiction), afin de comparer ses résultats à ceux fournis par les autres algorithmes plus classiques ; mais aussi de l'utiliser comme base d'un moteur de génération de comportement, qui pourrait être utilisé pour créer un tuteur virtuel intelligent chargé de conseiller les apprenants en temps réel. Les implémentations ne sont toutefois pas encore parvenues à produire des résultats probants.This Ph.D. took the shape of a partnership between the VORTEX team in the computer science research laboratory IRIT and the company Andil, which specializes in software for e-learning. This partnership was concluded around a CIFRE Ph.D. This plan is subsidized by the French state through the ANRT. The Ph.D. student, Angela Bovo, worked in Université Toulouse 1 Capitole. Another partnership was built with the training institute Juriscampus, which gave us access to data from real trainings for our experiments. Our main goal for this project was to improve the possibilities for monitoring students in an e-learning training to keep them from falling behind or giving up. We proposed ways to do such monitoring with classical machine learning methods, with the logs from students' activity as data. We also proposed, using the same data, indicators of students' behaviour. With Andil, we designed and produced a web application called GIGA, already marketed and sold, and well appreciated by training managers, which implements our proposals and served as a basis for first clustering experiments which seem to identify well students who are failing or about to give up. Another goal of this project was to study the capacities of the human brain inspired machine learning algorithm Hierarchical Temporal Memory (HTM), in its Cortical Learning Algorithm (CLA) version, because its base hypotheses are well adapted to our problem. We proposed ways to adapt HTM-CLA to classical machine learning functionalities (clustering, classification, regression, prediction), in order to compare its results to those of more classical algorithms; but also to use it as a basis for a behaviour generation engine, which could be used to create an intelligent tutoring system tasked with advising students in real time. However, our implementations did not get to the point of conclusive results

Environnements virtuels émotionnellement intelligents

Les émotions ont été étudiées sous différents angles dans le domaine de l'interaction homme-machine y compris les systèmes tutoriel intelligents, les réseaux sociaux, les plateformes d’apprentissage en ligne et le e-commerce. Beaucoup d’efforts en informatique affective sont investis pour intégrer la dimension émotionnelle dans les environnements virtuels (tel que les jeux vidéo, les jeux sérieux et les environnements de réalité virtuelle ou de réalité augmenté). Toutefois, les stratégies utilisées dans les jeux sont encore empiriques et se basent sur des modèles psychologiques et sociologiques du joueur : Courbe d’apprentissage, gestion de la difficulté, degré d’efficience dans l’évaluation des performances et de la motivation du joueur. Or cette analyse peut malmener le système dans la mesure où les critères sont parfois trop vagues ou ne représentent pas les réelles compétences du joueur, ni ses vraies difficultés. Étant donné que la stratégie d’intervention est très influencée par la précision de l’analyse et l’évaluation du joueur, de nouveaux moyens sont nécessaires afin d’améliorer les processus décisionnels dans les jeux et d’organiser les stratégies d’adaptation de façon optimale. Ce travail de recherche vise à construire une nouvelle approche pour l’évaluation et le suivi du joueur. L’approche permet une modélisation du joueur plus efficace et moins intrusive par l’intégration des états mentaux et affectifs obtenus à partir de senseurs physiologiques (signaux cérébraux, Activité électrodermale, …) ou/et instruments optiques (Webcam, traceur de regard, …). Les états affectifs et mentaux tels que les émotions de base (basées sur les expressions faciales), l’état d’engagement, de motivation et d’attention sont les plus visés dans cette recherche. Afin de soutenir l’adaptation dans les jeux, des modèles des émotions et de la motivation du joueur basé sur ces indicateurs mentaux et affectifs, ont été développés. Nous avons implémenté cette approche en développant un système sous forme d’une architecture modulaire qui permet l’adaptation dans les environnements virtuels selon les paramètres affectifs du joueur détectés en temps-réel par des techniques d’intelligence artificielle.Emotions were studied from different angles in the field of human-machine interaction including intelligent tutorial systems, social networks, online learning platforms and e-commerce. Much effort in affective computing are invested to integrate the emotional dimension in virtual environments (such as video games, serious games and virtual reality environments or augmented reality). However, the strategies used in games are still empirical and are based on psychological and sociological models of the player: Learning Curve, trouble management, degree of efficiency in the evaluation of performance and motivation of the player. But this analysis can mislead the system to the extent that the criteria are sometimes too vague and do not represent the actual skills of the player, nor his real difficulties. Since the intervention strategy is influenced by the accuracy of the analysis and evaluation of the player, new ways are needed to improve decision-making in games and organizing adaptation strategies in optimal way. This research aims to build a new approach to the evaluation and monitoring of the player. The approach enables more effective and less intrusive player modeling through the integration of mental and emotional states obtained from physiological sensors (brain signals, electro-dermal activity, ...) or/and optical instruments (Webcam, eye-tracker, ...). The emotional and mental states such as basic emotions (based on facial expressions), the states of engagement, motivation and attention are the most targeted in this research. In order to support adaptation in games, models of emotions and motivation of the player based on these mental and emotional indicators, have been developed. We have implemented this approach by developing a system in the form of a modular architecture that allows adaptation in virtual environments according to the player's emotional parameters detected in real time by artificial intelligence methods

Représentations redondantes et hiérarchiques pour l'archivage et la compression de scènes sonores

L'objet de cette thèse est l'analyse et le traitement automatique de grands volumes de données audio. Plus particulièrement, on s'intéresse à l'archivage, tâche qui regroupe, au moins, deux problématiques: la compression des données, et l'indexation du contenu de celles-ci. Ces deux problématiques définissent chacune des objectifs, parfois concurrents, dont la prise en compte simultanée s'avère donc difficile. Au centre de cette thèse, il y a donc la volonté de construire un cadre cohérent à la fois pour la compression et pour l'indexation d'archives sonores. Les représentations parcimonieuses de signaux dans des dictionnaires redondants ont récemment montré leur capacité à remplir une telle fonction. Leurs propriétés ainsi que les méthodes et algorithmes permettant de les obtenir sont donc étudiés dans une première partie de cette thèse. Le cadre applicatif relativement contraignant (volume des données) va nous amener à choisir parmi ces derniers des algorithmes itératifs, appelés également gloutons. Une première contribution de cette thèse consiste en la proposition de variantes du célèbre Matching Pursuit basées sur un sous-échantillonnage aléatoire et dynamique de dictionnaires. L'adaptation au cas de dictionnaires temps-fréquence structurés (union de bases de cosinus locaux) nous permet d'espérer une amélioration significative des performances en compression de scènes sonores. Ces nouveaux algorithmes s'accompagnent d'une modélisation statistique originale des propriétés de convergence usant d'outils empruntés à la théorie des valeurs extrêmes. Les autres contributions de cette thèse s'attaquent au second membre du problème d'archivage: l'indexation. Le même cadre est cette fois-ci envisagé pour mettre à jour les différents niveaux de structuration des données. Au premier plan, la détection de redondances et répétitions. A grande échelle, un système robuste de détection de motifs récurrents dans un flux radiophonique par comparaison d'empreintes est proposé. Ses performances comparatives sur une campagne d'évaluation du projet QUAERO confirment la pertinence de cette approche. L'exploitation des structures pour un contexte autre que la compression est également envisagé. Nous proposons en particulier une application à la séparation de sources informée par la redondance pour illustrer la variété de traitements que le cadre choisi autorise. La synthèse des différents éléments permet alors d'envisager un système d'archivage répondant aux contraintes par la hiérarchisation des objectifs et des traitements.The main goal of this work is automated processing of large volumes of audio data. Most specifically, one is interested in archiving, a process that encompass at least two distinct problems: data compression and data indexing. Jointly addressing these problems is a difficult task since many of their objectives may be concurrent. Therefore, building a consistent framework for audio archival is the matter of this thesis. Sparse representations of signals in redundant dictionaries have recently been found of interest for many sub-problems of the archival task. Sparsity is a desirable property both for compression and for indexing. Methods and algorithms to build such representations are the first topic of this thesis. Given the dimensionality of the considered data, greedy algorithms will be particularly studied. A first contribution of this thesis is the proposal of a variant of the famous Matching Pursuit algorithm, that exploits randomness and sub-sampling of very large time frequency dictionaries. We show that audio compression (especially at low bit-rate) can be improved using this method. This new algorithms comes with an original modeling of asymptotic pursuit behaviors, using order statistics and tools from extreme values theory. Other contributions deal with the second member of the archival problem: indexing. The same framework is used and applied to different layers of signal structures. First, redundancies and musical repetition detection is addressed. At larger scale, we investigate audio fingerprinting schemes and apply it to radio broadcast on-line segmentation. Performances have been evaluated during an international campaign within the QUAERO project. Finally, the same framework is used to perform source separation informed by the redundancy. All these elements validate the proposed framework for the audio archiving task. The layered structures of audio data are accessed hierarchically by greedy decomposition algorithms and allow processing the different objectives of archival at different steps, thus addressing them within the same framework.PARIS-Télécom ParisTech (751132302) / SudocSudocFranceF

Archaeological Investigations between Cayenne Island and the Maroni River

Stratigraphic archaeological research in French Guiana is barely 50 years old and has been conducted primarily in the coastal zone, stretching approximately between 5 and 50 kilometres from the Atlantic coast to the Precambrian Shield. This bias, mainly caused by means of modern infrastructure, has sketched an archaeological record concerning pre-Columbian French Guiana focussing on the Late Ceramic Age (AD 900-1500) of Cayenne Island as well as the western Holocene coastal plains. The present study contains the results of six archaeological investigations, conducted from a compliance archaeological perspective, in order to enhance our knowledge of the afore-mentioned coastal area. It not only presents us with fresh archaeological data on the (Late) Archaic and Early Ceramic Age, a hiatus that is now partially filled up, but also sheds new light on the Late Ceramic Age of this specific region concerning funerary rites, ceramic series and subsistence economy. Martijn van den Bel studied History and Archaeology of Indigenous America at Leiden University and graduated in 1995 with an ethnoarchaeological study on the Palikur potters of French Guiana. Currently he works as a project leader for Inrap in French Guiana. He carries out compliance archaeological research in the French Guiana and the French Lesser Antilles. Next to archaeology, Martijn is interested in the early history of the Guianas and the Lesser Antilles, notably the encounter between Amerindians and Europeans during the 16th and 17th century, resulting in various publications