Contribution au pronostic de défaillances guidé par des données

Ce mémoire d’Habilitation à Diriger des Recherche (HDR) présente, dans la première partie, une synthèse de mes travaux d’enseignement et de recherche réalisés au sein de l’École Nationale Supérieure de Mécanique et des Microtechniques (ENSMM) et de l’Institut FEMTO-ST. Ces travaux s’inscrivent dans la thématique du PHM (Prognostics and Health Management) et concernent le développement d’une approche intégrée de pronostic de défaillances guidée par des données. L’approche proposée repose sur l’acquisition de données représentatives des dégradations de systèmes physiques, l’extraction de caractéristiques pertinentes et la construction d’indicateurs de santé, la modélisation des dégradations, l’évaluation de l’état de santé et la prédiction de durées de fonctionnement avant défaillances (RUL : Remaining Useful Life). Elle fait appel à deux familles d’outils : d’un côté des outils probabilistes/stochastiques, tels que les réseaux Bayésiens dynamiques, et de l’autre côté les modèles de régression non linéaires, notamment les machines à vecteurs de support pour la régression. La seconde partie du mémoire présente le projet de recherche autour du PHM de systèmes complexes et de MEMS (Micro-Electro-Mechanical Systems), avec une orientation vers l’approche de pronostic hybride en combinant l’approche guidée par des données et l’approche basée sur des modèles physiques.This Habilitation manuscript presents, in the first part, a synthesis of my teaching and research works achieved at the National Institute of Mechanics and Microtechnologies (ENSMM) and at FEMTO-ST Institute. These works are within the topic of Prognostics and Health Management (PHM) and concern the development of an integrated data-driven failure prognostic approach. The proposed approach relies on acquisition of data which are representative of systems degradations, extraction of relevant features and construction of health indicators, degradation modeling, health assessment and Remaining Useful Life (RUL) prediction. This approach uses two groups of tools: probabilistic/stochastic tools, such as dynamic Bayesian networks, from one hand, and nonlinear regression models such as support vector machine for regression and Gaussian process regression, from the other hand. The second part of the manuscript presents the research project related to PHM of complex systems and MEMS (Micro-Electro-Mechanical Systems), with an orientation towards a hybrid prognostic approach by considering both model-based and data-driven approaches

Apprentissage statistique de modèles de comportement multimodal pour les agents conversationnels interactifs

Face to face interaction is one of the most fundamental forms of human communication. It is a complex multimodal and coupled dynamic system involving not only speech but of numerous segments of the body among which gaze, the orientation of the head, the chest and the body, the facial and brachiomanual movements, etc. The understanding and the modeling of this type of communication is a crucial stage for designing interactive agents capable of committing (hiring) credible conversations with human partners. Concretely, a model of multimodal behavior for interactive social agents faces with the complex task of generating gestural scores given an analysis of the scene and an incremental estimation of the joint objectives aimed during the conversation. The objective of this thesis is to develop models of multimodal behavior that allow artificial agents to engage into a relevant co-verbal communication with a human partner. While the immense majority of the works in the field of human-agent interaction (HAI) is scripted using ruled-based models, our approach relies on the training of statistical models from tracks collected during exemplary interactions, demonstrated by human trainers. In this context, we introduce "sensorimotor" models of behavior, which perform at the same time the recognition of joint cognitive states and the generation of the social signals in an incremental way. In particular, the proposed models of behavior have to estimate the current unit of interaction ( IU) in which the interlocutors are jointly committed and to predict the co-verbal behavior of its human trainer given the behavior of the interlocutor(s). The proposed models are all graphical models, i.e. Hidden Markov Models (HMM) and Dynamic Bayesian Networks (DBN). The models were trained and evaluated - in particular compared with classic classifiers - using datasets collected during two different interactions. Both interactions were carefully designed so as to collect, in a minimum amount of time, a sufficient number of exemplars of mutual attention and multimodal deixis of objects and places. Our contributions are completed by original methods for the interpretation and comparative evaluation of the properties of the proposed models. By comparing the output of the models with the original scores, we show that the HMM, thanks to its properties of sequential modeling, outperforms the simple classifiers in term of performances. The semi-Markovian models (HSMM) further improves the estimation of sensorimotor states thanks to duration modeling. Finally, thanks to a rich structure of dependency between variables learnt from the data, the DBN has the most convincing performances and demonstrates both the best performance and the most faithful multimodal coordination to the original multimodal events.L'interaction face-à-face représente une des formes les plus fondamentales de la communication humaine. C'est un système dynamique multimodal et couplé – impliquant non seulement la parole mais de nombreux segments du corps dont le regard, l'orientation de la tête, du buste et du corps, les gestes faciaux et brachio-manuels, etc – d'une grande complexité. La compréhension et la modélisation de ce type de communication est une étape cruciale dans le processus de la conception des agents interactifs capables d'engager des conversations crédibles avec des partenaires humains. Concrètement, un modèle de comportement multimodal destiné aux agents sociaux interactifs fait face à la tâche complexe de générer un comportement multimodal étant donné une analyse de la scène et une estimation incrémentale des objectifs conjoints visés au cours de la conversation. L'objectif de cette thèse est de développer des modèles de comportement multimodal pour permettre aux agents artificiels de mener une communication co-verbale pertinente avec un partenaire humain. Alors que l'immense majorité des travaux dans le domaine de l'interaction humain-agent repose essentiellement sur des modèles à base de règles, notre approche se base sur la modélisation statistique des interactions sociales à partir de traces collectées lors d'interactions exemplaires, démontrées par des tuteurs humains. Dans ce cadre, nous introduisons des modèles de comportement dits "sensori-moteurs", qui permettent à la fois la reconnaissance des états cognitifs conjoints et la génération des signaux sociaux d'une manière incrémentale. En particulier, les modèles de comportement proposés ont pour objectif d'estimer l'unité d'interaction (IU) dans laquelle sont engagés de manière conjointe les interlocuteurs et de générer le comportement co-verbal du tuteur humain étant donné le comportement observé de son/ses interlocuteur(s). Les modèles proposés sont principalement des modèles probabilistes graphiques qui se basent sur les chaînes de markov cachés (HMM) et les réseaux bayésiens dynamiques (DBN). Les modèles ont été appris et évalués – notamment comparés à des classifieurs classiques – sur des jeux de données collectés lors de deux différentes interactions face-à-face. Les deux interactions ont été soigneusement conçues de manière à collecter, en un minimum de temps, un nombre suffisant d'exemplaires de gestion de l'attention mutuelle et de deixis multimodale d'objets et de lieux. Nos contributions sont complétées par des méthodes originales d'interprétation et d'évaluation des propriétés des modèles proposés. En comparant tous les modèles avec les vraies traces d'interactions, les résultats montrent que le modèle HMM, grâce à ses propriétés de modélisation séquentielle, dépasse les simples classifieurs en terme de performances. Les modèles semi-markoviens (HSMM) ont été également testé et ont abouti à un meilleur bouclage sensori-moteur grâce à leurs propriétés de modélisation des durées des états. Enfin, grâce à une structure de dépendances riche apprise à partir des données, le modèle DBN a les performances les plus probantes et démontre en outre la coordination multimodale la plus fidèle aux évènements multimodaux originaux

Apprentissage statistique de modèles de comportement multimodal pour les agents conversationnels interactifs

Face to face interaction is one of the most fundamental forms of human communication. It is a complex multimodal and coupled dynamic system involving not only speech but of numerous segments of the body among which gaze, the orientation of the head, the chest and the body, the facial and brachiomanual movements, etc. The understanding and the modeling of this type of communication is a crucial stage for designing interactive agents capable of committing (hiring) credible conversations with human partners. Concretely, a model of multimodal behavior for interactive social agents faces with the complex task of generating gestural scores given an analysis of the scene and an incremental estimation of the joint objectives aimed during the conversation. The objective of this thesis is to develop models of multimodal behavior that allow artificial agents to engage into a relevant co-verbal communication with a human partner. While the immense majority of the works in the field of human-agent interaction (HAI) is scripted using ruled-based models, our approach relies on the training of statistical models from tracks collected during exemplary interactions, demonstrated by human trainers. In this context, we introduce "sensorimotor" models of behavior, which perform at the same time the recognition of joint cognitive states and the generation of the social signals in an incremental way. In particular, the proposed models of behavior have to estimate the current unit of interaction ( IU) in which the interlocutors are jointly committed and to predict the co-verbal behavior of its human trainer given the behavior of the interlocutor(s). The proposed models are all graphical models, i.e. Hidden Markov Models (HMM) and Dynamic Bayesian Networks (DBN). The models were trained and evaluated - in particular compared with classic classifiers - using datasets collected during two different interactions. Both interactions were carefully designed so as to collect, in a minimum amount of time, a sufficient number of exemplars of mutual attention and multimodal deixis of objects and places. Our contributions are completed by original methods for the interpretation and comparative evaluation of the properties of the proposed models. By comparing the output of the models with the original scores, we show that the HMM, thanks to its properties of sequential modeling, outperforms the simple classifiers in term of performances. The semi-Markovian models (HSMM) further improves the estimation of sensorimotor states thanks to duration modeling. Finally, thanks to a rich structure of dependency between variables learnt from the data, the DBN has the most convincing performances and demonstrates both the best performance and the most faithful multimodal coordination to the original multimodal events.L'interaction face-à-face représente une des formes les plus fondamentales de la communication humaine. C'est un système dynamique multimodal et couplé – impliquant non seulement la parole mais de nombreux segments du corps dont le regard, l'orientation de la tête, du buste et du corps, les gestes faciaux et brachio-manuels, etc – d'une grande complexité. La compréhension et la modélisation de ce type de communication est une étape cruciale dans le processus de la conception des agents interactifs capables d'engager des conversations crédibles avec des partenaires humains. Concrètement, un modèle de comportement multimodal destiné aux agents sociaux interactifs fait face à la tâche complexe de générer un comportement multimodal étant donné une analyse de la scène et une estimation incrémentale des objectifs conjoints visés au cours de la conversation. L'objectif de cette thèse est de développer des modèles de comportement multimodal pour permettre aux agents artificiels de mener une communication co-verbale pertinente avec un partenaire humain. Alors que l'immense majorité des travaux dans le domaine de l'interaction humain-agent repose essentiellement sur des modèles à base de règles, notre approche se base sur la modélisation statistique des interactions sociales à partir de traces collectées lors d'interactions exemplaires, démontrées par des tuteurs humains. Dans ce cadre, nous introduisons des modèles de comportement dits "sensori-moteurs", qui permettent à la fois la reconnaissance des états cognitifs conjoints et la génération des signaux sociaux d'une manière incrémentale. En particulier, les modèles de comportement proposés ont pour objectif d'estimer l'unité d'interaction (IU) dans laquelle sont engagés de manière conjointe les interlocuteurs et de générer le comportement co-verbal du tuteur humain étant donné le comportement observé de son/ses interlocuteur(s). Les modèles proposés sont principalement des modèles probabilistes graphiques qui se basent sur les chaînes de markov cachés (HMM) et les réseaux bayésiens dynamiques (DBN). Les modèles ont été appris et évalués – notamment comparés à des classifieurs classiques – sur des jeux de données collectés lors de deux différentes interactions face-à-face. Les deux interactions ont été soigneusement conçues de manière à collecter, en un minimum de temps, un nombre suffisant d'exemplaires de gestion de l'attention mutuelle et de deixis multimodale d'objets et de lieux. Nos contributions sont complétées par des méthodes originales d'interprétation et d'évaluation des propriétés des modèles proposés. En comparant tous les modèles avec les vraies traces d'interactions, les résultats montrent que le modèle HMM, grâce à ses propriétés de modélisation séquentielle, dépasse les simples classifieurs en terme de performances. Les modèles semi-markoviens (HSMM) ont été également testé et ont abouti à un meilleur bouclage sensori-moteur grâce à leurs propriétés de modélisation des durées des états. Enfin, grâce à une structure de dépendances riche apprise à partir des données, le modèle DBN a les performances les plus probantes et démontre en outre la coordination multimodale la plus fidèle aux évènements multimodaux originaux

Optimisation des politiques de maintenance préventive dans un cadre de modélisation par modèles graphiques probabilistes

At present, equipments used on the industrial circles are more and more complex. They require a maintenance increased to guarantee a level of optimal service in terms of reliability and availability. Besides, often this guarantee of optimalité has a very high cost, what is binding. In the face of these requirements the management of the maintenance of equipments is from now on a stake in size: look for a politics of maintenance realizing an acceptable compromise between the availability and the costs associated to the maintenance of the system. The works of this thesis leave besides the report that in several applications of the industry, the need for strategies of maintenance assuring(insuring) at the same time an optimal safety and a maximal profitability lives furthermore thereActuellement, les équipements employés dans les milieux industriels sont de plus en plus complexes. Ils exigent une maintenance accrue afin de garantir un niveau de service optimal en termes de fiabilité et de disponibilité. Par ailleurs, souvent cette garantie d'optimalité a un coût très élevé, ce qui est contraignant. Face à ces exigences la gestion de la maintenance des équipements est désormais un enjeu de taille : rechercher une politique de maintenance réalisant un compromis acceptable entre la disponibilité et les coûts associés à l'entretien du système. Les travaux de cette thèse partent par ailleurs du constat que dans plusieurs applications de l'industrie, le besoin de stratégies de maintenance assurant à la fois une sécurité optimale et une rentabilité maximale demeure de plus en plus croissant conduisant à se référer non seulement à l'expérience des experts, mais aussi aux résultats numériques obtenus via la résolution des problèmes d'optimisation. La résolution de cette problématique nécessite au préalable la modélisation de l'évolution des comportements des états des composants constituant le système, i.e, connaître les mécanismes de dégradation des composants. Disposant d'un tel modèle, une stratégie de maintenance est appliquée au système. Néanmoins, l'élaboration d'une telle stratégie réalisant un compromis entre toutes ces exigences représente un verrou scientifique et technique majeur. Dans ce contexte, l'optimisation de la maintenance s'impose pour atteindre les objectifs prescrits avec des coûts optimaux. Dans les applications industrielles réelles, les problèmes d'optimisation sont souvent de grande dimension faisant intervenir plusieurs paramètres. Par conséquent, les métaheuristiques s’avèrent une approche intéressante dans la mesure où d'une part, elles sacrifient la complétude de la résolution au profit de l'efficacité et du temps de calcul et d'autre part elles s'appliquent à un très large panel de problèmes.Dans son objectif de proposer une démarche de résolution d'un problème d'optimisation de la maintenance préventive, cette thèse fournit une méthodologie de résolution du problème d'optimisation des politiques de maintenance préventive systématique appliquée dans le domaine ferroviaire à la prévention des ruptures de rails. Le raisonnement de cette méthodologie s'organise autour de trois étapes principales : 1. Modélisation de l'évolution des comportements des états des composants constituant le système, i.e, connaître les mécanismes de dégradation des composants et formalisation des opérations de maintenance. 2. Formalisation d'un modèle d'évaluation de politiques de maintenance tenant compte aussi bien du facteur sûreté de fonctionnement du système que du facteur économique conséquent aux procédures de gestion de la maintenance (coûts de réparation, de diagnostic, d'indisponibilité). 3. Optimisation des paramètres de configuration des politiques de maintenance préventive systématique afin d'optimiser un ou plusieurs critères. Ces critères sont définis sur la base du modèle d'évaluation des politiques de maintenance proposé dans l'étape précédent

Résolution de processus décisionnels de Markov à espace d'état et d'action factorisés - Application en agroécologie

This PhD thesis focuses on the resolution of problems of sequential decision makingunder uncertainty, modelled as Markov decision processes (MDP) whose state and actionspaces are both of high dimension. Resolution of these problems with a good compromisebetween quality of approximation and scaling is still a challenge. Algorithms for solvingthis type of problems are rare when the dimension of both spaces exceed 30, and imposecertain limits on the nature of the problems that can be represented.We proposed a new framework, called F3MDP, as well as associated approximateresolution algorithms. A F3MDP is a Markov decision process with factored state andaction spaces (FA-FMDP) whose solution policies are constrained to be in a certainfactored form, and can be stochastic. The algorithms we proposed belong to the familyof approximate policy iteration algorithms and make use of continuous optimisationtechniques, and inference methods for graphical models.These policy iteration algorithms have been validated on a large number of numericalexperiments. For small F3MDPs, for which the optimal global policy is available, theyprovide policy solutions that are close to the optimal global policy. For larger problemsfrom the graph-based Markov decision processes (GMDP) subclass, they are competitivewith state-of-the-art algorithms in terms of quality. We also show that our algorithmsallow to deal with F3MDPs of very large size outside the GMDP subclass, on toy problemsinspired by real problems in agronomy or ecology. The state and action spaces arethen both of dimension 100, and of size 2100. In this case, we compare the quality of thereturned policies with the one of expert policies. In the second part of the thesis, we applied the framework and the proposed algorithms to determine ecosystem services management strategies in an agricultural landscape.Weed species, ie wild plants of agricultural environments, have antagonistic functions,being at the same time in competition with the crop for resources and keystonespecies in trophic networks of agroecosystems. We seek to explore which organizationsof the landscape (here composed of oilseed rape, wheat and pasture) in space and timeallow to provide at the same time production services (production of cereals, fodder andhoney), regulation services (regulation of weed populations and wild pollinators) andcultural services (conservation of weed species and wild pollinators). We developed amodel for weeds and pollinators dynamics and for reward functions modelling differentobjectives (production, conservation of biodiversity or trade-off between services). Thestate space of this F3MDP is of size 32100, and the action space of size 3100, which meansthis F3MDP has substantial size. By solving this F3MDP, we identified various landscapeorganizations that allow to provide different sets of ecosystem services which differ inthe magnitude of each of the three classes of ecosystem services.Cette thèse porte sur la résolution de problèmes de décision séquentielle sous incertitude,modélisés sous forme de processus décisionnels de Markov (PDM) dont l’espace d’étatet d’action sont tous les deux de grande dimension. La résolution de ces problèmes avecun bon compromis entre qualité de l’approximation et passage à l’échelle est encore unchallenge. Les algorithmes de résolution dédiés à ce type de problèmes sont rares quandla dimension des deux espaces excède 30, et imposent certaines limites sur la nature desproblèmes représentables.Nous avons proposé un nouveau cadre, appelé PDMF3, ainsi que des algorithmesde résolution approchée associés. Un PDMF3 est un processus décisionnel de Markov àespace d’état et d’action factorisés (PDMF-AF) dont non seulement l’espace d’état etd’action sont factorisés mais aussi dont les politiques solutions sont contraintes à unecertaine forme factorisée, et peuvent être stochastiques. Les algorithmes que nous avonsproposés appartiennent à la famille des algorithmes de type itération de la politique etexploitent des techniques d’optimisation continue et des méthodes d’inférence dans lesmodèles graphiques. Ces algorithmes de type itération de la politique ont été validés sur un grand nombre d’expériences numériques. Pour de petits PDMF3, pour lesquels la politique globale optimale est disponible, ils fournissent des politiques solutions proches de la politique globale optimale. Pour des problèmes plus grands de la sous-classe des processus décisionnels de Markov sur graphe (PDMG), ils sont compétitifs avec des algorithmes de résolution de l’état de l’art en termes de qualité. Nous montrons aussi que nos algorithmes permettent de traiter des PDMF3 de très grande taille en dehors de la sous-classe des PDMG, sur des problèmes jouets inspirés de problèmes réels en agronomie ou écologie. L’espace d’état et d’action sont alors tous les deux de dimension 100, et de taille 2100. Dans ce cas, nous comparons la qualité des politiques retournées à celle de politiques expertes. Dans la seconde partie de la thèse, nous avons appliqué le cadre et les algorithmesproposés pour déterminer des stratégies de gestion des services écosystémiques dans unpaysage agricole. Les adventices, plantes sauvages des milieux agricoles, présentent desfonctions antagonistes, étant à la fois en compétition pour les ressources avec la cultureet à la base de réseaux trophiques dans les agroécosystèmes. Nous cherchons à explorerquelles organisations du paysage (ici composé de colza, blé et prairie) dans l’espace etdans le temps permettent de fournir en même temps des services de production (rendementen céréales, fourrage et miel), des services de régulation (régulation des populationsd’espèces adventices et de pollinisateurs sauvages) et des services culturels (conservationd’espèces adventices et de pollinisateurs sauvages). Pour cela, nous avons développé unmodèle de la dynamique des adventices et des pollinisateurs et de la fonction de récompense pour différents objectifs (production, maintien de la biodiversité ou compromisentre les services). L’espace d’état de ce PDMF3 est de taille 32100, et l’espace d’actionde taille 3100, ce qui en fait un problème de taille conséquente. La résolution de ce PDMF3 a conduit à identifier différentes organisations du paysage permettant d’atteindre différents bouquets de services écosystémiques, qui diffèrent dans la magnitude de chacune des trois classes de services écosystémiques

Apprentissage par renforcement Bayésien de processus décisionnels de Markov partiellement observables : une approche basée sur les processus Gaussiens

L'apprentissage par renforcement est une approche d'apprentissage automatique permettant de développer des systèmes s'améliorant à partir d'interactions avec un environnement. Les processus décisionnels de Markov partiellement observables (PDMPO) font partie des modèles mathématiques fréquemment utiliser pour résoudre ce type de problème d'apprentissage. Cependant, la majorité des méthodes de résolution utilisées dans les processus décisionnels de Markov partiellement observables nécessitent la connaissance du modèle. De plus, les recherches actuelles sur le PDMPO se restreignent principalement aux espaces d'états discrets, ce qui complique son application à certains problèmes naturellement modélisés par un espace d'état continu. Ce mémoire présente une vision des PDMPO basée sur les processus Gaussiens, une méthode d'apprentissage supervisée ayant comme propriété particulière d'être une distribution de probabilité dans l'espace des fonctions. Cette propriété est notamment très intéressante du fait qu'elle ouvre la porte à un traitement Bayésien de l'incertitude sur les fonctions inconnues d'un PDMPO continu. Les résultats obtenus avec l'approche d'apprentissage par processus Gaussien montrent qu'il est possible d'opérer dans un environnement tout en identifiant le modèle de ce celui-ci. À partir des conclusions tirées à la suite de nos travaux sur le PDMPO, nous avons observé un certain manque pour ce qui est de l'identification du modèle sous l'incertain. Ainsi, ce mémoire expose aussi un premier pas vers une extension de l'apprentissage de PDMPO continu utilisant des séquences d'états de croyances lors de l'identification du modèle. Plus précisément, nous proposons une méthode de régression par processus Gaussiens utilisant des ensembles d'entraînement incertain pour réaliser l'inférence dans l'espace des fonctions. La méthode proposée est particulièrement intéressante, du fait qu'elle s'applique exactement comme pour le cas des processus Gaussiens classiques et qu'elle n'augmente p±as la complexité de l'apprentissage

Programmation dynamique avec approximation de la fonction valeur

L'utilisation d'outils pour l'approximation de la fonction de valeur est essentielle pour pouvoir traiter des problèmes de prise de décisions séquentielles de grande taille. Les méthodes de programmation dynamique (PD) et d'apprentissage par renforcement (A/R) introduites aux chapitres 1 et 2 supposent que la fonction de valeur peut être représentée (mémorisée) en attribuant une valeur à chaque état (dont le nombre est supposé fini), par exemple sous la forme d'un tableau. Ces méthodes de résolution, dites exactes, permettent de déterminer la solution optimale du problème considéré (ou tout au moins de converger vers cette solution optimale). Cependant, elles ne s'appliquent souvent qu'à des problèmes jouets, car pour la plupart des applications intéressantes, le nombre d'états possibles est si grand (voire infini dans le cas d'espaces continus) qu'une représentation exacte de la fonction ne peut être parfaitement mémorisée. Il devient alors nécessaire de représenter la fonction de valeur, de manière approchée, à l'aide d'un nombre modéré de coefficients, et de redéfinir et analyser des méthodes de résolution, dites approchées pour la PD et l'A/R, afin de prendre en compte les conséquences de l'utilisation de telles approximations dans les problèmes de prise de décisions séquentielles

Mécanismes d’attention pour les modèles convolutifs dans le cadre de la prédiction de trajectoires

Cette maîtrise porte sur le problème de prédiction des mouvements des usagers de la route de différents types (piétons, cyclistes, automobilistes...) interagissant ensemble au sein d’intersections. Prédire les déplacements futurs d’agents présente un intérêt dans divers domaines comme les voitures autonomes et les analyses de sécurité routière. Si diverses approches ont été proposées pour traiter ce problème, l’explosion récente des performances des méthodes d’apprentissage profond dans des domaines comme la vision par ordinateur ou le traitement du langage naturel a conduit à son utilisation pour la tâche de prédiction de trajectoires. Un intérêt majeur de l’apprentissage profond étant de ne pas devoir définir manuellement les caractéristiques pertinentes à utiliser pour réaliser une prédiction, mais laisser les modèles l’apprendre automatiquement. Des modèles simples ont été proposés, prédisant la future trajectoire d’un agent en se basant uniquement sur son déplacement passé. Ces modèles peuvent être considérés comme naïfs puisque n’ayant pas conscience de l’environnement dans lequel l’agent évolue. Cet environnement est constitué tant d’une dimension sociale, c’est-à-dire l’influence mutuelle des agents sur leurs déplacements respectifs, que d’une dimension spatiale, c’est-à-dire l’influence que la structure de l’intersection (routes, bancs, lampadaires, obstacles en tous genre...) a sur le chemin des agents. Des modèles plus complexes ont été proposés pour prendre en compte ces interactions lors de la prédiction de la future trajectoire d’un agent. Parmi ces modèles, on retrouve les mécanismes d’attention. Directement importés du domaine du traitement du langage naturel, ils permettent d’entraîner un réseau de neurones à associer automatiquement à chaque élément d’un ensemble une pertinence relative aux autres éléments en se basant sur le contexte de prédiction. Dans le cadre de la traduction de langage, les éléments sont les mots de la phrase à traduire et le contexte de prédiction les mots déjà traduits. Pour la tâche de prédiction, ces modèles ont été transposés de deux manières différentes. Pour prendre en compte les interactions entre un agent et l’intersection qu’il parcourt, on utilise un mécanisme d’attention visuelle qui permet étant donnée l’image d’une scène en vue de dessus, de juger de la pertinence de chaque partie de l’image pour prédire la future position de l’agent. Pour prendre en compte les interactions d’un agent avec les autres agents, on utilise un mécanisme de soft-attention permettant de juger de la pertinence de chacun des agents présents dans la scène pour prédire la future position de l’agent. Ces mécanismes d’attention reposent sur l’architecture encodeur/décodeur utilisant des réseaux de neurones récurrents comme modèle de base. Les réseaux de neurones récurrents sont d’ailleurs en général utilisés dans la majorité des études de prédiction de futures trajectoires en apprentissage profond. Cependant, un petit nombre d’études ont montré que les réseaux de neurones convolutifs étaient capables d’obtenir de meilleures performances que les réseaux de neurones récurrents pour des approches naïves. En transposant directement les mécanismes d’attention du domaine du traitement du langage naturel au domaine de prédiction de trajectoire, aucune interrogation n’est portée sur la sémantique de ces modèles. Ils imposent notamment l’utilisation de l’architecture récurrente encodeur/décodeur, obligeant à prédire séquentiellement les futures positions et à recalculer le module d’attention pour prédire chacune des futures positions. Dans ce travail, nous faisons l’hypothèse que les mécanismes d’attention ainsi proposés apportent une information redondante augmentant inutilement leur temps de prédiction. On propose d’adapter les mécanismes d’attention visuelle et de soft-attention afin de pouvoir les utiliser avec des réseaux de neurones convolutifs. On fait l’hypothèse que ces nouvelles architectures permettront de réduire drastiquement le temps de prédiction tout en conservant une qualité de prédiction équivalente.----------ABSTRACT: This work addresses the problem of trajectory prediction of agents of various types such as pedestrian and cyclists interacting with each other within scenes. Predicting agents future paths can be useful in the field of autonomous driving for example. The recent and fast development of Deep Learning algorithms showing groundbreaking performance in fields such as Computer Vision and Natural Language Processing led it to be used for predicting agent future paths. Naïve models, e.g. models that use only past motion in order to predict the future one, have been developed. These models don’t make use of the agent environment. The environment is mainly composed of a social part regrouping the interactions between agents, and a spatial part, regrouping the interactions between an agent and the scene in which it moves. More advanced models were built to make use of the environment, based on the idea that the future motion of an agent isn’t independent of its surrounding environment. Amongst those models, attention mechanisms stand out. Taken from Natural Language Processing, they allow a neural network to automatically select relevant information from a set of element based on some prediction context. For instance, for language translation, the elements might be the words of the sentence to be translated and the prediction context the already translated words. In the field of future path prediction, attention mechanisms were used in two different ways. A spatial attention mechanism, making use of the Visual Attention model which allows the model to select the relevant parts of an image of the scene, accounting for spatial context, in the next position prediction. And a soft-attention mechanism to select which agents are relevant in predicting one agent next position, accounting for social context. Those attention mechanisms are based on the sequence-to-sequence or (encoder/decoder architecture) using Recurrent Neural Networks as base component. Recurrent-based approaches are mainly used for trajectory prediction. Some studies showed that Convolutional Neural Networks could be used as well, showing better performances than their recurrent counterpart for naïve approaches. By directly transposing the attention mechanisms from Natural Language Processing to trajectory prediction, no interrogation is carried on the semantics of these models. In particular, they require the use of the sequence-to-sequence architectur making it necessary to predict the future positions sequentially and to recalculate the attention module in order to predict each of the agent next positions. In this work, we make the hypothesis that the attention mechanisms, thus proposed bring redundant information unnecessarily increasing their prediction time. We want to adapt those mechanisms in order to be able to use them with convolutional neural networks. We think that these new architectures will drastically reduce the prediction time while maintaining the prediction quality

Contribution à l’optimisation des processus de prédiction et de classification pour le Prognostics and Health Management.

My postdoctoral research deals with the proposition of data-based failure detection and prognostics approaches. Developments aim at transforming raw data (gathered online on the monitored system) into health indicators that enable estimating the Remaining Useful Life (RUL) and the confidence interval associated to it. Three sets of contributions can be distinguished.–Characterize degradation phenomena. I mainly proposed a new features extraction and selection approach that allows building monotonic and predictable features. This proposition enhances detection of drifts and improve long term predictions of the ageing behavior.–Improve genericity of prognostics. From this point of view, my intent was to develop neural networks and neuro-fuzzy systems that aim at facilitating the building of prognostics algorithms by systematizing the generation of models while reducing the learning time required and avoiding arbitrary choices.–Reliable data-based prognostics. I developed news neuronal algorithms that enable, on one side, to quantify and master the error of prediction, and on the other side, to take into account the non-deterministic aspect of health states.The research project is articulated as follows (short term and mid-term perspectives). First, I would like to develop protocols and metrics for verification and validation of PHM approaches. I am also willing to go through a better modeling of multidimensional systems (physics, time, space). Finally, my intent is to extend PHM to what could be called the “predictive medicine”.L’essentiel des travaux de recherche post-doctorale porte sur le développement d’approches orientées données de détection et de pronostic de défaillances. Les propositions faites visent à transformer un ensemble de données brutes recueillies sur l’équipement surveillé, en un indicateur de temps résiduel avant défaillance (RUL) auquel est associée une confiance. Trois foyers de contributions peuvent être distingués.–Caractériser les phénomènes de dégradation. Je me suis attaché à proposer une nouvelle approche d’extraction et de sélection de descripteurs permettant in fine d’obtenir des indicateurs de santé monotones facilitant la détection d’une dérive et les prédictions à long terme.–Améliorer la généricité du pronostic. De ce point de vue, mon travail a consisté à proposer des méthodes (neuronales et neuro-floues) permettant de systématiser la génération des modèles de pronostic, et de réduire le temps d’apprentissage nécessaire.–Fiabiliser le pronostic orienté données. J’ai sur cet aspect développé de nouveaux algorithmes permettant d’une part, de quantifier et maîtriser l’erreur de prédiction, et d’autre part, de tenir compte de la nature non−déterministe des états de santé.Le projet de recherche à court et moyen terme s’articule autour de trois axes. Le premier a trait à la définition de protocoles et de métriques de vérification et de validation des approches de PHM. Le second porte sur le développement d’outils pour les systèmes multidimentsionnels (physique, temps, espace). Le dernier vise à étendre la thématique à un cadre applicatif pour lequel elle n’a pas été initialement imaginée : le PHM médical