Apprentissage par renforcement pour la généralisation des approches automatiques dans la conception des systèmes de dialogue oral

Les systèmes de dialogue homme machine actuellement utilisés dans l industrie sont fortement limités par une forme de communication très rigide imposant à l utilisateur de suivre la logique du concepteur du système. Cette limitation est en partie due à leur représentation de l état de dialogue sous la forme de formulaires préétablis.Pour répondre à cette difficulté, nous proposons d utiliser une représentation sémantique à structure plus riche et flexible visant à permettre à l utilisateur de formuler librement sa demande.Une deuxième difficulté qui handicape grandement les systèmes de dialogue est le fort taux d erreur du système de reconnaissance vocale. Afin de traiter ces erreurs de manière quantitative, la volonté de réaliser une planification de stratégie de dialogue en milieu incertain a conduit à utiliser des méthodes d apprentissage par renforcement telles que les processus de décision de Markov partiellement observables (POMDP). Mais un inconvénient du paradigme POMDP est sa trop grande complexité algorithmique. Certaines propositions récentes permettent de réduire la complexité du modèle. Mais elles utilisent une représentation en formulaire et ne peuvent être appliqués directement à la représentation sémantique riche que nous proposons d utiliser.Afin d appliquer le modèle POMDP dans un système dont le modèle sémantique est complexe, nous proposons une nouvelle façon de contrôler sa complexité en introduisant un nouveau paradigme : le POMDP résumé à double suivi de la croyance. Dans notre proposition, le POMDP maitre, complexe, est transformé en un POMDP résumé, plus simple. Un premier suivi de croyance (belief update) est réalisé dans l espace maitre (en intégrant des observations probabilistes sous forme de listes nbest). Et un second suivi de croyance est réalisé dans l espace résumé, les stratégies obtenues sont ainsi optimisées sur un véritable POMDP.Nous proposons deux méthodes pour définir la projection du POMDP maitre en un POMDP résumé : par des règles manuelles et par regroupement automatique par k plus proches voisins. Pour cette dernière, nous proposons d utiliser la distance d édition entre graphes, que nous généralisons pour obtenir une distance entre listes nbest.En outre, le couplage entre un système résumé, reposant sur un modèle statistique par POMDP, et un système expert, reposant sur des règles ad hoc, fournit un meilleur contrôle sur la stratégie finale. Ce manque de contrôle est en effet une des faiblesses empêchant l adoption des POMDP pour le dialogue dans l industrie.Dans le domaine du renseignement d informations touristiques et de la réservation de chambres d hôtel, les résultats sur des dialogues simulés montrent l efficacité de l approche par renforcement associée à un système de règles pour s adapter à un environnement bruité. Les tests réels sur des utilisateurs humains montrent qu un système optimisé par renforcement obtient cependant de meilleures performances sur le critère pour lequel il a été optimisé.Dialog managers (DM) in spoken dialogue systems make decisions in highly uncertain conditions, due to errors from the speech recognition and spoken language understanding (SLU) modules. In this work a framework to interface efficient probabilistic modeling for both the SLU and the DM modules is described and investigated. Thorough representation of the user semantics is inferred by the SLU in the form of a graph of frames and, complemented with some contextual information, is mapped to a summary space in which a stochastic POMDP dialogue manager can perform planning of actions taking into account the uncertainty on the current dialogue state. Tractability is ensured by the use of an intermediate summary space. Also to reduce the development cost of SDS an approach based on clustering is proposed to automatically derive the master-summary mapping function. A implementation is presented in the Media corpus domain (touristic information and hotel booking) and tested with a simulated user.AVIGNON-Bib. numérique (840079901) / SudocSudocFranceF

Ketamine-Induced Oscillations in the Motor Circuit of the Rat Basal Ganglia

Oscillatory activity can be widely recorded in the cortex and basal ganglia. This activity may play a role not only in the physiology of movement, perception and cognition, but also in the pathophysiology of psychiatric and neurological diseases like schizophrenia or Parkinson's disease. Ketamine administration has been shown to cause an increase in gamma activity in cortical and subcortical structures, and an increase in 150 Hz oscillations in the nucleus accumbens in healthy rats, together with hyperlocomotion

Apprentissage par renforcement pour la généralisation des approches automatiques dans la conception des systèmes de dialogue oral

Dialog managers (DM) in spoken dialogue systems make decisions in highly uncertain conditions, due to errors from the speech recognition and spoken language understanding (SLU) modules. In this work a framework to interface efficient probabilistic modeling for both the SLU and the DM modules is described and investigated. Thorough representation of the user semantics is inferred by the SLU in the form of a graph of frames and, complemented with some contextual information, is mapped to a summary space in which a stochastic POMDP dialogue manager can perform planning of actions taking into account the uncertainty on the current dialogue state. Tractability is ensured by the use of an intermediate summary space. Also to reduce the development cost of SDS an approach based on clustering is proposed to automatically derive the master-summary mapping function. A implementation is presented in the Media corpus domain (touristic information and hotel booking) and tested with a simulated user.Les systèmes de dialogue homme machine actuellement utilisés dans l’industrie sont fortement limités par une forme de communication très rigide imposant à l’utilisateur de suivre la logique du concepteur du système. Cette limitation est en partie due à leur représentation de l’état de dialogue sous la forme de formulaires préétablis.Pour répondre à cette difficulté, nous proposons d’utiliser une représentation sémantique à structure plus riche et flexible visant à permettre à l’utilisateur de formuler librement sa demande.Une deuxième difficulté qui handicape grandement les systèmes de dialogue est le fort taux d’erreur du système de reconnaissance vocale. Afin de traiter ces erreurs de manière quantitative, la volonté de réaliser une planification de stratégie de dialogue en milieu incertain a conduit à utiliser des méthodes d’apprentissage par renforcement telles que les processus de décision de Markov partiellement observables (POMDP). Mais un inconvénient du paradigme POMDP est sa trop grande complexité algorithmique. Certaines propositions récentes permettent de réduire la complexité du modèle. Mais elles utilisent une représentation en formulaire et ne peuvent être appliqués directement à la représentation sémantique riche que nous proposons d’utiliser.Afin d’appliquer le modèle POMDP dans un système dont le modèle sémantique est complexe, nous proposons une nouvelle façon de contrôler sa complexité en introduisant un nouveau paradigme : le POMDP résumé à double suivi de la croyance. Dans notre proposition, le POMDP maitre, complexe, est transformé en un POMDP résumé, plus simple. Un premier suivi de croyance (belief update) est réalisé dans l’espace maitre (en intégrant des observations probabilistes sous forme de listes nbest). Et un second suivi de croyance est réalisé dans l’espace résumé, les stratégies obtenues sont ainsi optimisées sur un véritable POMDP.Nous proposons deux méthodes pour définir la projection du POMDP maitre en un POMDP résumé : par des règles manuelles et par regroupement automatique par k plus proches voisins. Pour cette dernière, nous proposons d’utiliser la distance d’édition entre graphes, que nous généralisons pour obtenir une distance entre listes nbest.En outre, le couplage entre un système résumé, reposant sur un modèle statistique par POMDP, et un système expert, reposant sur des règles ad hoc, fournit un meilleur contrôle sur la stratégie finale. Ce manque de contrôle est en effet une des faiblesses empêchant l’adoption des POMDP pour le dialogue dans l’industrie.Dans le domaine du renseignement d’informations touristiques et de la réservation de chambres d’hôtel, les résultats sur des dialogues simulés montrent l’efficacité de l’approche par renforcement associée à un système de règles pour s’adapter à un environnement bruité. Les tests réels sur des utilisateurs humains montrent qu’un système optimisé par renforcement obtient cependant de meilleures performances sur le critère pour lequel il a été optimisé

Statistical methods for a oral human-machine dialog system

Les systèmes de dialogue homme machine actuellement utilisés dans l’industrie sont fortement limités par une forme de communication très rigide imposant à l’utilisateur de suivre la logique du concepteur du système. Cette limitation est en partie due à leur représentation de l’état de dialogue sous la forme de formulaires préétablis.Pour répondre à cette difficulté, nous proposons d’utiliser une représentation sémantique à structure plus riche et flexible visant à permettre à l’utilisateur de formuler librement sa demande.Une deuxième difficulté qui handicape grandement les systèmes de dialogue est le fort taux d’erreur du système de reconnaissance vocale. Afin de traiter ces erreurs de manière quantitative, la volonté de réaliser une planification de stratégie de dialogue en milieu incertain a conduit à utiliser des méthodes d’apprentissage par renforcement telles que les processus de décision de Markov partiellement observables (POMDP). Mais un inconvénient du paradigme POMDP est sa trop grande complexité algorithmique. Certaines propositions récentes permettent de réduire la complexité du modèle. Mais elles utilisent une représentation en formulaire et ne peuvent être appliqués directement à la représentation sémantique riche que nous proposons d’utiliser.Afin d’appliquer le modèle POMDP dans un système dont le modèle sémantique est complexe, nous proposons une nouvelle façon de contrôler sa complexité en introduisant un nouveau paradigme : le POMDP résumé à double suivi de la croyance. Dans notre proposition, le POMDP maitre, complexe, est transformé en un POMDP résumé, plus simple. Un premier suivi de croyance (belief update) est réalisé dans l’espace maitre (en intégrant des observations probabilistes sous forme de listes nbest). Et un second suivi de croyance est réalisé dans l’espace résumé, les stratégies obtenues sont ainsi optimisées sur un véritable POMDP.Nous proposons deux méthodes pour définir la projection du POMDP maitre en un POMDP résumé : par des règles manuelles et par regroupement automatique par k plus proches voisins. Pour cette dernière, nous proposons d’utiliser la distance d’édition entre graphes, que nous généralisons pour obtenir une distance entre listes nbest.En outre, le couplage entre un système résumé, reposant sur un modèle statistique par POMDP, et un système expert, reposant sur des règles ad hoc, fournit un meilleur contrôle sur la stratégie finale. Ce manque de contrôle est en effet une des faiblesses empêchant l’adoption des POMDP pour le dialogue dans l’industrie.Dans le domaine du renseignement d’informations touristiques et de la réservation de chambres d’hôtel, les résultats sur des dialogues simulés montrent l’efficacité de l’approche par renforcement associée à un système de règles pour s’adapter à un environnement bruité. Les tests réels sur des utilisateurs humains montrent qu’un système optimisé par renforcement obtient cependant de meilleures performances sur le critère pour lequel il a été optimisé.Dialog managers (DM) in spoken dialogue systems make decisions in highly uncertain conditions, due to errors from the speech recognition and spoken language understanding (SLU) modules. In this work a framework to interface efficient probabilistic modeling for both the SLU and the DM modules is described and investigated. Thorough representation of the user semantics is inferred by the SLU in the form of a graph of frames and, complemented with some contextual information, is mapped to a summary space in which a stochastic POMDP dialogue manager can perform planning of actions taking into account the uncertainty on the current dialogue state. Tractability is ensured by the use of an intermediate summary space. Also to reduce the development cost of SDS an approach based on clustering is proposed to automatically derive the master-summary mapping function. A implementation is presented in the Media corpus domain (touristic information and hotel booking) and tested with a simulated user

Land Surface Albedo Derived on a Ten Daily Basis from Meteosat Second Generation Observations: The NRT and Climate Data Record Collections from the EUMETSAT LSA SAF

Land surface albedo determines the splitting of downwelling solar radiation into components which are either reflected back to the atmosphere or absorbed by the surface. Land surface albedo is an important variable for the climate community, and therefore was defined by the Global Climate Observing System (GCOS) as an Essential Climate Variable (ECV). Within the scope of the Satellite Application Facility for Land Surface Analysis (LSA SAF) of EUMETSAT (European Organization for the Exploitation of Meteorological Satellites), a near-real time (NRT) daily albedo product was developed in the last decade from observations provided by the Spinning Enhanced Visible and Infrared Imager (SEVIRI) instrument on board the geostationary satellites of the Meteosat Second Generation (MSG) series. In this study we present a new collection of albedo satellite products based on the same satellite data. The MSG Ten-day Albedo (MTAL) product incorporates MSG observations over 31 days with a frequency of NRT production of 10 days. The MTAL collection is more dedicated to climate analysis studies compared to the daily albedo that was initially designed for the weather prediction community. For this reason, a homogeneous reprocessing of MTAL was done in 2018 to generate a climate data record (CDR). The resulting product is called MTAL-R and has been made available to the community in addition to the NRT version of the MTAL product which has been available for several years. The retrieval algorithm behind the MTAL products comprises three distinct modules: One for atmospheric correction, one for daily inversion of a semi-empirical model of the bidirectional reflectance distribution function, and one for monthly composition, that also determines surface albedo values. In this study the MTAL-R CDR is compared to ground surface measurements and concomitant albedo products collected by sensors on-board polar-orbiting satellites (SPOT-VGT and MODIS). We show that MTAL-R meets the quality requirements if MODIS or SPOT-VGT are considered as reference. This work leads to 14 years of production of geostationary land surface albedo products with a guaranteed continuity in the LSA SAF for the future years with the forthcoming third generation of European geostationary satellites

Surface Albedo Retrieval from 40-Years of Earth Observations through the EUMETSAT/LSA SAF and EU/C3S Programmes: The Versatile Algorithm of PYALUS

Land surface albedo quantifies the fraction of the sunlight reflected by the surface of the Earth. This article presents the algorithm concepts for the remote sensing of this variable based on the heritage of several developments which were performed at Méteo France over the last decade and described in several papers by Carrer et al. The scientific algorithm comprises four steps: an atmospheric correction, a sensor harmonisation (optional), a BRDF (Bidirectional Reflectance Distribution Function) inversion, and the albedo calculation. At the time being, the method has been applied to 11 sensors in the framework of two European initiatives (Satellite Application Facility on Land Surface Analysis—LSA SAF, and Copernicus Climate Change Service—C3S): NOAA-7-9-11-14-16-17/AVHRR2-3, SPOT/VGT1-2, Metop/AVHRR-3, PROBA-V, and MSG/SEVIRI. This work leads to a consistent archive of almost 40 years of satellite-derived albedo data (available in 2020). From a single sensor, up to three different albedo products with different characteristics have been developed to address the requirements of both, near real-time (NRT) (weather prediction with a demand of timeliness of 1 h) and climate communities. The evaluation of the algorithm applied to different platforms was recently made by Lellouch et al. and Sánchez Zapero et al. in 2020 which can be considered as companion papers. After a summary of the method for the retrieval of these surface albedos, this article describes the specificities of each retrieval, lists the differences, and discusses the limitations. The plan of continuity with the next European satellite missions and perspectives of improvements are introduced. For example, Metop/AVHRR-3 albedo will soon become the medium resolution sensor product with the longest NRT data record, since MODIS is approaching the end of its life-cycle. Additionally, Metop-SG/METimage will ensure its continuity thanks to consistent production of data sets guaranteed till 2050 by the member states of the European Organisation for the Exploitation of Meteorological Satellites (EUMETSAT). In the end, the common strategy which we proposed through the different programmes may offer an unprecedented opportunity to study the temporal trends affecting surface properties and to analyse human-induced climate change. Finally, the access to the source code (called PYALUS) is provided through an open access platform in order to share with the community the expertise on the satellite retrieval of this variable

Surface Albedo Retrieval from 40-Years of Earth Observations through the EUMETSAT/LSA SAF and EU/C3S Programmes: The Versatile Algorithm of PYALUS

Land surface albedo quantifies the fraction of the sunlight reflected by the surface of the Earth. This article presents the algorithm concepts for the remote sensing of this variable based on the heritage of several developments which were performed at Méteo France over the last decade and described in several papers by Carrer et al. The scientific algorithm comprises four steps: an atmospheric correction, a sensor harmonisation (optional), a BRDF (Bidirectional Reflectance Distribution Function) inversion, and the albedo calculation. At the time being, the method has been applied to 11 sensors in the framework of two European initiatives (Satellite Application Facility on Land Surface Analysis—LSA SAF, and Copernicus Climate Change Service—C3S): NOAA-7-9-11-14-16-17/AVHRR2-3, SPOT/VGT1-2, Metop/AVHRR-3, PROBA-V, and MSG/SEVIRI. This work leads to a consistent archive of almost 40 years of satellite-derived albedo data (available in 2020). From a single sensor, up to three different albedo products with different characteristics have been developed to address the requirements of both, near real-time (NRT) (weather prediction with a demand of timeliness of 1 h) and climate communities. The evaluation of the algorithm applied to different platforms was recently made by Lellouch et al. and Sánchez Zapero et al. in 2020 which can be considered as companion papers. After a summary of the method for the retrieval of these surface albedos, this article describes the specificities of each retrieval, lists the differences, and discusses the limitations. The plan of continuity with the next European satellite missions and perspectives of improvements are introduced. For example, Metop/AVHRR-3 albedo will soon become the medium resolution sensor product with the longest NRT data record, since MODIS is approaching the end of its life-cycle. Additionally, Metop-SG/METimage will ensure its continuity thanks to consistent production of data sets guaranteed till 2050 by the member states of the European Organisation for the Exploitation of Meteorological Satellites (EUMETSAT). In the end, the common strategy which we proposed through the different programmes may offer an unprecedented opportunity to study the temporal trends affecting surface properties and to analyse human-induced climate change. Finally, the access to the source code (called PYALUS) is provided through an open access platform in order to share with the community the expertise on the satellite retrieval of this variable