Lifelong learning et systèmes de dialogue : définition et perspectives

International audienceThis paper aims to define what could be a Lifelong Learning (LL) task-oriented dialogue system. A dialogue system should be able to learn new knowledge, after deployment and continuously, thanks to its interactions with the user. We identify two ways for a task-oriented dialogue system to perform LL: the improvement of its conversational capabilities, and the enrichment of its knowledge base. We apply these ideas to a chatbot developed as part of the LIHLITH project. We suggest that such a system should be able (1) to detect a new situation, (2) to decide when and how to interact with the user in order to extract new knowledge and (3) to adapt itself to these new knowledge by considering their reliability.Le but de cet article est de définir comment le Lifelong Learning (LL) pourrait être appliqué aux systèmes de dialogue orientés tâche. Un système de dialogue devrait être en mesure d'apprendre de nouvelles connaissances, après avoir été déployé, et ceci de manière continue grâce à ses interactions avec l'utilisateur. Nous identifions ainsi deux aspects s'appliquant à un tel système : l'amélioration de ses capacités conversationnelles, et l'enrichissement de sa base de connaissances. Nous appliquons ces idées à un chatbot développé dans le cadre du projet LIHLITH. Nous montrons ainsi qu'un tel système doit être capable (1) de détecter la présence d'une situation inconnue (2) de décider quand et comment interagir avec l'utilisateur afin d'extraire de nouvelles connaissances et (3) de s'adapter à ces nouvelles connaissances, tout en considérant la fiabilité de celles-ci

Lifelong learning and task-oriented dialogue system: what does it mean?

International audienceThe main objective of this paper is to propose a functional definition of lifelong learning system adapted to the framework of task-oriented system. We mainly identified two aspects where a lifelong learning technology could be applied in such system: improve the natural language understanding module and enrich the database used by the system. Given our definition, we present an example of how it could be implemented in an actual task-oriented dialogue system that is developed in the LIHLITH project

Lifelong learning dialogue systems : from conception to evaluation

Les systèmes de dialogue orientés tâche, plus communément appelés chatbots, ont pour but de réaliser des tâches et de fournir des informations à la demande d’un utilisateur dans le cadre d’une conversation et d’un domaine précis (e.g. réservation d’un billet de train). Ces systèmes ont été largement adoptés par de nombreuses entreprises. Cependant, ils souffrent en pratique de certaines limitations : (1) ils sont dépendants des données d’entraînement nécessaires afin d’obtenir un système performant, (2) ils manquent de flexibilité et sont peu performants dès que le cas de figure rencontré en pratique s’éloigne des données vues pendant le développement, et (3) il est difficile de les adapter au cours du temps aux nouveaux éléments qui apparaissent étant donné l’évolution inévitable du monde et des exigences des concepteurs et des utilisateurs. Ainsi, nous appliquons le Lifelong Learning (LL) aux systèmes de dialogue orientés tâche. Nous définissons le LL comme la capacité d’un système à être appliqué à et à apprendre plusieurs tâches au cours du temps, en production, en autonomie, en continu et de manière interactive. Trois étapes doivent alors être réalisées en autonomie par le système : (1) Détecter la présence d’un nouvel élément, (2) extraire et identifier le nouvel élément et (3) adapter les composants du système associés à cet élément. Dans le cadre de cette thèse et étant donné la complexité du sujet, nous nous concentrons sur trois sous-problèmes liés aux systèmes de dialogue apprenant tout au long de leur vie. Dans un 1er temps, nous proposons une 1ère méthodologie pour l’évaluation continue et au cours du temps de l’apprentissage sur le terrain des systèmes de dialogue. Ce type d’apprentissage est proche du LL mais met de côté l’aspect multi-tâches. Nous décrivons aussi un système de dialogue orienté tâche capable d’améliorer sur le terrain sa détection des slots via l’annotation autonome de données collectées au cours de ses interactions. Nous évaluons ce système à travers deux méthodes d’adaptation grâce à notre méthodologie et montrons l’intérêt d’une évaluation continue et au cours du temps. Dans un 2nd temps, nous nous concentrons sur l’étude novatrice du transfert inter-langue dans le cadre de l’apprentissage continu d’une séquence de langues. En effet, le transfert et l’apprentissage continu sont deux aspects importants du LL. Nous réalisons cette étude sur la tâche de détection des slots à l’aide de BERT multilingue. Nous observons des capacités de transfert en avant substantielles malgré la présence d’oubli et présentons les capacités d’un modèle entraîné de manière continue. Dans un 3ème temps, nous nous intéressons à l’étude du transfert inter-domaine dans le cadre de l’apprentissage zero-shot. Nous réalisons cette étude sur la tâche de suivi de l’état du dialogue, qui nécessite de considérer l’ensemble du dialogue et plus seulement le tour courant. Nous étudions d’abord les capacités de généralisation et de transfert d’un modèle existant sur de nouvelles valeurs de slots. Ensuite, nous proposons des variantes du modèle et une méthode capable d’améliorer les performances zero-shot du modèle sur des nouveaux types de slots appartenant à un nouveau domaine.Task-oriented dialogue systems, more commonly known as chatbots, are intended to perform tasks and provide the information required by a user in a conversation in a specific domain (e.g., train booking). These systems have been widely adopted by many companies. However, they suffer in practice from some limitations: (1) they are dependent on the training data needed to obtain a performing system, (2) they lack flexibility and perform poorly as soon as the case encountered in practice moves away from the data seen during development, and (3) it is difficult to adapt them over time to new elements that appear given the inevitable evolution of the world, of the requirements of the designers and users. Thus, we apply Lifelong Learning (LL) to task-oriented dialogue systems. We define LL as the ability of a system to be applied to and learn multiple tasks over time, in production, autonomously, continuously, and interactively. Three steps must be performed in autonomy by the system: (1) Detect the presence of a new element, (2) extract and identify the new element, and (3) adapt the system components associated with this element. As part of this thesis and given the complexity of LL, we focus our work on three subproblems associated with LL dialogue systems. As a first step, we propose a first methodology for the continuous and time-dependent evaluation of on-the-job learning dialogue systems. This type of learning is close to LL but puts aside the multitask aspect. We also describe a task-oriented dialogue system capable of improving its slot detection on-the-job via the autonomous annotation of data collected during its interactions. We evaluate this system through two adaptation methods using our methodology and show interest in a continuous evaluation over time. As a second step, we focus on the innovative study of interlingual transfer when applying continual learning to a language sequence. Indeed, transfer and continual learning are two main aspects of LL. We perform this study on the slot-filling task using multilingual BERT. We observe substantial forward transfer capabilities despite the presence of forgetting and demonstrate the capabilities of a model trained in a continual manner. As a third step, we study inter-domain transfer in the context of zero-shot learning. We carry out this study on a task that requires considering the whole dialogue and not only the current turn, which corresponds to the dialogue state tracking task. We first study the generalization and transfer capabilities of an existing model on new slot values. Then, we propose some model variants and a method able to improve the zero-shot performance of the model on new types of slots belonging to a new domain

Systèmes de dialogue apprenant tout au long de leur vie : de l'élaboration à l'évaluation

Task-oriented dialogue systems, more commonly known as chatbots, are intended to perform tasks and provide the information required by a user in a conversation in a specific domain (e.g., train booking). These systems have been widely adopted by many companies. However, they suffer in practice from some limitations: (1) they are dependent on the training data needed to obtain a performing system, (2) they lack flexibility and perform poorly as soon as the case encountered in practice moves away from the data seen during development, and (3) it is difficult to adapt them over time to new elements that appear given the inevitable evolution of the world, of the requirements of the designers and users. Thus, we apply Lifelong Learning (LL) to task-oriented dialogue systems. We define LL as the ability of a system to be applied to and learn multiple tasks over time, in production, autonomously, continuously, and interactively. Three steps must be performed in autonomy by the system: (1) Detect the presence of a new element, (2) extract and identify the new element, and (3) adapt the system components associated with this element. As part of this thesis and given the complexity of LL, we focus our work on three subproblems associated with LL dialogue systems. As a first step, we propose a first methodology for the continuous and time-dependent evaluation of on-the-job learning dialogue systems. This type of learning is close to LL but puts aside the multitask aspect. We also describe a task-oriented dialogue system capable of improving its slot detection on-the-job via the autonomous annotation of data collected during its interactions. We evaluate this system through two adaptation methods using our methodology and show interest in a continuous evaluation over time. As a second step, we focus on the innovative study of interlingual transfer when applying continual learning to a language sequence. Indeed, transfer and continual learning are two main aspects of LL. We perform this study on the slot-filling task using multilingual BERT. We observe substantial forward transfer capabilities despite the presence of forgetting and demonstrate the capabilities of a model trained in a continual manner. As a third step, we study inter-domain transfer in the context of zero-shot learning. We carry out this study on a task that requires considering the whole dialogue and not only the current turn, which corresponds to the dialogue state tracking task. We first study the generalization and transfer capabilities of an existing model on new slot values. Then, we propose some model variants and a method able to improve the zero-shot performance of the model on new types of slots belonging to a new domain.Les systèmes de dialogue orientés tâche, plus communément appelés chatbots, ont pour but de réaliser des tâches et de fournir des informations à la demande d’un utilisateur dans le cadre d’une conversation et d’un domaine précis (e.g. réservation d’un billet de train). Ces systèmes ont été largement adoptés par de nombreuses entreprises. Cependant, ils souffrent en pratique de certaines limitations : (1) ils sont dépendants des données d’entraînement nécessaires afin d’obtenir un système performant, (2) ils manquent de flexibilité et sont peu performants dès que le cas de figure rencontré en pratique s’éloigne des données vues pendant le développement, et (3) il est difficile de les adapter au cours du temps aux nouveaux éléments qui apparaissent étant donné l’évolution inévitable du monde et des exigences des concepteurs et des utilisateurs. Ainsi, nous appliquons le Lifelong Learning (LL) aux systèmes de dialogue orientés tâche. Nous définissons le LL comme la capacité d’un système à être appliqué à et à apprendre plusieurs tâches au cours du temps, en production, en autonomie, en continu et de manière interactive. Trois étapes doivent alors être réalisées en autonomie par le système : (1) Détecter la présence d’un nouvel élément, (2) extraire et identifier le nouvel élément et (3) adapter les composants du système associés à cet élément. Dans le cadre de cette thèse et étant donné la complexité du sujet, nous nous concentrons sur trois sous-problèmes liés aux systèmes de dialogue apprenant tout au long de leur vie. Dans un 1er temps, nous proposons une 1ère méthodologie pour l’évaluation continue et au cours du temps de l’apprentissage sur le terrain des systèmes de dialogue. Ce type d’apprentissage est proche du LL mais met de côté l’aspect multi-tâches. Nous décrivons aussi un système de dialogue orienté tâche capable d’améliorer sur le terrain sa détection des slots via l’annotation autonome de données collectées au cours de ses interactions. Nous évaluons ce système à travers deux méthodes d’adaptation grâce à notre méthodologie et montrons l’intérêt d’une évaluation continue et au cours du temps. Dans un 2nd temps, nous nous concentrons sur l’étude novatrice du transfert inter-langue dans le cadre de l’apprentissage continu d’une séquence de langues. En effet, le transfert et l’apprentissage continu sont deux aspects importants du LL. Nous réalisons cette étude sur la tâche de détection des slots à l’aide de BERT multilingue. Nous observons des capacités de transfert en avant substantielles malgré la présence d’oubli et présentons les capacités d’un modèle entraîné de manière continue. Dans un 3ème temps, nous nous intéressons à l’étude du transfert inter-domaine dans le cadre de l’apprentissage zero-shot. Nous réalisons cette étude sur la tâche de suivi de l’état du dialogue, qui nécessite de considérer l’ensemble du dialogue et plus seulement le tour courant. Nous étudions d’abord les capacités de généralisation et de transfert d’un modèle existant sur de nouvelles valeurs de slots. Ensuite, nous proposons des variantes du modèle et une méthode capable d’améliorer les performances zero-shot du modèle sur des nouveaux types de slots appartenant à un nouveau domaine

Systèmes de dialogue apprenant tout au long de leur vie : de l'élaboration à l'évaluation

Task-oriented dialogue systems, more commonly known as chatbots, are intended to perform tasks and provide the information required by a user in a conversation in a specific domain (e.g., train booking). These systems have been widely adopted by many companies. However, they suffer in practice from some limitations: (1) they are dependent on the training data needed to obtain a performing system, (2) they lack flexibility and perform poorly as soon as the case encountered in practice moves away from the data seen during development, and (3) it is difficult to adapt them over time to new elements that appear given the inevitable evolution of the world, of the requirements of the designers and users. Thus, we apply Lifelong Learning (LL) to task-oriented dialogue systems. We define LL as the ability of a system to be applied to and learn multiple tasks over time, in production, autonomously, continuously, and interactively. Three steps must be performed in autonomy by the system: (1) Detect the presence of a new element, (2) extract and identify the new element, and (3) adapt the system components associated with this element. As part of this thesis and given the complexity of LL, we focus our work on three subproblems associated with LL dialogue systems. As a first step, we propose a first methodology for the continuous and time-dependent evaluation of on-the-job learning dialogue systems. This type of learning is close to LL but puts aside the multitask aspect. We also describe a task-oriented dialogue system capable of improving its slot detection on-the-job via the autonomous annotation of data collected during its interactions. We evaluate this system through two adaptation methods using our methodology and show interest in a continuous evaluation over time. As a second step, we focus on the innovative study of interlingual transfer when applying continual learning to a language sequence. Indeed, transfer and continual learning are two main aspects of LL. We perform this study on the slot-filling task using multilingual BERT. We observe substantial forward transfer capabilities despite the presence of forgetting and demonstrate the capabilities of a model trained in a continual manner. As a third step, we study inter-domain transfer in the context of zero-shot learning. We carry out this study on a task that requires considering the whole dialogue and not only the current turn, which corresponds to the dialogue state tracking task. We first study the generalization and transfer capabilities of an existing model on new slot values. Then, we propose some model variants and a method able to improve the zero-shot performance of the model on new types of slots belonging to a new domain.Les systèmes de dialogue orientés tâche, plus communément appelés chatbots, ont pour but de réaliser des tâches et de fournir des informations à la demande d’un utilisateur dans le cadre d’une conversation et d’un domaine précis (e.g. réservation d’un billet de train). Ces systèmes ont été largement adoptés par de nombreuses entreprises. Cependant, ils souffrent en pratique de certaines limitations : (1) ils sont dépendants des données d’entraînement nécessaires afin d’obtenir un système performant, (2) ils manquent de flexibilité et sont peu performants dès que le cas de figure rencontré en pratique s’éloigne des données vues pendant le développement, et (3) il est difficile de les adapter au cours du temps aux nouveaux éléments qui apparaissent étant donné l’évolution inévitable du monde et des exigences des concepteurs et des utilisateurs. Ainsi, nous appliquons le Lifelong Learning (LL) aux systèmes de dialogue orientés tâche. Nous définissons le LL comme la capacité d’un système à être appliqué à et à apprendre plusieurs tâches au cours du temps, en production, en autonomie, en continu et de manière interactive. Trois étapes doivent alors être réalisées en autonomie par le système : (1) Détecter la présence d’un nouvel élément, (2) extraire et identifier le nouvel élément et (3) adapter les composants du système associés à cet élément. Dans le cadre de cette thèse et étant donné la complexité du sujet, nous nous concentrons sur trois sous-problèmes liés aux systèmes de dialogue apprenant tout au long de leur vie. Dans un 1er temps, nous proposons une 1ère méthodologie pour l’évaluation continue et au cours du temps de l’apprentissage sur le terrain des systèmes de dialogue. Ce type d’apprentissage est proche du LL mais met de côté l’aspect multi-tâches. Nous décrivons aussi un système de dialogue orienté tâche capable d’améliorer sur le terrain sa détection des slots via l’annotation autonome de données collectées au cours de ses interactions. Nous évaluons ce système à travers deux méthodes d’adaptation grâce à notre méthodologie et montrons l’intérêt d’une évaluation continue et au cours du temps. Dans un 2nd temps, nous nous concentrons sur l’étude novatrice du transfert inter-langue dans le cadre de l’apprentissage continu d’une séquence de langues. En effet, le transfert et l’apprentissage continu sont deux aspects importants du LL. Nous réalisons cette étude sur la tâche de détection des slots à l’aide de BERT multilingue. Nous observons des capacités de transfert en avant substantielles malgré la présence d’oubli et présentons les capacités d’un modèle entraîné de manière continue. Dans un 3ème temps, nous nous intéressons à l’étude du transfert inter-domaine dans le cadre de l’apprentissage zero-shot. Nous réalisons cette étude sur la tâche de suivi de l’état du dialogue, qui nécessite de considérer l’ensemble du dialogue et plus seulement le tour courant. Nous étudions d’abord les capacités de généralisation et de transfert d’un modèle existant sur de nouvelles valeurs de slots. Ensuite, nous proposons des variantes du modèle et une méthode capable d’améliorer les performances zero-shot du modèle sur des nouveaux types de slots appartenant à un nouveau domaine

Évaluer les systèmes de dialogue apprenant sur le terrain et un cas d'étude pour la compréhension du langage naturel

International audienceOn-the-job learning consists in continuously learning while being used in production, in an open environment, meaning that the system has to deal on its own with situations and elements never seen before. The kind of systems that seem to be especially adapted to on-the-job learning are dialogue systems, since they can take advantage of their interactions with users to collect feedback to adapt and improve their components over time. Some dialogue systems performing on-the-job learning have been built and evaluated but no general methodology has yet been defined. Thus in this paper, we propose a first general methodology for evaluating on-the-job learning dialogue systems. We also describe a task-oriented dialogue system which improves on-the-job its natural language component through its user interactions. We finally evaluate our system with the described methodology

Évaluer les systèmes de dialogue apprenant sur le terrain et un cas d'étude pour la compréhension du langage naturel

International audienceOn-the-job learning consists in continuously learning while being used in production, in an open environment, meaning that the system has to deal on its own with situations and elements never seen before. The kind of systems that seem to be especially adapted to on-the-job learning are dialogue systems, since they can take advantage of their interactions with users to collect feedback to adapt and improve their components over time. Some dialogue systems performing on-the-job learning have been built and evaluated but no general methodology has yet been defined. Thus in this paper, we propose a first general methodology for evaluating on-the-job learning dialogue systems. We also describe a task-oriented dialogue system which improves on-the-job its natural language component through its user interactions. We finally evaluate our system with the described methodology

Attention Modulation for Zero-Shot Cross-Domain Dialogue State Tracking

International audienceDialog state tracking (DST) is a core step for task-oriented dialogue systems aiming to track the user's current goal during a dialogue. Recently a special focus has been put on applying existing DST models to new domains, in other words performing zero-shot crossdomain transfer. While recent state-of-theart models leverage large pre-trained language models, no work has been made on understanding and improving the results of first-developed zero-shot models like SUMBT. In this paper, we thus propose to improve SUMBT zero-shot results on MultiWOZ by using attention modulation during inference. This method improves SUMBT zero-shot results significantly on two domains and does not worsen the initial performance with the significant advantage of needing no additional training