Deep Reinforcement Learning for Chatbots Using Clustered Actions and Human-Likeness Rewards

Training chatbots using the reinforcement learning paradigm is challenging due to high-dimensional states, infinite action spaces and the difficulty in specifying the reward function. We address such problems using clustered actions instead of infinite actions, and a simple but promising reward function based on human-likeness scores derived from human-human dialogue data. We train Deep Reinforcement Learning (DRL) agents using chitchat data in raw text—without any manual annotations. Experimental results using different splits of training data report the following. First, that our agents learn reasonable policies in the environments they get familiarised with, but their performance drops substantially when they are exposed to a test set of unseen dialogues. Second, that the choice of sentence embedding size between 100 and 300 dimensions is not significantly different on test data. Third, that our proposed human-likeness rewards are reasonable for training chatbots as long as they use lengthy dialogue histories of ≥10 sentences

Identificación del nivel de complejidad de texto para el entrenamiento de chatbots basado en Machine Learning: una revisión de literatura|

El nivel de complejidad textual puede ser un inconveniente para algunas personas al momento de usar Chatbots, debido a que estos programas podrían dar respuestas cuyo nivel de complejidad no sea el que entienda el usuario. Entonces, aquellos Chatbots deberían ser entrenados con un conjunto de datos cuya complejidad textual sea la deseada, para evitar confusiones con los usuarios. Para ello, se define una revisión sistemática, en la cual se usan las bases de datos de Google Scholar, ACM Digital Library e IEEE Xplore, de las cuáles se obtiene la información necesaria empleando las palabras claves definidas por el método PICOC, obteniendo un total de treinta y ocho documentos que evidencian la existencia de distintas métricas para analizar la complejidad textual de textos, así como experimentos de entrenamiento con Chatbots y los correspondientes resultados de sus interacciones con los usuarios. Además, analizando documentos de tesis asociadas al tema de investigación, se refuerzan los conceptos de que la complejidad textual puede ser analizado mediante conjunto de métricas. Finalmente, en base a lo desarrollado en la revisión de la literatura y documentos de tesis, se presentan las conclusiones deducidas.Trabajo de investigació