Chatbot Interaction with Artificial Intelligence:human data augmentation with T5 and language transformer ensemble for text classification

In this work we present the Chatbot Interaction with Artificial Intelligence (CI-AI) framework as an approach to the training of a transformer based chatbot-like architecture for task classification with a focus on natural human interaction with a machine as opposed to interfaces, code, or formal commands. The intelligent system augments human-sourced data via artificial paraphrasing in order to generate a large set of training data for further classical, attention, and language transformation-based learning approaches for Natural Language Processing (NLP). Human beings are asked to paraphrase commands and questions for task identification for further execution of algorithms as skills. The commands and questions are split into training and validation sets. A total of 483 responses were recorded. Secondly, the training set is paraphrased by the T5 model in order to augment it with further data. Seven state-of-the-art transformer-based text classification algorithms (BERT, DistilBERT, RoBERTa, DistilRoBERTa, XLM, XLM-RoBERTa, and XLNet) are benchmarked for both sets after fine-tuning on the training data for two epochs. We find that all models are improved when training data is augmented by the T5 model, with an average increase of classification accuracy by 4.01%. The best result was the RoBERTa model trained on T5 augmented data which achieved 98.96% classification accuracy. Finally, we found that an ensemble of the five best-performing transformer models via Logistic Regression of output label predictions led to an accuracy of 99.59% on the dataset of human responses. A highly-performing model allows the intelligent system to interpret human commands at the social-interaction level through a chatbot-like interface (e.g. “Robot, can we have a conversation?”) and allows for better accessibility to AI by non-technical users

Identificación de múltiples intenciones y sus dependencias subsumidas en múltiples utterances para el desarrollo de Chatbots

Los chatbots son sistemas de procesamiento de lenguaje natural con los que se puede interactuar mediante una interfaz de texto o voz, y han sido adoptados en muchas industrias para responder las preguntas y solicitudes de los usuarios a través de interfaces de chat. Por ende, los chatbots tienen un valor comercial como asistentes virtuales. Tanto es así que se está trabajando en que los chatbots puedan comunicarse con los usuarios de manera similar a la comunicación que hay entre dos humanos; en otras palabras, un usuario debe experimentar la sensación de comunicarse con una persona. A su vez, dado que los chatbots eliminan los factores humanos y están disponibles las 24 horas del día, hay un incremento en la demanda de las capacidades de inteligencia artificial para interactuar con los clientes. En este aspecto, la sensación de comunicarse con una persona puede ser lograda mediante la inclusión de técnicas de comprensión del lenguaje natural, procesamiento del lenguaje natural, generación del lenguaje natural y aprendizaje automático. De este modo, los chatbots son capaces de interpretar una o varias intenciones comunicativas en cada “utterance” de un usuario, siendo que un “utterance” es todo lo que el usuario o chatbot mencionan mientras es su turno de hablar o escribir. Así mismo, los chatbots pueden asociar una o varias intenciones comunicativas a un identificador de “utterances” que contiene varios “utterances”. Por ende, a partir del “utterance” de un usuario, un chatbot es capaz de interpretar una o varias intenciones comunicativas asociadas a un identificador de “utterances”, a través del cual usa los “utterances” contenidos para escoger o generar un “utterance” como respuesta al usuario. No obstante, si bien un chatbot puede identificar múltiples intenciones comunicativas en un enunciado, de un usuario, con un “utterance”, no puede identificar múltiples intenciones comunicativas en un enunciado, de un usuario, que contenga múltiples “utterances”. En consecuencia, tampoco se ha investigado como encontrar los “utterances” de respuesta del chatbot cuando se tiene múltiples “utterances”. Por lo descrito previamente, en este proyecto se propone la implementación de una herramienta para: identificar múltiples intenciones comunicativas en múltiples “utterances”, identificar las dependencias entre intenciones, agrupar las intenciones a partir de sus dependencias, identificar las dependencias entre los grupos de intenciones respecto de los identificadores de “utterances” y los identificadores de “utterances” respecto de los “utterances”. Además, para facilitar el uso de la herramienta, se elabora una interfaz de programación de aplicaciones que recibe múltiples “utterances” en forma de texto, y devuelve los “utterances” segmentados, las intenciones identificadas, los grupos entre intenciones y los “utterances” de respuesta del chatbot para cada grupo de intenciones. Los resultados obtenidos evidencian que los enfoques utilizados son exitosos. Por último, se espera mejorar los resultados con técnicas de inteligencia artificial y computación lingüística