ZERO-SHOT LEARNING OF INTENT EMBEDDINGS FOR EXPANSION BY CONVOLUTIONAL DEEP STRUCTURED SEMANTIC MODELS

ABSTRACT The recent surge of intelligent personal assistants motivates spoken language understanding of dialogue systems. However, the domain constraint along with the inflexible intent schema remains a big issue. This paper focuses on the task of intent expansion, which helps remove the domain limit and make an intent schema flexible. A convolutional deep structured semantic model (CDSSM) is applied to jointly learn the representations for human intents and associated utterances. Then it can flexibly generate new intent embeddings without the need of training samples and model-retraining, which bridges the semantic relation between seen and unseen intents and further performs more robust results. Experiments show that CDSSM is capable of performing zero-shot learning effectively, e.g. generating embeddings of previously unseen intents, and therefore expand to new intents without re-training, and outperforms other semantic embeddings. The discussion and analysis of experiments provide a future direction for reducing human effort about annotating data and removing the domain constraint in spoken dialogue systems. Index Terms-zero-shot learning, spoken language understanding (SLU), spoken dialogue system (SDS), convolutional deep structured semantic model (CDSSM), embeddings, expansion

MALA: Cross-Domain Dialogue Generation with Action Learning

Response generation for task-oriented dialogues involves two basic components: dialogue planning and surface realization. These two components, however, have a discrepancy in their objectives, i.e., task completion and language quality. To deal with such discrepancy, conditioned response generation has been introduced where the generation process is factorized into action decision and language generation via explicit action representations. To obtain action representations, recent studies learn latent actions in an unsupervised manner based on the utterance lexical similarity. Such an action learning approach is prone to diversities of language surfaces, which may impinge task completion and language quality. To address this issue, we propose multi-stage adaptive latent action learning (MALA) that learns semantic latent actions by distinguishing the effects of utterances on dialogue progress. We model the utterance effect using the transition of dialogue states caused by the utterance and develop a semantic similarity measurement that estimates whether utterances have similar effects. For learning semantic actions on domains without dialogue states, MsALA extends the semantic similarity measurement across domains progressively, i.e., from aligning shared actions to learning domain-specific actions. Experiments using multi-domain datasets, SMD and MultiWOZ, show that our proposed model achieves consistent improvements over the baselines models in terms of both task completion and language quality.Comment: 9 pages, 3 figure

Identificación de múltiples intenciones y sus dependencias subsumidas en múltiples utterances para el desarrollo de Chatbots

Los chatbots son sistemas de procesamiento de lenguaje natural con los que se puede interactuar mediante una interfaz de texto o voz, y han sido adoptados en muchas industrias para responder las preguntas y solicitudes de los usuarios a través de interfaces de chat. Por ende, los chatbots tienen un valor comercial como asistentes virtuales. Tanto es así que se está trabajando en que los chatbots puedan comunicarse con los usuarios de manera similar a la comunicación que hay entre dos humanos; en otras palabras, un usuario debe experimentar la sensación de comunicarse con una persona. A su vez, dado que los chatbots eliminan los factores humanos y están disponibles las 24 horas del día, hay un incremento en la demanda de las capacidades de inteligencia artificial para interactuar con los clientes. En este aspecto, la sensación de comunicarse con una persona puede ser lograda mediante la inclusión de técnicas de comprensión del lenguaje natural, procesamiento del lenguaje natural, generación del lenguaje natural y aprendizaje automático. De este modo, los chatbots son capaces de interpretar una o varias intenciones comunicativas en cada “utterance” de un usuario, siendo que un “utterance” es todo lo que el usuario o chatbot mencionan mientras es su turno de hablar o escribir. Así mismo, los chatbots pueden asociar una o varias intenciones comunicativas a un identificador de “utterances” que contiene varios “utterances”. Por ende, a partir del “utterance” de un usuario, un chatbot es capaz de interpretar una o varias intenciones comunicativas asociadas a un identificador de “utterances”, a través del cual usa los “utterances” contenidos para escoger o generar un “utterance” como respuesta al usuario. No obstante, si bien un chatbot puede identificar múltiples intenciones comunicativas en un enunciado, de un usuario, con un “utterance”, no puede identificar múltiples intenciones comunicativas en un enunciado, de un usuario, que contenga múltiples “utterances”. En consecuencia, tampoco se ha investigado como encontrar los “utterances” de respuesta del chatbot cuando se tiene múltiples “utterances”. Por lo descrito previamente, en este proyecto se propone la implementación de una herramienta para: identificar múltiples intenciones comunicativas en múltiples “utterances”, identificar las dependencias entre intenciones, agrupar las intenciones a partir de sus dependencias, identificar las dependencias entre los grupos de intenciones respecto de los identificadores de “utterances” y los identificadores de “utterances” respecto de los “utterances”. Además, para facilitar el uso de la herramienta, se elabora una interfaz de programación de aplicaciones que recibe múltiples “utterances” en forma de texto, y devuelve los “utterances” segmentados, las intenciones identificadas, los grupos entre intenciones y los “utterances” de respuesta del chatbot para cada grupo de intenciones. Los resultados obtenidos evidencian que los enfoques utilizados son exitosos. Por último, se espera mejorar los resultados con técnicas de inteligencia artificial y computación lingüística

Smart ERP: How business processes in small- and medium-sized service enterprises are affected by artificial intelligence.

En los últimos años, la inteligencia artificial (IA) se ha integrado en más facetas de la vida. En el aspecto de los hogares inteligentes, la IA puede controlar el entorno en función de las preferencias aprendidas de los residentes o en los automóviles que apoya al conductor, mientras que los asistentes personales inteligentes (IPA) ayudan con tareas habituales, como concertar citas o proporcionar información. Esta silenciosa pero floreciente integración de la IA en otras áreas de la vida no se limita a las esferas privadas; las experiencias privadas con IA están aumentando las expectativas de los procesos inteligentes en las aplicaciones empresariales y, por lo tanto, la IA se abre paso cada vez más en los procesos empresariales. El uso de IPA en aplicaciones comerciales como el sistema de planificación de recursos empresariales (ERP) es un aspecto tan importante como la integración del aprendizaje automático (ML) en los procesos comerciales. Sin embargo, las pequeñas y medianas empresas (PYME) se enfrentan particularmente al desafío de integrar la IA en los procesos comerciales, ya que generalmente están luchando con desafíos existentes como la digitalización. La optimización de procesos a través de la IA es un desafío adicional porque, según la literatura, las pymes a menudo no tienen los conocimientos necesarios para integrar la IA por sí mismas. De acuerdo con la literatura, las PyMEs también a menudo carecen de casos de uso concretos en los que la IA pueda integrarse en los procesos comerciales de manera significativa y valiosa. Aquí es donde entra esta tesis y desarrolla casos de uso concretos adaptados a los procesos de las pymes alemanas en el sector de servicios con el fin de optimizarlos con IA. Sobre la base de estos casos de uso, se creó un marco que proporciona funciones IPA y ML y se puede integrar sin problemas en un sistema ERP. La disertación está guiada por la pregunta de investigación: ʺ¿Qué funciones específicas de IA e IPA se reconocen como útiles en el contexto empresarial de las PYME en el sector de servicios?ʺ La implementación fue realizada por Design Science Research como un marco para cumplir con los requisitos tanto desde una perspectiva científica como empresarial. Como parte de esta implementación, se desarrolló una IPA a través de la cual se puede recuperar información de un sistema ERP y también ingresar mediante comandos de voz. Además, se creó una función completamente nueva que permite a la IPA dar al usuario retroalimentación audiovisual sobre una descripción gráfica de modo que tenga lugar una explicación y preinterpretación de los valores mostrados. Esto introduce un nuevo elemento de investigación, hasta ahora inexplorado, que ha sido analizado en el marco de metodologías cuantitativas y cualitativas sobre su utilidad y los factores relevantes que influyen en su valor agregado. A través de la integración en casos de uso, tanto el marco IPA como el ML se exploran de manera práctica. En el primer paso, se realizó una encuesta cuantitativa en la que los usuarios pudieron evaluar sus experiencias con el prototipo de IPA y comunicar mejoras funcionales. Sobre la base de esta retroalimentación, el prototipo se expandió y se combinó con el marco ML. A partir del prototipo final, se aplicó la metodología cualitativa de la entrevista a expertos para identificar la aplicabilidad y los factores que influyen en la utilidad de casos de uso específicos. Para ello, se entrevistó a 10 expertos con conocimientos relevantes en el campo de la gestión empresarial en las PYME alemanas y el conocimiento del proceso correspondiente. A partir de la extracción inductiva de los factores de influencia de los protocolos de entrevista, se realizó otra encuesta cuantitativa entre los expertos para verificar y clasificar los factores de influencia identificados. La entrevista con el experto ha demostrado que el potencial de la IA en las pymes del sector servicios depende de varios factores, algunos de los cuales dependen del proceso individual, como los canales de comunicación, pero también hay factores como el volumen o la ʺgeneralizabilidadʺ que afectan a varias áreas del proceso. El volumen se identificó como el factor de influencia más importante en todos los procesos, mientras que el campo de aplicación se identificó como el factor individual más importante. A partir del prototipo final, se aplicó la metodología cualitativa de la entrevista a expertos para identificar la aplicabilidad y los factores que influyen en la utilidad de casos de uso específicos. Para ello, se entrevistó a 10 expertos con conocimientos relevantes en el campo de la gestión empresarial en las PYME alemanas y el conocimiento del proceso correspondiente. A partir de la extracción inductiva de los factores de influencia de los protocolos de entrevista, se realizó otra encuesta cuantitativa entre los expertos para verificar y clasificar los factores de influencia identificados. La entrevista con el experto ha demostrado que el potencial de la IA en las pymes del sector servicios depende de varios factores, algunos de los cuales dependen del proceso individual, como los canales de comunicación, pero también hay factores como el volumen o la ʺgeneralizabilidadʺ que afectan a varias áreas del proceso. El volumen se identificó como el factor de influencia más importante en todos los procesos, mientras que el campo de aplicación se identificó como el factor individual más importante. Además, se consultó el potencial de optimización para procesarlos en el marco de un análisis de costo‐beneficio. Dentro del análisis de costo‐beneficio, el potencial de ahorro de costos determinado se comparó con los costos de implementación esperados para determinar en qué escenarios una integración de IA tiene sentido económico. Para validar el potencial de ahorro estimado por los expertos, se realizó un experimento en el que se comparó la velocidad de ingresar notas de venta mediante teclado y ratón con ingresarlas mediante comandos de voz a través del IPA. Con base en el análisis de datos, se pudo demostrar que la introducción de la IA en los procesos comerciales tiene un potencial de ahorro de costos de más del 30%. Se debe enfatizar que el potencial de ahorro de costos de la API para la recuperación y entrada de información está significativamente por encima de este promedio en más del 37%. De acuerdo con la evaluación científica de los casos de uso en combinación con los factores de influencia identificados y el potencial de optimización, se desarrolló una guía sobre cómo se pueden mejorar los procesos en las PYMES a través de la IA. Esta directriz, en combinación con el prototipo, permite a las pymes operar mejor el uso de la IA. La implicación teórica más importante es que la implementación del modo de explicación para las API en el entorno empresarial ha creado un elemento de investigación completamente nuevo y se ha introducido en la comunidad académica. En el área de las implicaciones prácticas, se debe enfatizar que el análisis de 16 casos de uso relevantes para la práctica brindó una descripción general completa de las implementaciones de IA para las PYMES en la industria de servicios. Los responsables de la toma de decisiones pueden adaptar los procesos descritos para beneficiarse directamente del potencial de optimización. La directriz antes mencionada puede ayudar a los responsables de la toma de decisiones a seleccionar los procesos adecuados y proporcionar orientación para el proceso de implementación. Además, fue posible mostrar de una manera científicamente sólida el potencial de optimización de la IA en los procesos comerciales y qué factores influyentes son de particular relevancia para la realización de este potencial de optimización.Administración y Dirección de Empresa