Discovering Dialog Rules by means of an Evolutionary Approach

Designing the rules for the dialog management process is oneof the most resources-consuming tasks when developing a dialog system. Although statistical approaches to dialog management are becoming mainstream in research and industrial contexts, still many systems are being developed following the rule-based or hybrid paradigms. For example, when developers require deterministic system responses to keep total control on the decisions made by the system, or because the infrastructure employed is designed for rule-based systems using technologies currently used in commercial platforms. In this paper, we propose the use of evolutionary algorithms to automatically obtain the dialog rules that are implicit in a dialog corpus. Our proposal makes it possible to exploit the benefits of statistical approaches to build rule-based systems. Our proposal has been evaluated with a practical spoken dialog system, for which we have automatically obtained a set of fuzzy rules to successfully manage the dialog.The research leading to these results has received funding from the European Union’s Horizon 2020 research and innovation programme under grant agreement No 823907 (MENHIR project:https://menhir-project.eu

Dynamic Protocol Reverse Engineering a Grammatical Inference Approach

Round trip engineering of software from source code and reverse engineering of software from binary files have both been extensively studied and the state-of-practice have documented tools and techniques. Forward engineering of protocols has also been extensively studied and there are firmly established techniques for generating correct protocols. While observation of protocol behavior for performance testing has been studied and techniques established, reverse engineering of protocol control flow from observations of protocol behavior has not received the same level of attention. State-of-practice in reverse engineering the control flow of computer network protocols is comprised of mostly ad hoc approaches. We examine state-of-practice tools and techniques used in three open source projects: Pidgin, Samba, and rdesktop . We examine techniques proposed by computational learning researchers for grammatical inference. We propose to extend the state-of-art by inferring protocol control flow using grammatical inference inspired techniques to reverse engineer automata representations from captured data flows. We present evidence that grammatical inference is applicable to the problem domain under consideration

Desarrollo y evaluación de diferentes metodologías para la gestión automática del diálogo

El objetivo principal de la tesis que se presenta es el estudio y desarrollo de diferentes metodologías para la gestión del diálogo en sistemas de diálogo hablado. El principal reto planteado en la tesis reside en el desarrollo de metodologías puramente estadísticas para la gestión del diálogo, basadas en el aprendizaje de un modelo a partir de un corpus de diálogos etiquetados. En este campo, se presentan diferentes aproximaciones para realizar la gestión, la mejora del modelo estadístico y la evaluación del sistema del diálogo. Para la implementación práctica de estas metodologías, en el ámbito de una tarea específica, ha sido necesaria la adquisición y etiquetado de un corpus de diálogos. El hecho de disponer de un gran corpus de diálogos ha facilitado el aprendizaje y evaluación del modelo de gestión desarrollado. Así mismo, se ha implementado un sistema de diálogo completo, que permite evaluar el funcionamiento práctico de las metodologías de gestión en condiciones reales de uso. Para evaluar las técnicas de gestión del diálogo se proponen diferentes aproximaciones: la evaluación mediante usuarios reales; la evaluación con el corpus adquirido, en el cual se han definido unas particiones de entrenamiento y prueba; y la utilización de técnicas de simulación de usuarios. El simulador de usuario desarrollado permite modelizar de forma estadística el proceso completo del diálogo. En la aproximación que se presenta, tanto la obtención de la respuesta del sistema como la generación del turno de usuario se modelizan como un problema de clasificación, para el que se codifica como entrada un conjunto de variables que representan el estado actual del diálogo y como resultado de la clasificación se obtienen las probabilidades de seleccionar cada una de las respuestas (secuencia de actos de diálogo) definidas respectivamente para el usuario y el sistema.Griol Barres, D. (2007). Desarrollo y evaluación de diferentes metodologías para la gestión automática del diálogo [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/1956Palanci

Gestión avanzada de turnos para la interacción natural

A medida que la tecnología gana en complejidad y se extiende a más aspectos de nuestras vidas, se requiere de ella que se haga, a la vez, más transparente y accesible para las personas. Es por ello que cada vez toman mayor relevancia los denominados Sistemas de Interacción Natural, enmarcados en la interacción hombre máquina, cuyo objetivo es el de hacer accesible la tecnología a los usuarios a través de los mismos modos, códigos y procedimientos que los humanos utilizan de forma natural para comunicarse entre sí, sin requerir conocimientos previos o habilidades tecnológicas específicas, es decir, según una interacción natural. Este propósito afecta a todos los niveles en los que se estructura el diálogo: organización local, organización global y organización temporal. De todos ellos, es este último nivel el que menos ha sido tratado hasta el momento en el ámbito de los Sistemas de Interacción Natural. Por lo general, en este tipo de sistemas la toma de turno tiende a ser simplificada a un proceso de paso de testigo, en el que los participantes contribuyen a la interacción en un orden predefinido e invariable y en el que es el participante en posesión de la palabra quien decide de qué contenidos dotará a su contribución y durante cuánto tiempo la desarrollará. Esta rigidez en la toma de turno es la causa de alguna de las principales limitaciones que pueden apreciarse en los actuales Sistemas de Interacción Natural: interacciones exclusivamente bipartitas; enunciaciones interpretadas y generadas como elementos indivisibles en el tiempo (sin posibilidades de evolución incremental); omisión del tratamiento de turnos solapados, interrupciones y disfluencias (de gran frecuencia de aparición e importancia en el correcto desarrollo de la interacción natural); o intervenciones producidas como mera consecuencia de los turnos previos o de eventos internos (sin tomar en consideración la oportunidad y necesidad de producir turnos según las reglas de la toma de turno que rigen la interacción humana). Este trabajo parte de las teorías parte de las teorías más aceptadas sobre la forma en la que se desarrolla la toma de turno en la interacción humana para analizar, definir, implementar y evaluar nuevos modelos de conocimiento que permitan a estos sistemas participar en interacciones desarrolladas bajo una toma de turno más humana, donde el orden de intervención de los participantes no esté definido de antemano, la duración de las contribuciones no quede determinada unilateralmente por el participante que la produce, y donde las posibles formas de contribución no queden restringidas a intervenciones primarias producidas exclusivamente bajo la posesión de la palabra. En definitiva, se pretende hacer al sistema parte activa en el reparto de los turnos de la interacción, partiendo de una concepción de la toma de turno como una acción combinada en la que cada participante desarrolla su decisión de toma de turno en cada instante y en función de: sus conjeturas sobre el estado de las metas; el compromiso alcanzado entre los participantes sobre ellas; las circunstancias sociolingüísticas en las que se desarrolla la interacción; y el estado de la toma de turno (qué turnos que se están desarrollando, quién ostenta la posesión de la palabra y quiénes son los candidatos a tomarla). Una decisión de toma de turno que pueda incluso afectar a las contribuciones en curso del sistema, que lejos de desarrollase según una rígida formalización preeliminar, podrán ser reformuladas (e incluso interrumpidas) durante su generación. Resolver estos problemas pasa por revisar las arquitecturas de los Sistemas de Interacción Natural, especialmente en lo que respecta a los componentes Gestor de Presentación y Gestor de Interacción, sobre quienes recaen las nuevas habilidades de toma de turno. Estas habilidades serán: interpretación incremental de las contribuciones de los interlocutores; generación incremental de las enunciaciones del sistema; decisión de toma de turno; estimación del estado de los turnos, estimación del estado de posesión de la palabra; estimación de los participantes designados o candidatos a tomarla; y gestión del estado de las metas de la interacción. El trabajo se completa con la implementación y evaluación de un prototipo que incluye los modelos de conocimiento propuestos. Se presenta una metodología de evaluación que permite comparar diferentes configuraciones de toma de turno sobre un mismo sistema de interacción. Las configuraciones analizadas son: toma de turno por ciclo de interacción; toma de turno según la estrategia descrita en este trabajo; y toma de turno humana. Se hace especial hincapié en evaluar las habilidades descritas con independencia de los componentes de adquisición, síntesis y procesamiento de lenguaje natural, para lo cual se disponen participantes humanos desempeñando las funciones de interfaz de entrada y salida entre el sistema y el usuario. La evaluación considera, tanto parámetros técnicos objetivos de la eficiencia, eficacia y calidad del funcionamiento del sistema, como la valoración subjetiva de la naturalidad de la interacción percibida por el usuario. Los resultados revelan una elevada naturalidad de esta estrategia de toma de turno desarrollada por la propuesta de Sistema de Interacción Natural en aspectos como el orden en el desarrollo de la interacción, la preferencia de los usuarios y lo adecuada y cómoda que resulta la estrategia en situaciones de toma de turno avanzada. Del mismo modo, se consigue una importante mejora con respecto a la toma de turno por ciclo de interacción. -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------As technology spreads to the different aspects of our life and it becomes more and more complex, we demand that this technology become more transparent and accessible to the people. It is for this reason that the called Natural Interaction Systems, framed in the humancomputer interaction, are becoming of more importance in the last years. These systems try to make technology accessible through the same codes, modalities and procedures that people use when interacting with one another, without the need of applying neither previous knowledge nor specific technological abilities. In short, they seek to imitate human behaviour through a natural interaction. Natural Interaction is structured in three organizational levels: global, which describes the links that exist between the different goals of the interaction; local, that represents the internal development of each goal; and temporal, also known as turn-taking. From among all of them, temporal organization of the interaction has been barely dealt up to this moment in the field of Natural Interaction Systems. These systems usually simplify turn-taking to a pass-thebaton process, considering it a collaborative process where two parties, user and system, alternately act in a non-overlapped way. The turn to intervene is passed from one participant to another in an organized manner, and only the one who has gained the floor can contribute to the interaction, and determine unilaterally how he will do so. In short, interaction develops from the beginning to the end as a cyclical process (that we call interaction cycle). For certain interaction domains, for example some transactional domains, this could be a valid approach. However, as technology evolution and potential users demand enhanced interactive abilities (particularly pro-active capabilities and representation of sociolinguistic circumstances), such an approach seems mechanical and unnatural. The current state of the art in Natural Interaction Systems reflects several limitations related with the turn-taking developed in the interaction. Some of these limitations are: solely bipartite interactions; utterances interpreted and generated as indivisible elements (blocking the possibility of develop an incremental processing); no handling neither overlapped turns, nor interruptions and disfluencies (phenomena of utmost importance and frequency in the development of a natural interaction); and interventions produced just as consequence of a previous turn or an internal event (without an evaluation of the opportunity and necessity of generate turns considering the rules that governs turn-taking in human interaction). This work starts from the most accepted theories that describe how turn-taking is developed in the human interaction and applies them in the analysis, definition, implementation and evaluation of a set of new knowledge models that enable these systems to participate in interactions that are developed under a more human turn-taking strategy, where the order of participants’ interventions are not defined beforehand, the lengths and contents of the contributions are not defined unilaterally by the participant who produces them, and where the set of possible types of contribution are not limited to primary contributions, produced only under the possession of the floor. In short, it is attempted to make the system an active participant in the sharing out of turns in the interaction. With this aim, turn-taking is considered as a joint action where each participant realize his own turn-taking decision at each moment, taking into account a set of conjectures related with: the state of the goals; the commitment reached by the participants on them; the sociolinguistic circumstances that surround the interaction; the possession of floor; and finally the candidates to take it. It is tried a turn-taking decision which could even affect the ongoing system’s contributions, that, far of being developed following a rigid preliminary formalization, could be reformulated (and even interrupted) during its generation. In order to solve these problems, Natural Interaction System architectures are revised, especially with regard to the Presentation and Interaction Managers, the components that are responsible of these new turn-taking skills. These skills are: incremental interpretation of users’ contributions; incremental generation of system’s contributions; turn-taking decision; estimation of turn-taking state (turns state, possession of floor and candidates to take it); and goals management in the interaction.Esta tesis ha recibido el apoyo de las redes MAVIR (S-0505/TIC-0267) y MA2VICMR (S2009/TIC-1542); y de los proyectos IntegraTV4ALL (FIT-350301-2004-2), SOPAT (CIT-410000-2007-12), THUBAN y SemAnts (AVANZA I+D TSI-020110-2009-419