Personal storytelling: Using Natural Language Generation for children with complex communication needs, in the wild...

This paper describes a Natural Language Generation system (NLG), How was School Today? that automatically creates a personal narrative from sensor data and other media (photos and audio). It can be used by children with complex communication needs in schools to support interactive narrative about personal experiences. The robustness of story generation to missing data was identified as a key area for improvement in a feasibility study of the system at a first special needs school. This paper therefore suggests three possible methods for generating stories from unstructured data: clustering by voice recording, by location, or by time. Clustering based on voice recordings resulted in stories that were perceived as most easy to read, and to make most sense, by parents in a quantitative evaluation. This method was implemented in the live system, which was developed and evaluated iteratively at a second special needs school with children with different usage profiles. Open challenges and possibilities for NLG in augmented and alternative communication are also discussed

Exploring the Potential of Concept Associations for the Creative Generation of Linguistic Artifacts: A Case Study With Riddles and Rhetorical Figures

Automatic generation of linguistic artifacts is a problem that has been sporadically tackled over the years. The main goal of this paper is to explore how concept associations can be useful from a computational creativity point of view to generate some of these artifacts. We present an approach where finding associations between concepts that would not usually be considered as related (for example life and politics or diamond and concrete) could be the seed for the generation of creative and surprising linguistic artifacts such as rhetorical figures (life is like politics) and riddles (what is as hard as concrete?). Human volunteers evaluated the quality and appropriateness of the generated figures and riddles, and the results show that the concept associations obtained are useful for producing these kinds of creative artifacts

Limitations from Assumptions in Generative Music Evaluation

The merit of a given piece of music is difficult to evaluate objectively; the merit of a computational system that creates such a piece of music may be even more so. In this article, we propose that there may be limitations resulting from assumptions made in the evaluation of autonomous compositional or creative systems. The article offers a review of computational creativity, evolutionary compositional methods and current methods of evaluating creativity. We propose that there are potential limitations in the discussion and evaluation of generative systems from two standpoints. First, many systems only consider evaluating the final artefact produced by the system whereas computational creativity is defined as a behaviour exhibited by a system. Second, artefacts tend to be evaluated according to recognised human standards. We propose that while this may be a natural assumption, this focus on human-like or human-based preferences could be limiting the potential and generality of future music generating or creative-AI systems

Real-time generation and adaptation of social companion robot behaviors

Social robots will be part of our future homes. They will assist us in everyday tasks, entertain us, and provide helpful advice. However, the technology still faces challenges that must be overcome to equip the machine with social competencies and make it a socially intelligent and accepted housemate. An essential skill of every social robot is verbal and non-verbal communication. In contrast to voice assistants, smartphones, and smart home technology, which are already part of many people's lives today, social robots have an embodiment that raises expectations towards the machine. Their anthropomorphic or zoomorphic appearance suggests they can communicate naturally with speech, gestures, or facial expressions and understand corresponding human behaviors. In addition, robots also need to consider individual users' preferences: everybody is shaped by their culture, social norms, and life experiences, resulting in different expectations towards communication with a robot. However, robots do not have human intuition - they must be equipped with the corresponding algorithmic solutions to these problems. This thesis investigates the use of reinforcement learning to adapt the robot's verbal and non-verbal communication to the user's needs and preferences. Such non-functional adaptation of the robot's behaviors primarily aims to improve the user experience and the robot's perceived social intelligence. The literature has not yet provided a holistic view of the overall challenge: real-time adaptation requires control over the robot's multimodal behavior generation, an understanding of human feedback, and an algorithmic basis for machine learning. Thus, this thesis develops a conceptual framework for designing real-time non-functional social robot behavior adaptation with reinforcement learning. It provides a higher-level view from the system designer's perspective and guidance from the start to the end. It illustrates the process of modeling, simulating, and evaluating such adaptation processes. Specifically, it guides the integration of human feedback and social signals to equip the machine with social awareness. The conceptual framework is put into practice for several use cases, resulting in technical proofs of concept and research prototypes. They are evaluated in the lab and in in-situ studies. These approaches address typical activities in domestic environments, focussing on the robot's expression of personality, persona, politeness, and humor. Within this scope, the robot adapts its spoken utterances, prosody, and animations based on human explicit or implicit feedback.Soziale Roboter werden Teil unseres zukünftigen Zuhauses sein. Sie werden uns bei alltäglichen Aufgaben unterstützen, uns unterhalten und uns mit hilfreichen Ratschlägen versorgen. Noch gibt es allerdings technische Herausforderungen, die zunächst überwunden werden müssen, um die Maschine mit sozialen Kompetenzen auszustatten und zu einem sozial intelligenten und akzeptierten Mitbewohner zu machen. Eine wesentliche Fähigkeit eines jeden sozialen Roboters ist die verbale und nonverbale Kommunikation. Im Gegensatz zu Sprachassistenten, Smartphones und Smart-Home-Technologien, die bereits heute Teil des Lebens vieler Menschen sind, haben soziale Roboter eine Verkörperung, die Erwartungen an die Maschine weckt. Ihr anthropomorphes oder zoomorphes Aussehen legt nahe, dass sie in der Lage sind, auf natürliche Weise mit Sprache, Gestik oder Mimik zu kommunizieren, aber auch entsprechende menschliche Kommunikation zu verstehen. Darüber hinaus müssen Roboter auch die individuellen Vorlieben der Benutzer berücksichtigen. So ist jeder Mensch von seiner Kultur, sozialen Normen und eigenen Lebenserfahrungen geprägt, was zu unterschiedlichen Erwartungen an die Kommunikation mit einem Roboter führt. Roboter haben jedoch keine menschliche Intuition - sie müssen mit entsprechenden Algorithmen für diese Probleme ausgestattet werden. In dieser Arbeit wird der Einsatz von bestärkendem Lernen untersucht, um die verbale und nonverbale Kommunikation des Roboters an die Bedürfnisse und Vorlieben des Benutzers anzupassen. Eine solche nicht-funktionale Anpassung des Roboterverhaltens zielt in erster Linie darauf ab, das Benutzererlebnis und die wahrgenommene soziale Intelligenz des Roboters zu verbessern. Die Literatur bietet bisher keine ganzheitliche Sicht auf diese Herausforderung: Echtzeitanpassung erfordert die Kontrolle über die multimodale Verhaltenserzeugung des Roboters, ein Verständnis des menschlichen Feedbacks und eine algorithmische Basis für maschinelles Lernen. Daher wird in dieser Arbeit ein konzeptioneller Rahmen für die Gestaltung von nicht-funktionaler Anpassung der Kommunikation sozialer Roboter mit bestärkendem Lernen entwickelt. Er bietet eine übergeordnete Sichtweise aus der Perspektive des Systemdesigners und eine Anleitung vom Anfang bis zum Ende. Er veranschaulicht den Prozess der Modellierung, Simulation und Evaluierung solcher Anpassungsprozesse. Insbesondere wird auf die Integration von menschlichem Feedback und sozialen Signalen eingegangen, um die Maschine mit sozialem Bewusstsein auszustatten. Der konzeptionelle Rahmen wird für mehrere Anwendungsfälle in die Praxis umgesetzt, was zu technischen Konzeptnachweisen und Forschungsprototypen führt, die in Labor- und In-situ-Studien evaluiert werden. Diese Ansätze befassen sich mit typischen Aktivitäten in häuslichen Umgebungen, wobei der Schwerpunkt auf dem Ausdruck der Persönlichkeit, dem Persona, der Höflichkeit und dem Humor des Roboters liegt. In diesem Rahmen passt der Roboter seine Sprache, Prosodie, und Animationen auf Basis expliziten oder impliziten menschlichen Feedbacks an

Generación de recursos lingüísticos mediante la extracción de relaciones entre conceptos

Hoy en día disponemos de una gran cantidad de información en Internet y sería muy positivo poder obtener beneficio de ella para desarrollar sistemas de generación de texto. Nuestro objetivo inicial es desarrollar un generador de recursos lingüísticos basado en asociaciones de conceptos. Un generador de lenguaje natural normalmente tiene acceso a un gran conjunto de conocimiento del que selecciona información y presenta en diferentes formas a los usuarios finales. Por lo tanto, un sistema generador de lenguaje natural debe escoger información de la base de conocimiento, decidir cómo organizarla, y determinar cómo producir el texto en lenguaje natural. El problema ante el que nos encontramos en muchas ocasiones es la desorganización de tanta información disponible en Internet, pues para que resulte útil en el desarrollo de sistemas de Generación de Lenguaje Natural, la información debe estar organizada y relacionada. Esto se está cambiando con la llegada de herramientas relacionadas con la Web Semántica. En este trabajo se va a implementar un generador que, a partir de la información obtenida de algunas de estas herramientas, aquellas relacionadas con la asociación de conceptos semánticos, desarrolle recursos lingüísticos que serán posteriormente evaluados. El objetivo final de este trabajo es conocer el valor de las asociaciones de palabras para la generación de diferentes recursos de lenguaje natural. En un primer momento se ha desarrollado un generador de adivinanzas que crea acertijos sobre conceptos representados como sustantivos comunes. Estos acertijos se basan en comparaciones entre el concepto destino (por ejemplo, un diamante) y otras entidades que comparten algunas de sus propiedades (por ejemplo, el cemento). Los acertijos resultantes se componen como una secuencia de comparaciones utilizando esta plantilla: “Qué es … tan atributo como concepto?”, donde “atributo” es una propiedad del concepto buscado que es la respuesta al acertijo, y “concepto” es una entidad diferente que comparte el valor del atributo con el concepto destino. Por ejemplo, “¿Qué es … tan duro como el cemento y tan transparente como el pelo?” es un acertijo generado para el concepto diamante por el generador de adivinanzas. Posteriormente, se analiza la relación entre asociaciones de palabras ya disponibles en diferentes recursos web y el tipo de guras retóricas que las personas emplean regularmente. El objetivo es identificar regularidades o heurísticas que pueden ser empleadas en una etapa posterior para desarrollar un generador de texto. Será estudiada la capacidad de este sistema para la generación automática de analogías, símiles y metáforas