Agentes animados personificados en sistemas interactivos: diseño y evaluación

La proliferación de sistemas de interacción hombre-máquina con capacidades cada vez más parecidas a los humanos, ha generado una gran variedad de enfoques y estrategias en la incorporación de la tecnología de los Agentes Animados Personificados en los sistemas interactivos. Esta Tesis aborda esta problemática desde el punto de vista del diseño y la evaluación en dos áreas de aplicación muy específicas: los sistemas de diálogo hablado (SLDSs) orientados a tarea y las aplicaciones educativas destinadas a niños con parálisis cerebral. En el primer dominio de aplicación se analiza cómo puede ayudar un Agente Animado Personificado a mejorar la robustez de un SLDS. Para ello se estudia la problemática de robustez de los SLDS y se diseñan estrategias para la gestión de errores añadiendo información no verbal al sistema por medio de un Agente Animado Personificado. Se plantea una evaluación tradicional del sistema de diálogo desde un punto de vista centrado en el usuario, basada en estándares de la ITU, a la que se han añadido aspectos específicos de los Agentes Animados Personificados que han dado lugar a un estudio exhaustivo de la influencia de esta tecnología en el diálogo. Del estudio comparativo de la experiencia del usuario sobre un prototipo funcional con un Agente Animado Personificado en el interfaz y otro sin él, se concluye que esta tecnología estaría ayudando a mejorar la robustez del sistema en relación a ciertos aspectos de la interacción del usuario con el sistema. Sin embargo esta mejoría no se ve reflejada en la percepción subjetiva y la aceptación del sistema por parte del usuario, debido, probablemente, al compromiso entre las expectativas que estaría generando ésta tecnología y el funcionamiento real del sistema de diálogo. En el segundo dominio de aplicación se estudia el papel de los Agentes Animados Per¬sonificados en la Educación Especial. Se analizan las capacidades de esta tecnología tales como la mejora de la confianza en la interacción, el uso de diferentes roles o el empleo de comunicación no verbal, y se crean aplicaciones que, aportando estas capacidades, sirvan como herramientas de apoyo a la Educación Especial. El diseño y la evaluación en este área se lleva a cabo en un entorno de uso real, mediante una enriquecedora experiencia de trabajo colaborativo en la que participan niños con discapacidad física y psíquica severa, y profesores del Colegio Público de Educación Especial Infanta Elena de Madrid. En el proceso de creación de nuevas aplicaciones se va más allá de los planteamientos tradicio¬nales de diseño y evaluación centrados en el usuario, y se emplean técnicas de codiseño en la que tanto niños como profesores adquieren un papel activo. De esta experiencia se crean dos aplicaciones: Emo y Animaddin. Con ellas se muestra el éxito de la tecnología de los Agentes Animados Personificados como complemento motivador para incitar e involucrar a los niños en la interacción, como patrón gestual de imitación para expresar emociones, y como refuerzo para afianzar el aprendizaje. Por otra parte se observa la necesidad de re-visión continua del comportamiento y la apariencia del Agente Animado Personificado en este tipo de aplicaciones para mantener el interés de los niños, y destaca la importancia de dotar de flexibilidad y accesibilidad al diseño de aplicaciones que incorporen la tecnología de los Agentes Animados Personificados para promover su uso entre el personal docente. In recent years, there has been a proliferation of human-computer interactive systems with abilities that seek to be similar to those of human. As part of these developments, a great variety of approaches and strategies are being proposed for incorporating Embodied Conversational Agents (ECAs) into interactive systems. Following a design and evaluation approach this Thesis analyses a full scope of aspects, from benefits to difficulties and limi¬tations, relevant to the inclusion of ECAs in two specific application areas: task-oriented spoken language dialogue systems (SLDSs) and educational applications for children with cerebral palsy. Regarding the first application domain, a discussion is presented on how an ECA could help to improve robustness in a SLDS. First, problematic situations related to robustness are studied, and various strategies are designed with the object of managing these error-prone situations by adding nonverbal information to the interface, through an Embodied Conversational Agent. Secondly, a user-centered evaluation of the dialogue system is presented, based on International Telecommunication Union (ITU) standards, to which specific parameters related to ECAs have been added. A comprehensive study of the influence of this technology on the dialogue is presented, including a comparative evaluation using a functional prototype with vs. without an ECA in its interface, centred on the user experience. As a result of this evaluation it is concluded that this technology can help to improve dialogue system robustness in relation to specific aspects of the system-user interaction. The observed improvements, however, did not noticeably affect the users’ perceptions and their acceptance of the system. It is suggested that the reason for this discrepancy may be that ECA technology generates higher expectations in users, which are then at odds with the actual performance of the dialogue system. The role of Embodied Conversational Agents in the second application domain, Special Education, is then studied, paying attention to salient aspects such as the improvement of the children’s confidence during the interaction, the different roles that an ECA might adopt, and the nonverbal communication abilities that can be trained. Therefore, based on this analysis, new applications are created as a complement for traditional methods of learning in Special Education. The design and evaluation process was developed in a real environment of use, providing an enriching experience of collaborative work, with children with both severe physical and psychical disabilities and teachers from Special Education School Infanta Elena in Madrid. During the application creation process we intended to go one step further with respect to traditional approaches in user-centered design and evaluation, by employing co-design techniques. Co-design enables both children and tea¬chers to play an active role in the creation of new applications. Two applications have been created following this approach: Emo and Animaddin. The use of both applications shows the success of Embodied Conversational Agent technology to motivate, encourage and involve children in the interaction during the learning process. ECAs are also useful to children as they exhibit gestures that express emotions which can be imitated, and they are also valuable as a reinforcement tool to consolidate the learnt concepts. However, it has been observed that in order to maintain the children’s interest, the ECA’s behavior and appearance has to be continually updated. Furthermore, it is very important to pro¬vide flexibility to, and ensure the accessibility of, the application that incorporates ECA technology, to encourage the educational community to embrace it

ECA gesture strategies for robust SLDSs

This paper explores the use of embodied conversational agents (ECAs) to improve interaction with spoken language dialogue systems (SLDSs). For this purpose we have identified typical interaction problems with SLDSs and associated with each of them a particular ECA gesture or behaviour. User tests were carried out dividing the test users into two groups, each facing a different interaction metaphor (one with an ECA in the interface, and the other implemented only with voice). Our results suggest user frustration is lower when an ECA is present in the interface, and the dialogue flows more smoothly, partly due to the fact that users are better able to tell when they are expected to speak and whether the system has heard and understood. The users’ overall perceptions regarding the system were also affected, and interaction seems to be more enjoyable with an ECA than without it

A good gesture: exploring nonverbal communication for robust SLDSs

Actas de las IV Jornadas de Tecnología del Habla (JTH 2006)In this paper we propose a research framework to explore the possibilities that state-of-the-art embodied conversational agents (ECAs) technology can offer to overcome typical robustness problems in spoken language dialogue systems (SLDSs), such as error detection and recovery, changes of turn and clarification requests, that occur in many human-machine dialogue situations in real applications. Our goal is to study the effects of nonverbal communication throughout the dialogue, and find out to what extent ECAs can help overcome user frustration in critical situations. In particular, we have created a gestural repertoire that we will test and continue to refine and expand, to fit as closely as possible the users’ expectations and intuitions, and to favour a more efficient and pleasant dialogue flow for the users. We also describe the test environment we have designed, simulating a realistic mobile application, as well as the evaluation methodology for the assessment, in forthcoming tests, of the potential benefits of adding nonverbal communication in complex dialogue situations.This work has been possible thanks to the support grant received from project TIC2003-09068-C02-02 of the Spanish Plan Nacional de I+D

Analysis of noise spectra in GaAs and GaN Schottky barrier diodes

The Monte Carlo method is applied in this paper to characterize the noise spectra of GaAs and GaN Schottky barrier diodes operating under static and time varying conditions. We show the influence of the structure of the diode and working regimes on the noise spectrum of the diodes. Besides, the paper evaluates the capabilities of published analytical models to describe the noise spectra in Schottky diodes under time varying conditions. This is a further step towards the development of a design tool that integrates both the electrical response and the intrinsic noise generated in the devices.ROOTHz (FP7-243845

Evaluation of ECA Gesture strategies for robust Human-Computer Interaction

Embodied Conversational Agents (ECAs) offer us the possibility to design pleasant and efficient human-machine interaction. In this paper we present an evaluation scheme to compare dialogue-based speaker authentication and information retrieval systems with and without ECAs on the interface. We used gestures and other visual cues to improve fluency and robustness of interaction with these systems. Our tests results suggest that when an ECA is present users perceive fewer system errors, their frustration levels are lower, turn-changing goes more smoothly, the interaction experience is more enjoyable, and system capabilities are generally perceived more positively than when no ECA is present. However, the ECA seems to intensify the users' privacy concerns

Relatório Diagnóstico sobre o ensino superior e a ciência pós-covid-19 na Ibero-América : perspectivas e desafios 2022

O principal impacto no ensino a partir da declaração da pandemia foi a transição urgente e não planejada para modalidades de ensino remoto de emergência. A pandemia chegou e surpreendeu os países e instituições de ensino superior com capacidades diferentes para o desenvolvimento do ensino remoto de emergência e isso se refletiu nos resultados desiguais e nos desafios que tiveram que superar. Inicialmente apresentada como breve, a suspensão da presencialidade em muitos países da região ultrapassou 40 semanas e é o período sem aulas presenciais mais longo do mundo. A primeira reação das instituições foi criar comitês de crise para lidar com a emergência e garantir a continuidade do ensino de forma remota. A pandemia da covid-19 obrigou asinstituições universitárias a empreenderem esforços institucionais, acadêmicos,tecnológicos, etc., que não estavam em suas agendas e para os quais, em muitos casos,não houve preparação prévia. Esses esforços não foram apresentados de forma equilibrada no panorama regional. Embora as universidades da região já utilizassem plataformas virtuais de apoio ao ensino e à aprendizagem antes da pandemia, a maioria não eram propostas institucionais, mas sim iniciativas individuais. Esta foi a base para a continuidade da aprendizagem durante a emergência, e como a suspensão da presencialidade durou mais tempo, as instituições foram fortalecendo as propostas pedagógicas remotas de emergência no nível institucional, incorporando ferramentas e capacitação de professores. No nível institucional, para favorecer a continuidade da aprendizagem, as universidades não propuseram uma metodologia única, deixando para o pessoal docente a decisão sobre o uso das salas de aulas virtuais. Nelas, foram ministradas a maioria das aulas on-line sincronizadas, pelo menos em um primeiro momento. Embora os esforços das IES para oferecer apoio à comunidade universitária para garantir a continuidade da aprendizagem nas melhores condições possíveis sejam evidentes, havia limitações tecnológicas, tanto em termos de conectividade quanto de equipamentos, que nem sempre puderam ser cobertas. Também foram evidenciadas limitações pedagógicas, apesar do empenho para desenvolver competências básicas nos professores, visando facilitar o uso das possibilidades da educação a distância; e, por último, limitações socioemocionais, com esforços institucionais para reduzir a ansiedade e o stress gerados pelo isolamento e a desconexão social. A função de P&D universitária produziu um duplo movimento: por um lado, parou o planejamento e as ações em desenvolvimento até o surgimento da pandemia e, por outro, teve que disponibilizar e redirecionar recursos para produzir conhecimento sobre o SARS-CoV-2 e a covid-19, bem como para produzir recursos tecnológicos e auxiliar o sistema de saúde na prevenção do contágio, e no atendimento aos doentes e aos efeitos psicossociais da pandemia. As ações dos atores universitários para a contenção epidemiológica quanto à produção tecnológica e de conhecimento, são muito relevantes. Em alguns casos, surgiram de iniciativas institucionais nas IES com um histórico de capacidade de intervenção sociocomunitária e de articulação com o setor produtivo. Nesse sentido, as decisões políticas implementadas e os resultados obtidos foram, em maior ou menor grau, produto da articulação dos setores científicos e governamentais. No campo das IES, foram realizados muitos estudos e pesquisas sobre a SARS-CoV-2, a covid-19, a pandemia e seus efeitos em diferentes campos disciplinares. Em muitos casos, os esforços institucionais foram orientados para a produção e disponibilidade de recursos tecnológicos ou dispositivos de apoio social, especialmente para lidar com os efeitos dos processos do confinamento e luto pessoal. As pesquisas que não estão ligadas à covid-19 ou que não puderam ser mantidas foram adiadas em muitos países e podem enfrentar severas restrições para sua continuidade. Este risco é maior nas universidades dos países mais pobres que dependem de agências doadoras para o financiamento

Informe diagnóstico sobre la educación superior y la ciencia post COVID-19 en Iberoamérica : perspectivas y desafíos de futuro 2022

El principal efecto en la enseñanza a partir de la declaración de la pandemia fue la transición urgente y sin planificación previa a modalidades de enseñanza remota de emergencia. La desigual capacidad para el desarrollo de enseñanza remota de emergencia con que la pandemia sorprendió a países e instituciones del nivel superior, tiene su correlato en los desiguales resultados y los desafíos que tuvieron que superar. La supresión de la presencialidad, que se presentó inicialmente como breve, en muchos países de la región, superó las 40 semanas y se trata del cierre más prolongado a nivel mundial. La primera reacción de las instituciones fue la conformación de comités de crisis para hacer frente a la emergencia y garantizar la continuidad de la enseñanza de manera remota. La pandemia COVID-19 obligó a que las instituciones universitarias llevaran adelante una serie de esfuerzos institucionales, académicos, tecnológicos, etc., que no estaban en sus agendas y para los cuales, en muchos casos, no había preparación previa. Estos esfuerzos no se presentaron de manera equilibrada en el panorama regional. Si bien las universidades de la región utilizaban plataformas virtuales de apoyo a la enseñanza desde antes de la pandemia, estas no eran en su mayoría propuestas institucionales, sino iniciativas individuales. Esta fue la base de la continuidad pedagógica durante la emergencia y a medida que el cierre de la presencialidad se prolongó, las instituciones fueron fortaleciendo las propuestas pedagógicas remotas de emergencia a nivel institucional, incorporando herramientas e instancias de formación docente. Para favorecer la continuidad pedagógica, las universidades a nivel institucional no propusieron una única metodología, dejando estas decisiones de uso de las aulas virtuales al profesorado, desde donde se dictaron mayoritariamente clases sincrónicas virtualizadas, al menos en una primera instancia. Si bien se evidencian los esfuerzos de las IES para ofrecer soporte a la comunidad universitaria con el objetivo de garantizar la continuidad pedagógica en las mejores condiciones, existen limitaciones de orden tecnológico, ya sea de conectividad o equipamiento, que no siempre han podido ser cubiertos. También se evidenciaron limitaciones de orden pedagógico, pese a los esfuerzos destinados a desarrollar las competencias básicas en los docentes para facilitar el aprovechamiento de las posibilidades de la educación a distancia; y, finalmente, de orden socioemocional, con esfuerzos institucionales tendientes a reducir la ansiedad y el estrés que el aislamiento y la desconexión social generaron

[Retrato del Papa San Clemente I] [Material gráfico]

Inscripción: "S. CLEMENTE. I. M

Jornadas de Reconocimiento Biométrico de Personas (4º. 2008. Valladolid)

Producción CientíficaEn este artículo hemos presentado un entorno que soporta la creación de prototipos de aplicaciones biométricas en escenarios móviles. Para ello se facilitan diversos componentes que por un lado, acceden a los recursos audiovisuales de una PDA, y por otro conectan con un servidor para proceder al tratamiento de la información biométrica. Como ejemplo de aplicación práctico del entorno de experimentación se ha desarrollado una utilidad con la que se ha recopilado una base de datos biométrica multimodal de voz y caras en la que han participado 72 personas