Hacia una educación inclusiva y personalizada mediante el uso de los sistemas de diálogo multimodal

Los continuos avances en el desarrollo de tecnologías de la información han dado lugar actualmente a la posibilidad de acceder a los contenidos educativos desde cualquier lugar, en cualquier momento y de forma casi instantánea. Sin embargo, la accesibilidad no es siempre considerada como criterio principal en el diseño de aplicaciones educativas, especialmente para facilitar su utilización por parte de personas con discapacidad. Diferentes tecnologías han surgido recientemente para fomentar la accesibilidad a las nuevas tecnologías y dispositivos móviles, favoreciendo una comunicación más natural con los sistemas educativos. En este artículo se describe el uso innovador de los sistemas de diálogo multimodales en el campo de la educación, con un especial énfasis en la descripción de las ventajas que ofrecen para la creación de aplicaciones educativas inclusivas y adaptadas a la evolución de los estudiantes.Continuous advances in the development of information technologies have currently led to the possibility of accessing learning contents from anywhere, at anytime and almost instantaneously. However, accessibility is not always the main objective in the design of educative applications, specifically to facilitate their adoption by disabled people. Different technologies have recently emerged to foster the accessibility of computers and new mobile devices favouring a more natural communication between the student and the developed educative systems. This paper describes innovative uses of multimodal dialog systems in education, with special emphasis in the advantages that they provide for creating inclusive applications and adapted to the students specific evolution.Trabajo parcialmente financiado por los proyectos MINECO TEC2012-37832-C02-01, CICYT TEC2011-28626-C02-02, CAM CONTEXTS (S2009/TIC-1485) y TRA2010-20225-C03-01.Publicad

Aplicaciones de realidad extendida y aplicaciones móviles

La línea de investigación y desarrollo presentada en este artículo realiza actividades de análisis, desarrollo y evaluación de aplicaciones de Realidad Extendida, siendo este un término para englobar en este contexto aplicaciones de Realidad Virtual, Realidad Aumentada, Interfaces Multimodales, Visión por computador. Uno de los principales objetivos es la formación de recursos humanos y el fortalecimiento de la investigación mediante el trabajo intergrupal entre diferentes instituciones nacionales y extranjeras.Eje: Computación Gráfica, Imágenes y Visualización.Red de Universidades con Carreras en Informátic

Desarrollo de una App para la recomendación de actividades de acuerdo con el reconocimiento de emociones del usuario

En este Proyecto Fin de Carrera se ha desarrollado un sistema de recomendación multimodal para Android que consiste en un asistente virtual que reconoce las emociones, identifica el estado de ánimo del usuario y sus preferencias de ocio para recomendar actividades acordes a sus necesidades. Gracias a la aplicación desarrollada, denominada PersonalOcio, el usuario de la aplicación puede visualizar como se encuentra a través de reconocimiento facial y reconocimiento de voz del dispositivo móvil. La aplicación realiza propuestas de ocio que el usuario no tenía contempladas e incluso terapéuticas para mejorar el estado anímico de la persona. El presente proyecto también incluye un estudio completo de los sistemas de diálogo, sistemas de recomendación, reconocimiento facial y análisis de sentimientos con el objetivo principal de incorporar a la aplicación para Android las características típicas de estos sistemas y de este modo aprovechar toda la potencia que ofrecen. Además, se realiza un análisis exhaustivo de la plataforma Android y del entorno de desarrollo de sus aplicaciones, centrándose en las posibilidades que ofrece dicha plataforma para el desarrollo de aplicaciones que permitan tanto la interacción oral con el usuario, es decir, que integren el reconocimiento automático del habla para la entrada, como la interacción visual para el reconocimiento facial. Posteriormente, se determina el potencial de ambas interacciones oral y visual como punto de partida para el análisis de sentimientos y el sistema de recomendación, su importancia en el sector y las posibilidades que ofrece al incluir esta tecnología en el desarrollo de aplicaciones.In this Final Degree Project, a recommender system for Android has developed. It is intended to be used as a virtual assistant that recognizes the emotions, identifies the mood of the user and their leisure preferences to recommend activities according to their needs. Thanks to the application developed, called PersonalOcio, the user of the application can visualize as it is through facial recognition and voice recognition of the mobile device. The application makes leisure proposals that the user had not contemplated and even therapeutic to improve the mood of the person. The present project also includes a complete study of the recommender systems, facial recognition, sentiment analysis and dialogue systems, with the main objective of including to the Android application the typical characteristics of these systems and in this way to take advantage of all the power these systems offer. In addition, a comprehensive analysis of the Android platform and the development environment of its applications is done, focusing on the possibilities offered by this platform for the development of applications that allow both oral interaction with the user, integrate the recognition automatic speech for input, such as visual interaction for facial recognition. Moreover, the potential of both oral and visual interactions is determined as the starting point for the sentiment analysis and the recommendation system, its importance in the sector and the possibilities offered by including this technology in the development of applications.Ingeniería en Informátic

Aplicación de reconocimiento de emociones para personas vulnerables ante la soledad

Crear skill de alexa que pregunte cómo estás a las personas mayores y se registre la respuesta y la emoción relacionada, y sugerir acciones como contactar a una persona. Hacerlo agnóstico para que pueda funcionar en el Pepper

Análisis de la eficacia y fiabilidad de la app Moodies para medir emociones

[ES]Con la mejora en el campo de la tecnología se han creado una diversidad de aplicaciones destinadas a los teléfonos móviles, cada día más usadas entre la población en general. Muchas de éstas han sido destinadas al reconocimiento de emociones pero, ¿cómo de fiables son este tipo de apps? En el presente estudio, hemos analizado la fiabilidad y eficacia de Moodies, una aplicación que con 20 segundos del discurso del interlocutor analiza el estado emocional que desprende su voz. Para ello, sometemos a la app a un análisis de 35 escenas de diferentes películas empleadas para inducir emociones en cuatro idiomas, registrando el output que nos proporciona. A continuación se realizó un análisis lingüístico del mismo con la herramienta LIWC. Por último, volvimos a someter a la app en un segundo momento al análisis de las mismas 35 escenas. Los resultados obtenidos, sugieren que nos encontramos ante una aplicación con un alto índice de fiabilidad, además muestran que en general el idioma no es muy relevante para Moodies, algo que habla a favor de la app ya que analiza la prosodia. Con respecto a las emociones, a grandes rasgos la aplicación las cataloga bastante bien puesto que el output es analizado [EN]With the improvement in the field of technology they have created a variety of applications for mobile phones, most used among the general population every day. Many of these have been designed to recognize emotions but, how reliable are such app? In the present study, we analyzed the reliability and effectiveness of Moodies, an application with 20 seconds of speech interlocutor analyzes the emotional state that shows your voice. To that end, we submit the app to an analysis of 35 scenes from different movies in four languages, recording the output it provides. Performing a linguistic analysis of the LIWC same tool. The results suggest that we are facing an application with a high degree of reliability, also show that in general the language is not very relevant to Moodies, which speaks in favor of the app by analyzing prosody. With regard to emotions, roughly application catalogs them quite well because the output is analyzed by LIWC and classified within the corresponding emotions

La tecnología educativa en la era de las interfaces naturales y el aprendizaje profundo

Las herramientas son un soporte esencial en cualquier actividad humana. A medida que la tecnología avanza, podemos diseñar herramientas más avanzadas que nos ayuden a realizar las actividades de manera más eficiente. Recientemente, hemos visto avances en los dos componentes principales de las herramientas, la interfaz y el motor computacional que hay detrás. Las interfaces naturales nos permiten comunicarnos con las herramientas de una forma más adaptada a los humanos. En relación con el motor, estamos pasando del paradigma de la computación a otro basado en la inteligencia artificial, que aprende a medida que se utiliza. En este documento, examinamos cómo estos avances tecnológicos tienen un impacto en la educación, lo que conduce a entornos de aprendizaje inteligentes (smart learning environments).Los autores agradecen el apoyo de FEDER/Ministerio de Ciencia, Innovación y Universidades - Agencia Estatal de Investigación a través del Proyecto Smartlet (TIN2017-85179-C3-1-R). Este artículo también ha recibido apoyo parcial de la Red eMadrid (e-Madrid-CM), financiada por la Comunidad de Madrid mediante el proyecto S2018/TCS-4307. Este último proyecto también está cofinanciado por los Fondos Estructurales (FSE y FEDER). También se ha recibido apoyo parcial de la Comisión Europea a través de proyectos Erasmus+"Capacity Building in the Field of Higher Education", más específicamente a través de los proyectos COMPETEN-SEA, LALA e InnovaT (574212-EPP-1-2016-1-NL-EPPKA2-CBHE-JP) (586120-EPP-1-2017-1-ES-EPPKA2-CBHE-JP) (598758-EPP-1-2018-1-AT-EPPKA2-CBHE-JP

Mejora en el interfaz de un dispositivo móvil para personas con discapacidad visual mediante el diseño de iconos hápticos

La mayoría de los interfaces de los actuales dispositivos móviles se basan en la visión para comunicar la información al usuario. Sin embargo, debido a que el usuario no se encuentra continuamente mirando la pantalla del dispositivo, y al reducido tamaño de las mismas, la interacción visual con dichos dispositivos suele complementarse con el uso de sonidos. No obstante, si el entorno es ruidoso el uso de sonidos resulta ineficaz, como también resulta ineficaz su uso si se requiere estar en silencio o se necesita el sentido del oído para otras tareas. En estas situaciones, el sentido del tacto puede convertirse en una alternativa para comunicar la información al usuario. Aunque los patrones de vibración que incorporan la mayoría de los smartphones actuales son muy simples y no utilizan la vibración como un canal de comunicación para transmitir información compleja, el uso del canal háptico para transmitir información presenta claras ventajas: • Privacidad: La información se presenta directamente sobre la piel del usuario y por tanto, es privada y no molesta a otras personas. Esto es particularmente útil cuando el usuario quiere recibir información en un entorno donde las alertas acústicas no son aceptables, como un hospital o una biblioteca. • Liberación de otros sentidos: Otra ventaja de usar el canal háptico para transmitir información es que deja libre los canales de comunicación del resto de sentidos. • Capta la atención: El sentido del tacto siempre está alerta para recibir información, ya que está menos ocupado en otras tareas. Además, las señales táctiles captan fácilmente la atención del usuario, por lo que son idóneas para comunicar avisos y alertas. El uso del sentido del tacto se hace especialmente relevante cuando el usuario tiene algún tipo de discapacidad visual, dado que estas personas necesitan mantener disponible el sentido del oído, el cual utilizan, además de para escuchar, como sentido principal para orientarse. Por lo tanto, proveer información táctil a través de dispositivos móviles (teléfonos, smartphones o tabletas) podría ser especialmente beneficioso para este colectivo de usuarios. Esta tesis estudia la mejora en la usabilidad de los dispositivos móviles mediante el uso de iconos táctiles. Con este objetivo se han diseñado e implementado tres aplicaciones. La primera de ellas está orientada a que el usuario aprenda la asociación entre un conjunto de estímulos vibrotáctiles y los contactos de la agenda del teléfono móvil. En el caso de la segunda aplicación el objetivo es similar, en este caso que el usuario aprenda la asociación entre otro conjunto de estímulos vibrotáctiles y las alertas de las diferentes aplicaciones de un smartphone. Sobre estas dos aplicaciones se han llevado a cabo experimentos con usuarios, para determinar en qué forma afecta la capacidad visual de la persona al aprendizaje de la asociación entre estímulos vibrotáctiles y alertas, así como para determinar si el hecho de incluir una etapa de refuerzo en el proceso de aprendizaje mejora los resultados obtenidos. El objetivo de la tercera aplicación es mejorar la exploración a través del tacto de la pantalla del smartphone, con objeto de que el usuario pueda localizar de una forma ágil y precisa la ubicación de los diferentes iconos en la pantalla. Al igual que para las dos anteriores aplicaciones, se han realizado experimentos con usuarios, con el fin de verificar si el uso de vibraciones complejas y variadas permite recordar mejor la ubicación de los iconos de las aplicaciones, y si esta mejora se hace más patente en las personas con discapacidad visual. Los resultados obtenidos indican que las personas con discapacidad visual valoran muy positivamente el uso de estímulos vibrotáctiles complejos, obteniendo una elevada tasa de reconocimiento en las asociaciones entre estímulos y alertas. También puede concluirse que el uso de estímulos vibrotáctiles complejos se revela como una mejora notable en la usabilidad del smartphone, al ayudar a los usuarios a localizar los iconos en la pantalla de una forma más ágil y eficiente. Se puede inferir asimismo que el uso de un refuerzo del aprendizaje mejora de forma significativa los resultados obtenidos por todos los usuarios, resultando ser esta mejora especialmente relevante en los usuarios con discapacidad visual

Actas del XVII Congreso Internacional de Interacción Persona-Ordenador

[ES]En la presente publicación se recogen los trabajos aceptados como ponencias, en cada una de sus modalidades, para el XVII Congreso Internacional de Interacción Persona-Ordenador (Interacción 2016), que se celebra del 13 al 16 de septiembre de 2016 en Salamanca, dentro del marco del IV Congreso Español de Informática (CEDI 2016). Este congreso es promovido por la Asociación de Interacción Persona-Ordenador (AIPO) y su organización ha recaído en esta ocasión, en el grupo de GRIAL de la Universidad de Salamanca. Interacción 2016 es un congreso internacional que tiene como principal objetivo promover y difundir los avances recientes en el área de la Interacción Persona-Ordenador, tanto a nivel académico como empresarial. En este simposio se presentarán nuevas metodologías, novedosos dispositivos de interacción e interfaces de usuario, así como herramientas para su creación y evaluación en los ámbitos industriales y experimentales

Reconocimiento de emociones a partir de imagen y voz

La interacción entre seres humanos y máquinas ya no es cosa de ciencia ficción, es un hecho cotidiano en la vida de millones de personas en todo el mundo. El objetivo de este trabajo es implementar un sistema de reconocimiento de emociones a partir de imagen y voz, con la motivación de hacer de esta interacción algo más humano y natural. Para ello, primeramente, se ha estudiado la naturaleza de las emociones, las diferentes teorías existentes para clasificarlas y su influencia en la expresión facial y en la voz de las personas. Más tarde, se han seleccionado diferentes técnicas de Aprendizaje Automático para conseguir que la máquina aprenda por sí misma a reconocer patrones a partir de ejemplos debidamente etiquetados. Además, se identificaron los diferentes tipos de bases de datos existentes relacionadas con las emociones, comparando sus ventajas e inconvenientes. El sistema resultante posee los bloques básicos de cualquier sistema de clasificación: base de datos, extracción de características y clasificador. La base de datos utilizada consta de 4 locutores, 7 emociones (6 básicas + neutra) y 15 enunciados por emoción (30 en el caso de la neutra). Esto hace un total de 120 enunciados por locutor grabados tanto en vídeo como en audio. Las características en imágenes consisten en la media y la desviación típica de las coordenadas de 60 marcas pintadas en la cara de los locutores durante el período de grabación. Las características de la voz consisten en los coeficientes mel-cepstrales y la frecuencia fundamental. Los clasificadores utilizados han sido el modelo de mezcla de gaussianas (Gaussian Mixture Model, GMM) y la máquina de vectores soporte (Support Vector Machines, SVM). En el proceso de implementación, se han generado 6 sistemas de reconocimiento de emociones diferentes, que se clasifican según la naturaleza de los datos empleados (imagen, voz, imagen y voz) y según la dependencia del locutor (dependientes del locutor e independientes del locutor) siendo el sistema definitivo un sistema de reconocimiento de emociones independiente del locutor a partir de imagen y voz. El resultado de los experimentos llevados a cabo muestra que: los sistemas dependientes del locutor ofrecen mejores prestaciones que los independientes, como era de esperar; los sistemas basados en imagen obtienen mejores resultados que los sistemas basados en voz; los sistemas que fusionan características de imagen y voz mejoran los resultados obtenidos por separado; y el clasificador SVM obtiene una tasa de acierto considerablemente mayor que el GMM.Human-machine interaction is not science fiction anymore; it happens on a daily basis and it concerns millions of people around the world. The aim of this project is developing an emotion recognition system based on image and voice, in order to make this interaction more “human” and natural. For that purpose, firstly, several factors have been studied: the nature of the emotions, the different theories that classify them and the influence they have in people’s facial expression and voice. After that, we have chosen some Machine Learning techniques in order to make the machine learn how to recognize patterns from a collection of examples correctly labelled. Furthermore, we identified different types of databases that contain emotion-related information and we compared their advantages and drawbacks. The final system contains the basic blocks of any classification system: database, feature extraction and classifier. The database used consists of 4 speakers, 7 emotions (6 basic emotions + neutral) and 15 utterances per emotion (30 for neutral). This makes 120 utterances per speaker recorded in audio and video. Feature extraction from images comprises the mean and standard deviation of the coordinates of 60 markers painted on the speaker’s face during the recording. Feature extraction from voice is based on Mel frequency cepstral coefficients and the fundamental frequency. The classifiers that have been employed are the Gaussian Mixture Model (GMM) and the Support Vector Machines (SVM). In the process of implementation, 6 different emotion recognition systems have been generated. They can be classified according to the nature of the data used (image, voice or image and voice) and according to the speaker dependency (speaker-dependent or speaker-independent) being the ultimate system a speaker-independent emotion recognition system based on image and voice. The results of the experiments that have been conducted show that: speaker-dependent systems perform better than speaker-independent ones, as was expected; systems based on image get better results than systems based on voice; the fusion of image features with voice features has better results than each one separated; and the SVM classifier achieves a greater recognition rate than the GMM one.Ingeniería de Sistemas Audiovisuale

Metodologías educativas para niños sordos apoyadas en tecnología móvil y realidad extendida: un análisis sistemático de literatura

This study aims to identify Teaching-Learning (TL) methodologies applied in conjunction with mobile and extended reality applications developed for the deaf community. A systematic literature review of mixed type, cross-sectional between 2016 and 2020, focused on educational mobile applications for deaf children in basic school age is presented, emphasizing the type of methodology and support strategies used, as well as the type of extended reality. development and use technology. The results show little literature that records TL applications for children, the most used communication system is sign language. There are few applications that record the use of collaborative strategies, but playful ones that combine memory, cognitive, metacognitive, metacognitive and affective techniques. Regarding the type of development technology, Android applications supported by multimedia elements stand out, followed by the use of Augmented Reality and a minority for other XR technologie