Jogos para o ensino de línguas de sinais/línguas orais escritas para surdos: uma revisão sistemática da literatura

This study carries out a survey about pieces of research which deal with games aiming at the teaching of sign languages and written oral languages to deaf people with the goal of identifying and characterizing the games which have been used for educational contexts. The researchers carried out a systematic review of literature using the Education Resources Information Center (ERIC), Web Science and Scopus database inserting the following terminologies in the wordsearch tool: ‘game’, ‘deaf’ and ‘sign language’. At first, a total of 530 studies were found, and based on a series of criteria, 31 papers were selected as a result of the search. The majority of the games dealt with in the papers are digital and one third of those utilize an electronic device for gesture recognition or sensor of some sort. Games in sign language or bilingual teaching represent most of the selected studies, even though it was observed that a good deal of those games teach only the manual alphabet or isolated sign from the respective sign languages. Furthermore, only a handful of those games make use of sign language in situations which simulate a real communicative context.Este estudio realiza una encuesta sobre investigaciones que abordan los juegos destinados a la enseñanza de lenguas de signos o lenguas orales escritos para sordos con el fin de mapear y caracterizar los juegos que se han utilizado en contextos educativos. Se realizó una revisión bibliográfica sistemática en las bases de datos Education Resources Information Center (ERIC), Web of Science y Scopus, utilizando como términos de búsqueda las palabras: game, deaf e sign language. En la primera búsqueda se encontraron un total de 530 artículos. La selección está basada en los criterios de inclusión y exclusión, que resultó en el análisis de 31 artículos. La mayoría de los juegos utilizados en las obras, son digitales y un tercio de ellos, utiliza algún dispositivo electrónico para reconocer gestos o sensores. Los juegos para la enseñanza de la lengua de signos o bilingües, representan la mayoría de los estudios seleccionados, sin embargo observamos que una buena parte enseña solo el alfabeto manual o signos aislados de las lenguas de signos. Pocos juegos han hecho uso de lenguas de signos en situaciones que simulan un contexto de comunicación real.Este estudo realiza um levantamento sobre pesquisas que abordam jogos voltados para o ensino de línguas de sinais ou de línguas orais escritas para surdos com objetivo de mapear e caracterizar os jogos que têm sido utilizados em contextos educacionais. Realizou-se uma revisão sistemática da literatura nas bases Education Resources Information Center (ERIC), Web of Science e Scopus, utilizando como termos de busca as palavras: game, deaf e sign language. Na primeira busca, foram encontrados um total de 530 artigos. A seleção com base nos critérios de inclusão e exclusão resultou na análise de 31 trabalhos. A maioria dos jogos utilizados nos trabalhos são digitais, e um terço deles faz uso de algum dispositivo eletrônico para reconhecimento de gestos ou sensores. Os jogos para ensino de língua de sinais ou bilíngues representam a maioria dos estudos selecionados, porém observamos que boa parte ensina apenas o alfabeto manual ou sinais isolados das línguas de sinais. Poucos jogos fizeram o uso das línguas de sinais em situações que simulem um contexto real de comunicação

Serious Game para el aprendizaje de gestos estáticos del lenguaje de señas peruano mediante el uso de realidad virtual

El presente proyecto tiene como objetivo el desarrollo de un juego serio para el aprendizaje de gestos básicos de la lengua de señas peruana en realidad virtual para personas que no padezcan de sordera, utilizando el dispositivo HTC Vive. El juego, al cual nombramos Sign Shooting, consta de 8 niveles en donde el jugador deberá aprender 3 gestos de letras por cada uno de éstos, y al final una prueba de los conocimientos aprendidos. Se implementó el Vive Hand Tracking SDK para la detección de las manos del usuario y sus características espaciales. Con esta información, generamos un dataset de los gestos a aprender, el cual utilizamos para entrenar un modelo de redes neuronales para el reconocimiento de señas, el cual fue validado con las métricas de bias y varianza. Para validar nuestra propuesta, se pidió a los usuarios completar el juego y a continuación responder una encuesta dividida en experiencia de juego y aprendizaje del usuario. Los resultados obtenidos muestran un puntaje promedio en la experiencia usuario mayor de 4 (de un máximo de 5) y que en toda la sesión de juego se aprenden un promedio de 17 gestos de letras (de un total de 24), significando que los usuarios consideran el juego entretenido, inmersivo y que cumple con su objetivo de enseñanza. Finalmente, se concluye que el uso de realidad virtual incentiva a que el usuario se sienta comprometido con el juego y busque llegar a su objetivo.This project aims to develop a serious game for learning basic gestures of the Peruvian sign language in virtual reality to non-deaf people, employing the HTC Vive device. The game, which we name Sign Shooting, consists of 8 levels where the player must learn 3 gestures for each of these, and finally a test about the learned knowledge. The game implements the Vive Hand Tracking SDK to detect the user’s hands and their spatial features. With this information, we generate a dataset of the gestures to learn, which we use to train a neural network model for sign recognition and validate it with the bias and variance metrics. To validate our proposal, users were asked to complete the game and then answer a survey divided into user game experience and learning. The results obtained in the experiments show an average score in the user experience greater than 4 (of a maximum of 5) and that in the entire game session an average of 17 letter gestures (of a total of 24) are learned, meaning that users consider the game entertaining, immersive and that meets its teaching objective. Finally, we conclude that the use of virtual reality encourages the user to feel committed to the game and seek to reach its goal.Tesi

Development of a serious game for Portuguese Sign Language

Human-computer interaction by gesture recognition has been a technology increasingly powerful and with a wide range of applications. The aim of this research is to take advantage of these resources and tools, developing an application for gesture recognition in Portuguese Sign Language (PSL) focused in helping disabled deaf and/or mute and hearing children to learn PSL. The PSL involves the use of hands and facial expressions to interact, where the output of the communication (talk) comes from the hands and/or body and the input comes from the eyes observation (hear). This paper presents a serious game for children in the 1st cycle (primary Portuguese school) between the ages of 6 to 10 years. The game is based on a story, in order to promote the motivation of the students in the learning of the Portuguese Sign Language.info:eu-repo/semantics/publishedVersio