Jogos para o ensino de línguas de sinais/línguas orais escritas para surdos: uma revisão sistemática da literatura

This study carries out a survey about pieces of research which deal with games aiming at the teaching of sign languages and written oral languages to deaf people with the goal of identifying and characterizing the games which have been used for educational contexts. The researchers carried out a systematic review of literature using the Education Resources Information Center (ERIC), Web Science and Scopus database inserting the following terminologies in the wordsearch tool: ‘game’, ‘deaf’ and ‘sign language’. At first, a total of 530 studies were found, and based on a series of criteria, 31 papers were selected as a result of the search. The majority of the games dealt with in the papers are digital and one third of those utilize an electronic device for gesture recognition or sensor of some sort. Games in sign language or bilingual teaching represent most of the selected studies, even though it was observed that a good deal of those games teach only the manual alphabet or isolated sign from the respective sign languages. Furthermore, only a handful of those games make use of sign language in situations which simulate a real communicative context.Este estudio realiza una encuesta sobre investigaciones que abordan los juegos destinados a la enseñanza de lenguas de signos o lenguas orales escritos para sordos con el fin de mapear y caracterizar los juegos que se han utilizado en contextos educativos. Se realizó una revisión bibliográfica sistemática en las bases de datos Education Resources Information Center (ERIC), Web of Science y Scopus, utilizando como términos de búsqueda las palabras: game, deaf e sign language. En la primera búsqueda se encontraron un total de 530 artículos. La selección está basada en los criterios de inclusión y exclusión, que resultó en el análisis de 31 artículos. La mayoría de los juegos utilizados en las obras, son digitales y un tercio de ellos, utiliza algún dispositivo electrónico para reconocer gestos o sensores. Los juegos para la enseñanza de la lengua de signos o bilingües, representan la mayoría de los estudios seleccionados, sin embargo observamos que una buena parte enseña solo el alfabeto manual o signos aislados de las lenguas de signos. Pocos juegos han hecho uso de lenguas de signos en situaciones que simulan un contexto de comunicación real.Este estudo realiza um levantamento sobre pesquisas que abordam jogos voltados para o ensino de línguas de sinais ou de línguas orais escritas para surdos com objetivo de mapear e caracterizar os jogos que têm sido utilizados em contextos educacionais. Realizou-se uma revisão sistemática da literatura nas bases Education Resources Information Center (ERIC), Web of Science e Scopus, utilizando como termos de busca as palavras: game, deaf e sign language. Na primeira busca, foram encontrados um total de 530 artigos. A seleção com base nos critérios de inclusão e exclusão resultou na análise de 31 trabalhos. A maioria dos jogos utilizados nos trabalhos são digitais, e um terço deles faz uso de algum dispositivo eletrônico para reconhecimento de gestos ou sensores. Os jogos para ensino de língua de sinais ou bilíngues representam a maioria dos estudos selecionados, porém observamos que boa parte ensina apenas o alfabeto manual ou sinais isolados das línguas de sinais. Poucos jogos fizeram o uso das línguas de sinais em situações que simulem um contexto real de comunicação

Metodologías educativas para niños sordos apoyadas en tecnología móvil y realidad extendida: un análisis sistemático de literatura

This study aims to identify Teaching-Learning (TL) methodologies applied in conjunction with mobile and extended reality applications developed for the deaf community. A systematic literature review of mixed type, cross-sectional between 2016 and 2020, focused on educational mobile applications for deaf children in basic school age is presented, emphasizing the type of methodology and support strategies used, as well as the type of extended reality. development and use technology. The results show little literature that records TL applications for children, the most used communication system is sign language. There are few applications that record the use of collaborative strategies, but playful ones that combine memory, cognitive, metacognitive, metacognitive and affective techniques. Regarding the type of development technology, Android applications supported by multimedia elements stand out, followed by the use of Augmented Reality and a minority for other XR technologie

Serious Game para el aprendizaje de gestos estáticos del lenguaje de señas peruano mediante el uso de realidad virtual

El presente proyecto tiene como objetivo el desarrollo de un juego serio para el aprendizaje de gestos básicos de la lengua de señas peruana en realidad virtual para personas que no padezcan de sordera, utilizando el dispositivo HTC Vive. El juego, al cual nombramos Sign Shooting, consta de 8 niveles en donde el jugador deberá aprender 3 gestos de letras por cada uno de éstos, y al final una prueba de los conocimientos aprendidos. Se implementó el Vive Hand Tracking SDK para la detección de las manos del usuario y sus características espaciales. Con esta información, generamos un dataset de los gestos a aprender, el cual utilizamos para entrenar un modelo de redes neuronales para el reconocimiento de señas, el cual fue validado con las métricas de bias y varianza. Para validar nuestra propuesta, se pidió a los usuarios completar el juego y a continuación responder una encuesta dividida en experiencia de juego y aprendizaje del usuario. Los resultados obtenidos muestran un puntaje promedio en la experiencia usuario mayor de 4 (de un máximo de 5) y que en toda la sesión de juego se aprenden un promedio de 17 gestos de letras (de un total de 24), significando que los usuarios consideran el juego entretenido, inmersivo y que cumple con su objetivo de enseñanza. Finalmente, se concluye que el uso de realidad virtual incentiva a que el usuario se sienta comprometido con el juego y busque llegar a su objetivo.This project aims to develop a serious game for learning basic gestures of the Peruvian sign language in virtual reality to non-deaf people, employing the HTC Vive device. The game, which we name Sign Shooting, consists of 8 levels where the player must learn 3 gestures for each of these, and finally a test about the learned knowledge. The game implements the Vive Hand Tracking SDK to detect the user’s hands and their spatial features. With this information, we generate a dataset of the gestures to learn, which we use to train a neural network model for sign recognition and validate it with the bias and variance metrics. To validate our proposal, users were asked to complete the game and then answer a survey divided into user game experience and learning. The results obtained in the experiments show an average score in the user experience greater than 4 (of a maximum of 5) and that in the entire game session an average of 17 letter gestures (of a total of 24) are learned, meaning that users consider the game entertaining, immersive and that meets its teaching objective. Finally, we conclude that the use of virtual reality encourages the user to feel committed to the game and seek to reach its goal.Tesi

Desenvolvimento de jogos sérios orientados à prevenção de lesões nas mãos originadas pelo esforço repetitivo

Dissertação de mestrado integrado em Engenharia Eletrónica Industrial e ComputadoresA utilização diária de movimentos repetitivos com as mãos causa lesões que influenciam negativamente o desempenho das pessoas. Estas lesões por esforços repetitivos estão principalmente relacionadas com atividades profissionais, onde os funcionários estão sujeitos a um elevado ritmo de trabalho, onde as tarefas realizadas levam, muitas vezes, a ações repetitivas especialmente em pessoas que trabalham em altos níveis de industrialização, retalhos ou com o uso de tecnologia avançada no processo produtivo. O objetivo desta dissertação é o desenvolvimento de um conjunto de jogos sérios para evitar lesões nas mãos por esforços repetitivos. Estes jogos recebem, como comandos, os diversos exercícios de prevenção executados pelo jogador. Os exercícios de prevenção, realizados pelo jogador são capturados através do sensor 3D, sendo ele a câmara Intel RealSense 3D F200, responsável pela deteção das mãos e dos seus movimentos. O conjunto de jogos foi desenvolvido no software Unity e está associado a este sensor. Os utilizadores que testaram a usabilidade do sistema não foram treinados para jogar os jogos, e não deram continuidade à utilização do sistema, limitando a experiência a um único teste. Assim, com a realização de testes, com vários utilizadores, foi possível detetar as principais restrições do sistema, e obter através de um questionário as opiniões dos jogadores sobre cada jogo em particular e sobre o sistema em geral. Foi concluído que deveria ser criada uma versão dos jogos com um tutorial antes de cada jogo, para novos utilizadores, e que como previsto, a deteção dos exercícios de alongamento foram os mais complicados de detetar pelo sistema, devido à sobreposição e toque entre as mãos. A crescente preocupação nas lesões provocadas em atividades profissionais leva a uma maior procura por soluções. Assim, a implementação deste tipo de jogos pode ser uma mais-valia, pois pode originar, de forma mais divertida e motivante, uma redução ou até mesmo a eliminação de lesões por esforços repetitivos.The daily use of repetitive hand movements causes strain injuries and negatively influence the people performance. These strain injuries are mostly related to professional activities, where the employees are subject to a high rate of work. The performed tasks often lead to repetitive actions, especially in people that work at high levels of industrialization, patchwork or in use of advanced technology in productive process. The objective of this dissertation is the development of a serious games set to prevent strain injuries in hands. These games receive as commands the diverse prevention exercises executed by the player. The prevention exercises are recognized through the detection of the user hands, and their movements. The serious games were developed in the Unity software, where it will be associated to the Intel RealSense 3D Camera F200. The users who tested the usability of the system were not trained to play these games and did not continue to use the system, limiting the experience to a single test. Thus, by performing tests with several users, it was possible to detect the main constrains of the system, and through a questionnaire it was obtained the opinions of the players about each game and about the system in general. It was concluded that a tutorial version of the games should be created, for new users and, as expected, the detection of the stretching exercises were the most complicated exercises to detect by the system due to the overlap and touch between the hands. The growing concern about strain injuries caused by professional activities leads to a higher pursuit for solutions. So, the implementation of this type of games can be an asset, as it can lead, in a more fun and motived way, to a reduction or even help to eliminate strain injuries

A serious game for learning portuguese sign language - "iLearnPSL"

Several thousands of people in Portugal use Portuguese sign language (PSL). Children belonging to this community have difficulties with communication and learning processes. There are some applications that focuses on teaching/learning PSL but with a limited interaction with the user, such as presentation of images of a hand gesture picture or avatar where the user must mimic the respective PSL hand gesture. Some other applications are more advanced using sensors to detect movements and gestures performed by the user. However, these applications do not implement an automatic interaction with the user of PSL. Following this trend, the main idea of this project is to develop a solution where deaf child can learn PSL in an interactive, dynamic and funny way. Therefore, this paper describes the first insights in the development of an interactive and didactic virtual game tool to learn the Portuguese Sign Language, in particular the numbers from 0 to 9. The alphabet and colors will be also included in the future. The target group considers deaf children in the first cycle of education level (primary Portuguese school). The developed game promotes the automatic interaction with the user through the Leap Motion controller. The system captures the hands and fingers gestures performed by the user and the graphical interface returns the adequate feedback. The preliminary results obtained show a good level of user experience with therapists.This work has been supported by COMPETE: POCI-01-0145-FEDER-007043 and FCT - "Fundacao para a Ciencia e Tecnologia" within the Project Scope: UID/CEC/00319/2013