Modelo de um jogo de cooperação orientado para a comunidade surda

The rise of digital content and appearance of new devices capable of a more precise motion recognition creates an opportunity for developers to spread their work to a wider audience. A cooperation game model for the deaf is presented in this master thesis. It’s integrated within the VirtualSign project that consist on a bidirectional translator of sign language. The game consists of a first person puzzle game and requires two players to cooperate in order to get through the game. The game has a chat where users can type but it also makes use of the VirtualSign translator to allow deaf users to chat within the game using sign language. The cooperation is not only necessary but also rewarded as the players performance is represented through a score. The players can compare their performances as team with others through the high score list. The interface is fairly intuitive and allows the player to access all the core features needed for the game and the chat. The game story is also translated through the avatar. The game was designed for the deaf community and players aged above 12 years old. It was tested by 10 individuals with ages ranging from 23 to 65 and the feedback was very positive allowing the improvement of a few features. The results of the users testing is represented on the QEF where the game scored a 95% quality rate. This game aims to improve the social inclusion of the deaf community and show that it’s possible to communicate with them in games using their own language.Com o aumento do conteúdo digital e o surgimento de novas tecnologias capazes de obter uma maior precisão na captura e reconhecimento de movimentos, surge a oportunidade para os criadores de software de expandirem os seus conteúdos para mais pessoas. Nesta dissertação do mestrado é apresentado um modelo de um jogo de cooperação orientado para a comunidade surda. Este jogo está integrado no projeto VirtualSign que consiste num tradutor bidirecional de língua gestual. O jogo consiste na resolução de puzzles e é jogado em primeira pessoa. Dentro do jogo existe um chat de texto, no entanto permite aos surdos que usem o tradutor VirtualSign para falar em língua gestual. A conversa aparece sempre em texto e traduzida para língua gestual por um Avatar. A cooperação dentro do jogo não só é necessária como é recompensada através da pontuação dos jogadores. Os jogadores podem comparar as suas performances como equipa através da lista de melhores pontuações. O jogo apresenta vários desafios que só podem ser ultrapassados com a cooperação dos jogadores. A interface é intuitiva e permite aos utilizadores o acesso a todas as principais funcionalidades do jogo e também ao chat. A história do jogo é também traduzida pelo avatar. Isto permite aos utilizadores surdos uma fácil interpretação do jogo, o que não acontece quando só é apresentado texto escrito. O jogo foi criado com principal foco na comunidade surda, para jogadores com idades superiores a 12 anos. Os testes foram feitos por 10 jogadores com idades contidas entre 23 e 65 anos e o feedback foi bastante positivo, o que permitiu que fossem melhorados alguns aspetos funcionais do jogo. Os testes foram feitos em duas fases, alfa e beta. O resultado dos testes encontram-se representados no QEF. O jogo teve uma pontuação final de 95% utilizando o QEF. Este jogo ambiciona melhorar a inclusão social da comunidade surda e mostrar que é possível comunicar com surdos dentro de um jogo utilizando Língua gestual

Tradutor bidirecional de língua gestual portuguesa

Uma das maiores preocupações da Sociedade é promover a igualdade de oportunidades e a inclusão social. Este é um tópico chave na agenda Europeia, em particular ao nível do Ensino. Apesar do esforço que tem vindo a ser realizado por inúmeros investigadores e instituições, as dificuldades inerentes à comunicação entre ouvintes e surdos continua a ser uma barreira significativa para a inclusão. O elevado ritmo de desenvolvimento da tecnologia assistiva possibilitou o aparecimento recente de várias soluções para promover a inclusão da comunidade surda um pouco por todo o mundo. No entanto, no que respeita à língua gestual portuguesa, as soluções atualmente disponíveis são ineficientes e não cobrem as necessidades da comunidade. A criação de um tradutor bidirecional entre português escrito e língua gestual portuguesa permitirá uma comunicação mais fluída e eficiente entre ouvintes e surdos, gerando igualdade de oportunidades e promovendo a inclusão da comunidade surda na sociedade. O objetivo desta tese consiste na promoção da inclusão social da comunidade surda, tornando a comunicação entre surdos e ouvintes mais eficaz. O tradutor automático desenvolvido neste trabalho, denominado VirtualSign, tem capacidade para traduzir gestos em texto e texto em gestos usando um modelo de tradução desenvolvido especificamente para o efeito. O tradutor de gestos para texto utiliza um par de luvas de dados com 14 sensores para reconhecimento da configuração manual e o Kinect para reconhecer os movimentos corporais efetuados pelo utilizador. Os sinais recebidos destes dispositivos são convertidos num modelo de tradução que alimenta um componente de aprendizagem automática para identificar os gestos que estão a ser produzidos. A tradução de texto para gestos utiliza um avatar 3D criado para reproduzir as animações que representam o texto a traduzir. Estas animações representam palavras e expressões da língua portuguesa de sinais que são armazenadas numa base de dados. Um dos aspetos inovadores deste trabalho consiste no facto destas animações serem modeladas com recurso a uma linguagem de scripting o que reduz significativamente o espaço. Esta característica torna possível a utilização do sistema de tradução em dispositivos móveis e em outros contextos em que o espaço de armazenamento seja um aspeto crítico. Para apoiar os surdos e intérpretes de língua gestual a carregar a base de dados de gestos com animações for desenvolvido o VirtualSign Studio; uma aplicação de apoio à configuração de gestos em quaisquer línguas ou dialeto e a geração automática dos scripts correspondentes através da manipulação direta do avatar, ou seja, sem necessidade de conhecimentos técnicos da área informática. Este sistema de configuração está a ser utilizado por uma equipa de surdos e intérpretes de vários países incluindo: Portugal, Brasil, Alemanha, Reino Unido, Eslovénia, Grécia e Chipre. O sistema de tradução VirtualSign está em fase de pré-produção estando a ser desenvolvidas várias aplicações para o dia-a-dia que a breve trecho estarão disponíveis para o público.One of the modern society’s main concerns is promoting equal opportunities to everyone andsocial inclusion is a key topic in the agenda of the European Higher Education. Despite the efforts being made there is still not enough support for the deaf community. The technology has been growing very fast, with this some new applications start to appear, but the Portuguese sign language area is still lacking. This thesis main objective is the creation of bidirectional translator of Portuguese sign language. To be capable of making this translator it was necessary to create two different applications with the capacity of translating gesture into text and text into gesture. The gesture to text translator needs to have two different devices besides the computer, this two devices are a pair of gloves called 5DT gloves that contains 14 different sensors to be capable of recognizing the configurations made by the hand of the user. The second device is the Kinect that is a camera with sensors that has the capacity of recognizing movements made by the user. The text to gesture translator uses one avatar 3D that has been created to reproduce gestores that represents the transcribed text. To perform the gestures the avatar 3D uses an animation parameterization system to make the correct gestures. Translating sign language requires a vast set of parameters that need to be taken into consideration such as hand configuration, arms movement and facial expression. Those characteristics are the components of the translation moments. So, to store all the information required for the translation of words to signs, considering the large number of existing words, the creation of the VirtualSign Studio (VSS) was necessary. The VSS application allows the users to create gestures that represent words. All this development has been possible after an extensive study about sign language and after a study made about the state of art of applications that use sign language. This dissertation was realized on the Instituto Superior de Engenharia do Porto in the TMDEI discipline. This project goal is to obtain a major social inclusion of the deaf community in society, making the communication between deaf people and non-deaf much easier

Developing a Prototype to Translate Pakistan Sign Language into Text and Speech While Using Convolutional Neural Networking

The purpose of the study is to provide a literature review of the work done on sign language in Pakistan and the world. This study also provides a framework of an already developed prototype to translate Pakistani sign language into speech and text while using convolutional neural networking (CNN) to facilitate unimpaired teachers to bridge the communication gap among the deaf learners and unimpaired teachers. Due to the lack of sign language teaching, unimpaired teachers face difficulty in communicating with impaired learners. This communication gap can be filled with the help of this translation tool. Research indicates that a prototype has been evolved that can translate the English textual content into sign language and highlighted that there is a need for translation tool which can translate the signs into English text. The current study will provide an architectural framework of the Pakistani sign language to English text translation tool that how different components of technology like deep learning, convolutional neural networking, python, tensor Flow, and NumPy, InceptionV3 and transfer learning, eSpeak text to speech help in the development of a translation tool prototype. Keywords: Pakistan sign language (PSL), sign language (SL), translation, deaf, unimpaired, convolutional neural networking (CNN). DOI: 10.7176/JEP/10-15-18 Publication date:May 31st 201

Meta-modelo de mecânicas de jogos sérios para surdos e cegos

A promoção da igualdade de oportunidades e inclusão social das pessoas com incapacidades é uma preocupação das sociedades modernas e do Espaço Europeu da Educação. No entanto, apesar da evolução da ciência e da disponibilidade de novas tecnologias para encontrar soluções para combater este problema, ainda há uma grande dificuldade na comunicação com essas comunidades nas suas vidas diárias e nos diferentes ambientes em que estão inseridas. O ambiente educacional não está preparado atualmente para estas comunidades, o que é um problema, já que a educação tem um grande impacto na vida de todos os cidadãos e a existência de barreiras limita oportunidades futuras. O uso de jogos sérios em um ambiente educacional estimula a aprendizagem e o pensamento crítico, mas apesar da relevância dos jogos sérios na comunicação e inclusão social, a partir da recolha de informações concluímos que não há grande variedade de jogos e ferramentas que facilitem a sua criação e sejam acessíveis a pessoas com incapacidades. Nesta tese será discutida e apresentada a arquitetura e o desenvolvimento da plataforma que visa melhorar a inclusão social e o acesso à educação para os surdos e cegos. Para isso, serão disponibilizadas ferramentas que possibilitem que estas comunidades participem na criação de jogos educativos e também que joguem com todos os restantes utilizadores da plataforma, de forma a superar as dificuldades de comunicação e barreiras enfrentadas nas suas vidas diárias, especialmente no ambiente educacional. A plataforma desenvolvida permitirá a criação de jogos educativos, do género Quiz, com a possibilidade de integrar a tecnologia iBeacon, de forma rápida e simples, por qualquer e para qualquer tipo de usuário. Tanto a plataforma quanto os jogos resultantes terão mecanismos de input e output que permitirão a inclusão de utilizadores com incapacidades, como a síntese de voz, o VirtualSign (tradutor bidirecional de linguagem gestual) e o controlo através de comandos de voz.Promoting equal opportunities and social inclusion for people with disabilities is a concern of modern societies and the European Education Area. However, despite the evolution of science and the availability of new technologies to find solutions to combat this problem, there is still a great difficulty in communication with these communities in their daily life and in different environments in which they are inserted. The educational environment is not currently prepared for these communities, which is a problem, since education has a great impact on the lives of all citizens and the existence of barriers limits future opportunities. The use of serious games in an educational environment stimulates learning and critical thinking, but despite the relevance of serious games regarding communication and social inclusion, from the information gathering we concluded that there are no large array of games and tools that facilitate its creation and are accessible to people with disabilities. In this thesis we will discuss and present the architecture and the development of the platform that aims to improve social inclusion and access to education for deaf and blind people. For this purpose, we will provide tools which enable these communities to participate in the creation of educational games and also playing along with all other users of the platform, in order to overcome the communication difficulties and barrier faced by these communities in their daily life, especially in the educational environment. The platform developed will allow the creation of educational games, of the genre Quiz with the possibility of integrating iBeacon technology, quickly and simply, by any and for any type of users. Both the platform and the resulting games will have input and output mechanisms that will allow the inclusion of users with disabilities, such as voice synthesis, VirtualSign (twoway sign language translator) and voice command control

Automatic segmentation of grammatical facial expressions in sign language: towards an inclusive communication experience

Nowadays, natural language processing techniques enable the development of applications that promote communication between humans and between humans and machines. Although the technology related to automated oral communication is mature and affordable, there are currently no appropriate solutions for visual-spatial languages. In the scarce efforts to automatically process sign languages, studies on non-manual gestures are rare, making it difficult to properly interpret the speeches uttered in those languages. In this paper, we present a solution for the automatic segmentation of grammatical facial expressions in sign language. This is a low-cost computational solution designed to integrate a sign language processing framework that supports the development of simple but high value-added applications for the context of universal communication. Moreover, we present a discussion of the difficulties faced by this solution to guide future research in this area

Digital inclusion in cooperation with its users for web strategies: students welcome platform

A informação tem um grande impacto na vida dos cidadãos, como tal a qualidade, disponibilidade e forma de acesso condicionam o conhecimento e as oportunidades no futuro de cada indivíduo. Qualquer contribuição para minimizar as barreiras no acesso à informação promove a equidade. Nos dias que correm, o conteúdo da Internet ainda não está adaptado às pessoas com deficiências auditivas e visuais. O mesmo aplica-se à maioria dos websites das instituições de ensino superior, como é o caso do website do Instituto Superior de Engenharia do Porto (ISEP). Os websites institucionais têm a obrigação de disponibilizar a informação equitativamente entre os estudantes. Mesmo tendo em conta que as instituições de ensino superior dispõem de um espaço físico dedicado ao apoio e integração dos estudantes, a ajuda ou informação requerida não é normalmente disponibilizada atempadamente. O objetivo desta dissertação é apresentar uma proposta para a melhoria da integração dos estudantes do ensino superior através do desenvolvimento de uma plataforma web que promove a equidade. A plataforma web irá contribuir para a resolução de problemas relacionados com a integração e a ansiedade dos estudantes, ao fornecer meios que facilitam a comunicação entre os estudantes, de forma a que possam encontrar colegas predispostos a ajudar. Em alguns casos, estes estudantes terão exatamente as características que correspondem às necessidades de quem procura auxílio, como por exemplo, falar língua gestual ou outra língua verbal. Desta forma, os estudantes não precisarão de esperar pela orientação institucional no início do ano letivo. O conteúdo da plataforma web tem em conta a acessibilidade para estudantes com deficiência auditiva ou visual. O desenvolvimento desta proposta teve em consideração os resultados do inquérito realizado de modo a entender a perceção dos estudantes no que diz respeito à sua integração nas instituições de ensino superior que frequentam.Information greatly impacts citizens’ life, therefore the quality and timely access to it directly interferes in knowledge, and future opportunities. Any proposal aiming to contribute to minimize those barriers promotes equity. Nowadays, web content is still not prepared for users with hearing and visual disabilities. This occurs in most Higher Education Institutions’ websites, such as the website of Instituto Superior de Engenharia do Porto (ISEP). The institutional websites should provide the information in such a way that it could be accessed equally by every student. Even though, the higher education institutions have at least a physical office dedicated to support students’ integration, the help or information required is often not delivered in due time. The focus of this dissertation is to introduce a proposal to improve students’ integration in higher education institutions through a web platform that promotes equity. The web platform will contribute to solve integration and anxiety issues most students face, by providing them with means to easily communicate with other students already predisposed to help, and, in some cases, with a set of characteristics matching their needs. This will allow students to get the help they need in time, without having to wait for formal institutional guidance in the beginning of the school year. The proposed web platform content was developed considering accessibility friendly issues for hearing and visual impaired students. Additionally, a survey was conducted to gather the students’ insights about their integration in the higher education institution they are attending

A Systematic Mapping of Translation-Enabling Technologies for Sign Languages

Sign languages (SL) are the first language for most deaf people. Consequently, bidirectional communication among deaf and non-deaf people has always been a challenging issue. Sign language usage has increased due to inclusion policies and general public agreement, which must then become evident in information technologies, in the many facets that comprise sign language understanding and its computational treatment. In this study, we conduct a thorough systematic mapping of translation-enabling technologies for sign languages. This mapping has considered the most recommended guidelines for systematic reviews, i.e., those pertaining software engineering, since there is a need to account for interdisciplinary areas of accessibility, human computer interaction, natural language processing, and education, all of them part of ACM (Association for Computing Machinery) computing classification system directly related to software engineering. An ongoing development of a software tool called SYMPLE (SYstematic Mapping and Parallel Loading Engine) facilitated the querying and construction of a base set of candidate studies. A great diversity of topics has been studied over the last 25 years or so, but this systematic mapping allows for comfortable visualization of predominant areas, venues, top authors, and different measures of concentration and dispersion. The systematic review clearly shows a large number of classifications and subclassifications interspersed over time. This is an area of study in which there is much interest, with a basically steady level of scientific publications over the last decade, concentrated mainly in the European continent. The publications by country, nevertheless, usually favor their local sign language.The authors thank the School of Computing and the Computer Research Center of the Technological Institute of Costa Rica for the financial support, as well as CONICIT (Consejo Nacional para Investigaciones Científicas y Tecnológicas), Costa Rica, under grant 290-2006. This work was partly supported by the Spanish Ministry of Science, Innovation, and Universities through the Project ECLIPSE-UA under Grant RTI2018-094283-B-C32 and the Project INTEGER under Grant RTI2018-094649-B-I00, and partly by the Conselleria de Educación, Investigación, Cultura y Deporte of the Community of Valencia, Spain, within the Project PROMETEO/2018/089

Tradutor automático de língua portuguesa (voz e texto) para língua gestual portuguesa

Trabalho final de Mestrado para obtenção do grau de Mestre em Engenharia BiomédicaO setor da saúde e da tecnologia têm vindo a ter um grande avanço nas últimas décadas, contudo, ainda existe muitos obstáculos a ultrapassar no que diz respeito à adaptação da sociedade às pessoas com deficiência, nomeadamente a deficiência auditiva. Em Portugal, existem entre 100 a 150 mil pessoas com algum nível de perda auditiva e dessas, cerca de 30 mil utilizam Língua Gestual Portuguesa como língua materna. As maiores dificuldades encontradas pelas pessoas com deficiência auditiva são a pobre comunicação com as pessoas ouvintes, comunicação esta, que se tornou ainda mais complicada com a obrigatoriedade do uso de máscara facial devido à Pandemia Covid-19. Esta dissertação teve como foco o desenvolvimento de um sistema de tradução automático de voz e texto para Língua Gestual Portuguesa. Para tal, foi necessário recorrer a diferentes ferramentas a nível de linguagens de programação de modo a criar um tradutor que contém 23 imagens na base de dados e um grau de confiança entre os 70 e os 90%. Este tradutor difere dos restantes tradutores automáticos disponíveis, uma vez que não utiliza avatares para gestuar, tendo sido criado um tradutor exclusivamente por imagens. O sistema de tradução foi avaliado através de um questionário feito por 3 pessoas surdas da Associação de Surdos do Concelho de Sintra, que utilizam a LGP como meio de comunicação no seu quotidiano, onde avaliaram que o tradutor tem um bom desempenho e será útil para comunidade surda.The health and technology sectors have made great advances in the last decades, however, there are still many obstacles to overcome regarding the adaptation of society to people with disabilities, namely hearing impairment. In Portugal, there are between 100 to 150 thousand people with some level of hearing loss and of these, around 30 thousand use Portuguese Sign Language as mother tongue. The greatest difficulties encountered by the deaf and hearing impaired are poor communication with hearing people, communication which became even more complicated with the mandatory use of face mask due to the Covid-19 Pandemic. This dissertation focused on the development of an automatic voice and text translation system for Portuguese Sign Language. For that, it was necessary to use different programming language tools to create a translator with 23 images in the database and a confidence level between 70 and 90%. This translator differs from the other automatic translators available, since it does not use avatars to gesture, and a translator exclusively by images has been created. The translation system was evaluated through a questionnaire made by three deaf people from the Associação de Surdos do Concelho de Sintra, who use LGP as a mean of communication in their daily life. They evaluated that the translator has a good performance and will be useful for the deaf community.N/

Tradutor automático de língua portuguesa (voz e texto) para língua gestual portuguesa

Mestrado em Engenharia BiomédicaO setor da saúde e da tecnologia têm vindo a ter um grande avanço nas últimas décadas, contudo, ainda existe muitos obstáculos a ultrapassar no que diz respeito à adaptação da sociedade às pessoas com deficiência, nomeadamente a deficiência auditiva. Em Portugal, existem entre 100 a 150 mil pessoas com algum nível de perda auditiva e dessas, cerca de 30 mil utilizam Língua Gestual Portuguesa como língua materna. As maiores dificuldades encontradas pelas pessoas com deficiência auditiva são a pobre comunicação com as pessoas ouvintes, comunicação esta, que se tornou ainda mais complicada com a obrigatoriedade do uso de máscara facial devido à Pandemia Covid-19. Esta dissertação teve como foco o desenvolvimento de um sistema de tradução automático de voz e texto para Língua Gestual Portuguesa. Para tal, foi necessário recorrer a diferentes ferramentas a nível de linguagens de programação de modo a criar um tradutor que contém 23 imagens na base de dados e um grau de confiança entre os 70 e os 90%. Este tradutor difere dos restantes tradutores automáticos disponíveis, uma vez que não utiliza avatares para gestuar, tendo sido criado um tradutor exclusivamente por imagens. O sistema de tradução foi avaliado através de um questionário feito por 3 pessoas surdas da Associação de Surdos do Concelho de Sintra, que utilizam a LGP como meio de comunicação no seu quotidiano, onde avaliaram que o tradutor tem um bom desempenho e será útil para comunidade surda.ABSTRACT - The health and technology sectors have made great advances in the last decades, however, there are still many obstacles to overcome regarding the adaptation of society to people with disabilities, namely hearing impairment. In Portugal, there are between 100 to 150 thousand people with some level of hearing loss, and of these, around 30 thousand use Portuguese Sign Language as their mother tongue. The greatest difficulty encountered by the deaf and hearing impaired is poor communication with hearing people, communication which became even more complicated with the mandatory use of face masks due to the COVID-19 pandemic. This dissertation focused on the development of an automatic voice and text translation system for Portuguese Sign Language. For that, it was necessary to use different programming language tools to create a translator with 23 images in the database and a confidence level between 70 and 90%. This translator differs from the other automatic translators available since it does not use avatars to gesture, and a translator exclusively by images has been created. The translation system was evaluated through a questionnaire made by three deaf people from the Associação de Surdos do Concelho de Sintra, who use LGP as a means of communication in their daily lives. They evaluated that the translator has a good performance and will be useful for the deaf community.N/

ATHENA Research Book, Volume 2

ATHENA European University is an association of nine higher education institutions with the mission of promoting excellence in research and innovation by enabling international cooperation. The acronym ATHENA stands for Association of Advanced Technologies in Higher Education. Partner institutions are from France, Germany, Greece, Italy, Lithuania, Portugal and Slovenia: University of Orléans, University of Siegen, Hellenic Mediterranean University, Niccolò Cusano University, Vilnius Gediminas Technical University, Polytechnic Institute of Porto and University of Maribor. In 2022, two institutions joined the alliance: the Maria Curie-Skłodowska University from Poland and the University of Vigo from Spain. Also in 2022, an institution from Austria joined the alliance as an associate member: Carinthia University of Applied Sciences. This research book presents a selection of the research activities of ATHENA University's partners. It contains an overview of the research activities of individual members, a selection of the most important bibliographic works of members, peer-reviewed student theses, a descriptive list of ATHENA lectures and reports from individual working sections of the ATHENA project. The ATHENA Research Book provides a platform that encourages collaborative and interdisciplinary research projects by advanced and early career researchers