Avatar 3D para síntese automática de sinais da língua de sinais brasileira

Resumo: A Libras, Língua de Sinais Brasileira, utilizada por pessoas com deficiência auditiva, tem impulsionado estudos nos mais diversos campos. Na área de tecnologia de informação não e diferente. Para pessoas com esta deficiência, sistemas com representação virtual podem ter seu uso em vários aspectos do cotidiano, servindo de ferramenta para acesso a informações. Os softwares que utilizam um ambiente virtual voltado para línguas de sinais existentes, contudo, são baseados em sinais indivisíveis e não em parâmetros de um modelo computacional, ou mesmo soletração. Assim, os sistemas ficam limitados a uma lista de palavras, ou sinais, prontos. Alem disso, muitos destes softwares são comerciais, e possuem suas bases limitadas, não oferecendo a possibilidade e incremento de elementos na base de conhecimento. Este trabalho apresenta uma nova abordagem na construção de um sistema que utiliza um Avatar 3D para representação da Libras, utilizando entrada baseada em um modelo formal e gerando sinais automaticamente através de um motor gráfico, baseado em parâmetros gerais como as posições e articulações utilizadas e não em sinais completos, possuindo ainda a vantagem de permitir a inclusão de novos sinais e parâmetros. São apresentados conceitos e métodos para criação de um Avatar 3D, o estudo de modelos computacionais para Línguas de Sinais e por fim foi desenvolvido um sistema de síntese que obtêm, a partir de uma entrada externa de dados, um vetor de parâmetros de configuração referentes a elementos de sinais da Libras que são representados pelo Avatar 3D automaticamente. Com isto, este trabalho contribui para o desenvolvimento de um sistema para síntese de sinais em um ambiente virtual sem as limitações apresentadas nos sistemas atuais, contribuindo assim para o desenvolvimento de novas tecnologias para a comunidade surda abordando os conceitos corretos. Os experimentos descritos no trabalho validam o modelo proposto, o qual se apresenta como alternativa promissora na área de síntese de sinais para uso computacional de linguagens como a Libras

A Person-Centric Design Framework for At-Home Motor Learning in Serious Games

abstract: In motor learning, real-time multi-modal feedback is a critical element in guided training. Serious games have been introduced as a platform for at-home motor training due to their highly interactive and multi-modal nature. This dissertation explores the design of a multimodal environment for at-home training in which an autonomous system observes and guides the user in the place of a live trainer, providing real-time assessment, feedback and difficulty adaptation as the subject masters a motor skill. After an in-depth review of the latest solutions in this field, this dissertation proposes a person-centric approach to the design of this environment, in contrast to the standard techniques implemented in related work, to address many of the limitations of these approaches. The unique advantages and restrictions of this approach are presented in the form of a case study in which a system entitled the "Autonomous Training Assistant" consisting of both hardware and software for guided at-home motor learning is designed and adapted for a specific individual and trainer. In this work, the design of an autonomous motor learning environment is approached from three areas: motor assessment, multimodal feedback, and serious game design. For motor assessment, a 3-dimensional assessment framework is proposed which comprises of 2 spatial (posture, progression) and 1 temporal (pacing) domains of real-time motor assessment. For multimodal feedback, a rod-shaped device called the "Intelligent Stick" is combined with an audio-visual interface to provide feedback to the subject in three domains (audio, visual, haptic). Feedback domains are mapped to modalities and feedback is provided whenever the user's performance deviates from the ideal performance level by an adaptive threshold. Approaches for multi-modal integration and feedback fading are discussed. Finally, a novel approach for stealth adaptation in serious game design is presented. This approach allows serious games to incorporate motor tasks in a more natural way, facilitating self-assessment by the subject. An evaluation of three different stealth adaptation approaches are presented and evaluated using the flow-state ratio metric. The dissertation concludes with directions for future work in the integration of stealth adaptation techniques across the field of exergames.Dissertation/ThesisDoctoral Dissertation Computer Science 201

Animation of 3D Avatars for Rehabilitation of the Upper Limbs

The paper presents a 3D Virtual Environment (VE) for neurorehabilitation of the upper limb. Patients move one of their arms trying to simulate concrete daily actions, such as grasping a bottle, opening a door or putting a book on a shelve. They wear a special garment that integrates four inertial sensors providing in real time information on the orientation of the patient’s shoulder, elbow and wrist. The VE is a complete scenario integrating all the objects needed to perform virtually the actions simulated by the patients. In the VE, patients are represented by 3D avatars that, using the data provided by the inertial sensors, reproduce in real time their arm movements. Since only the arm movement is monitorized, but neither the hand nor the trunk and the neck, the system must combine real movements with baked animations in order to show a realistic behavior of the 3D avatar. Moreover, it must take into account collisions between the 3D avatar and the virtual objects. Finally, it must detect when the patient is about to simulate an interaction with an object in order to realize it virtually. We describe the strategies that we have designed to provide these functionalities.Peer Reviewe