Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2012Pode-se considerar que a Realidade Virtual é uma interface entre o utilizador e um sistema computacional, cujo objetivo principal é simular um Envolvimento Virtual realístico no qual é possível navegar e com o qual se pode interagir em tempo real. O objetivo é proporcionar ao utilizador uma forte sensação de imersão no Envolvimento Virtual ou seja, a sensação de presença física e efetiva nesse envolvimento. Para haver o máximo de imersividade nos Envolvimentos Virtuais são usados diversos dispositivos para que a navegação e interação sejam o mais credíveis possível, dispositivos tais como Head-Mounted Displays, luvas de dados, de rastreamento e dispositivos que geram sensações de tato e força (feedback háptico). Alguns sistemas dispõem de superfícies de representação de grandes dimensões como por exemplo a CAVE. Atualmente a Realidade Virtual é utilizada em diversas áreas porque é uma forma de simular uma experiência próxima da realidade reduzindo, em alguns casos, o perigo que existe no mundo real e permitindo de forma fácil a repetição de situações ou experiências.
A Realidade Virtual é aplicada em áreas tão diversas como a Medicina para treino cirúrgico em pacientes virtuais, o entretenimento com os jogos e filmes tridimensionais, a Psicologia no tratamento de fobias e traumas, entre outras.
Este projeto, intitulado “Interaction in Virtual Environments with the Upper Body”, desenvolveu-se no âmbito da Realidade Virtual e enquadrou-se no projeto “Future Safety Warnings: Virtual Reality in the study of technology-based warnings” financiado pela Fundação para a Ciência e a Tecnologia (PTDC/PSI-PCO/100148/2008) que se contextualiza na área de Ergonomia. Este trabalho foi realizado no Laboratório de Ergonomia (ErgoLAB) da Faculdade de Motricidade Humana da Universidade Técnica de Lisboa, mais especificamente na unidade de Realidade Virtual chamada ErgoVR, e contou com o trabalho de uma equipa multidisciplinar composta por Ergonomistas, Psicólogos, Engenheiros Informáticos, Arquitetos, Designers entre outros. Para suportar todos os projetos realizados no ErgoVR existe um sistema de Realidade Virtual com o mesmo nome.
No projeto “Future Safety Warnings: Virtual Reality in the study of technology-based warnings” a Realidade Virtual é utilizada para avaliar a consonância comportamental dos participantes perante avisos de segurança em situações de emergência no interior de edifícios.
O projeto descrito neste documento veio resolver dois aspetos que podem afetar a imersão: (1) o facto de o utilizador não ser representado por nenhum Humano Virtual; e (2) o facto de a interação com os objetos do Ambiente Virtual ser limitada e pouco natural.
Existe um sistema de interação que funciona da seguinte forma: é colocado um sensor na mão do participante, quando este se encontra num mínimo de uma distância pré-definida do botão, bastava esticar a mão para o sistema detetar que tinha havido um movimento e desencadear o evento associado à ação. No entanto este sistema tem algumas limitações visto que o único feedback visual que o participante tinha era um cursor bidimensional o que limita a perceção de distância do objeto que o participante quererá interagir. Para além desta limitação, o sistema apenas permitia a ação de pressionar.
Assim, o objetivo principal deste projeto é: (1) a criação de um Humano Virtual; (2) a possibilidade de reproduzir os movimentos do participante e refleti-los no Humano Virtual; e (3) permitir que o sistema suporte mais ações como por exemplo agarrar ou largar. Com a criação do Humano Virtual e a reflexão dos movimentos do participante, existirá uma maior perceção de distância no Envolvimento Virtual.
Para cumprir com este objetivo utilizaram-se sensores de movimento que captam a orientação 3D e dados cinemáticos relativos aos membros superiores. Estes sensores de movimento são colocados no braço, antebraço e mão, para capturar os movimentos e orientações reais do participante e passá-los para os membros do Humano Virtual, cujo modelo foi criado previamente. A este modelo e a todos os elementos do Envolvimento Virtual associaram-se características físicas, como por exemplo a massa, para dar realismo e credibilidade à simulação e fazer com que passasse a ser possível a interação do utilizador com determinados objetos presentes no ambiente.
O projeto descrito nesta tese envolveu quatro etapas.
A primeira etapa foi de familiarização com o sistema ErgoVR, com as ferramentas de desenvolvimento nele utilizadas e foi realizado um levantamento do estado da arte. Nesta etapa também se criou um Humano Virtual com as ferramentas de modelação 3D que permitiram criar um modelo com esqueleto, animações e texturas e que tornaram possível exportá-lo para o formato utilizado no sistema ErgoVR. Na segunda etapa tratou-se de todas as questões relativas aos sensores, leitura de dados, transformações dos ângulos de Euler e transposição dos dados provenientes dos sensores no Humano Virtual.
A terceira etapa foi relativa à simulação das regras da física Newtoniana dentro do Envolvimento Virtual.
A quarta etapa foi relativa às formas de interação do utilizador com os objetos do Envolvimento Virtual, como agarrar, largar, puxar e pressionar.
Na etapa de familiarização decidiu-se que este projeto iria desenvolver-se sobre a plataforma Microsoft .NET (DotNET) visto o sistema ErgoVR ter sido desenvolvido sobre essa mesma plataforma. Deste modo garantia-se a integração do resultado deste projeto no sistema ErgoVR de uma forma mais simplificada. Ao mesmo tempo, as características da plataforma .NET enquadravam-se com as necessidades deste projeto.
Na fase inicial do projeto houve o envolvimento num trabalho de equipa que foi fundamental para a etapa inicial de familiarização e para compreender o funcionamento do sistema ErgoVR. Deste envolvimento surgiu a colaboração num artigo científico, elaborado pela equipa do laboratório, como co-autora, intitulado “Using space exploration matrices to evaluate interaction with Virtual Environments”.
Neste artigo descreve-se um estudo realizado com o sistema ErgoVR que avalia as decisões dos utilizadores perante a influência da informação de segurança colocada nos ambientes quando são confrontados com situações de emergência. São recolhidos durante a simulação, entre outros, dados relativos à posição do participante, às distâncias percorridas, aos tempos do percurso. Com estes dados são geradas matrizes a partir das quais é possível identificar especificamente os fluxos e as zonas do ambiente que são mais visitadas pelos participantes, e deste modo avaliar o seu comportamento.
Na modelação do Humano Virtual, ainda na fase inicial do projeto, foram realizados testes exaustivos utilizando diversas ferramentas de modelação com o intuito de identificar as ferramentas que exportam o modelo para um formato aceite pelo sistema ErgoVR mantendo correta toda a informação necessária associada (malha, texturas, cabelo, animações corporais e faciais e roupas). Concluiu-se que a melhor abordagem seria trabalhar com o 3DS Max e com o Daz 3D.
Na segunda etapa foi implementada a biblioteca responsável por fazer a leitura dos dados dos sensores e transpô-los para os ossos do Humano Virtual. Esta biblioteca é composta por quatro classes, cada uma com funções diferentes. No final desta fase já era possível colocar os sensores no utilizador e ver o Humano Virtual refletir os movimentos no ambiente.
Na terceira etapa, para realizar a biblioteca de física, foi necessário levar a cabo um levantamento sobre questões de física. Para não haver perda de imersão do utilizador no ambiente é necessário impedir situações como: (1) o Humano Virtual trespassar as paredes; ou (2) o Humano Virtual levar a mão a um objeto, e esta atravessá-lo. Para tal, todo o objeto tem de ter associadas massa, gravidade e forças para se deslocar no ambiente.
Na última etapa, para desenvolver a biblioteca de interação com objetos, foi necessário fazer um levantamento sobre quais as ações que um utilizador podia realizar no sistema. Conclui-se que seria necessário poder agarrar, largar, puxar e pressionar. Ao realizar esta biblioteca decidiu-se que alguns objetos virtuais tinham de ter associados a si informação extra sobre os possíveis modos de interação que o utilizador pode realizar sobre eles.
As bibliotecas desenvolvidas neste projeto constituem um módulo perfeitamente integrável no sistema ErgoVR e permitem a utilização de sensores nos membros superiores do utilizador cujos movimentos são refletidos no Humano Virtual correspondente. O utilizador pode, de modo natural, interagir com elementos do ambiente realizando gestos relativos às ações de agarrar, largar, puxar e pressionar.
Considerou-se que o módulo desenvolvido é uma mais-valia para o ErgoVR porque permite a aplicação deste sistema de Realidade Virtual a diferentes cenários em diversos âmbitos, sempre que a interação de um utilizador humano com objectos presentes no Envolvimento Virtual seja requerida.The Virtual Reality (VR) is an interface between the user and a system and is main goal is simulate a Virtual Environment (VE) next to the reality. The advantage of use VR is the possibility of simulates the dangerous that exist in real world or allowing the repetition of situations and experiences.
Nowadays VR is used in many areas, from Medicine, for surgical training in virtual patients, to the army in which the soldiers do virtual training.
The project “Interaction in Virtual Environments with the Upper Body” is developed in the context of Virtual Reality and is a part of the project “Future Safety Warnings: Virtual Reality in the study of technology-based warnings” funded by the Portuguese Science Foundation (PTDC/PSI-PCO/100148/2008) . This project was developed in the Ergonomics Laboratory (ErgoLAB) of the Faculty of Human Kinetics of the Technical University of Lisbon more specifically in the research unit ErgoVR.
In the project “Future Safety Warnings: Virtual Reality in the study of technology-based warnings”, VR is used to evaluate the participant’s behavior towards safety warnings in emergencies inside buildings. In this project the interaction was weak and due to the fact of a participant do not have virtual representation, the immersion was less. Therefore, the main goal of the described project is give to the participant the possibility of see is upper limbs’ movements reflected in a Virtual Human (VH) inside the VE, and have the possibility to interact with virtual objects, give more sensation of immersion. To complete with this goal sensors were used and place in the arm, to capture the participant’s movements. A VH was created to performed the participant´s movements in the VE. To this VH and to the VE, physics elements were added to give more credibility to the simulation and make possible the interaction with objects in the scene
