Integrating body scanning solutions into virtual dressing rooms

The world is entering its 4th Industrial Revolution, a new era of manufacturing characterized by ubiquitous digitization and computing. One industry to benefit and grow from this revolution is the fashion industry, in which Europe (and Italy in particular) has long maintained a global lead. To evolve with the changes in technology, we developed the IT- SHIRT project. In the context of this project, a key challenge relies on developing a virtual dressing room in which the final users (customers) can virtually try different clothes on their bodies. In this paper, we tackle the aforementioned issue by providing a critical analysis of the existing body scanning solutions, identifying their strengths and weaknesses towards their integration within the pipeline of virtual dressing rooms

Wearable performance

This is the post-print version of the article. The official published version can be accessed from the link below - Copyright @ 2009 Taylor & FrancisWearable computing devices worn on the body provide the potential for digital interaction in the world. A new stage of computing technology at the beginning of the 21st Century links the personal and the pervasive through mobile wearables. The convergence between the miniaturisation of microchips (nanotechnology), intelligent textile or interfacial materials production, advances in biotechnology and the growth of wireless, ubiquitous computing emphasises not only mobility but integration into clothing or the human body. In artistic contexts one expects such integrated wearable devices to have the two-way function of interface instruments (e.g. sensor data acquisition and exchange) worn for particular purposes, either for communication with the environment or various aesthetic and compositional expressions. 'Wearable performance' briefly surveys the context for wearables in the performance arts and distinguishes display and performative/interfacial garments. It then focuses on the authors' experiments with 'design in motion' and digital performance, examining prototyping at the DAP-Lab which involves transdisciplinary convergences between fashion and dance, interactive system architecture, electronic textiles, wearable technologies and digital animation. The concept of an 'evolving' garment design that is materialised (mobilised) in live performance between partners originates from DAP Lab's work with telepresence and distributed media addressing the 'connective tissues' and 'wearabilities' of projected bodies through a study of shared embodiment and perception/proprioception in the wearer (tactile sensory processing). Such notions of wearability are applied both to the immediate sensory processing on the performer's body and to the processing of the responsive, animate environment. Wearable computing devices worn on the body provide the potential for digital interaction in the world. A new stage of computing technology at the beginning of the 21st Century links the personal and the pervasive through mobile wearables. The convergence between the miniaturisation of microchips (nanotechnology), intelligent textile or interfacial materials production, advances in biotechnology and the growth of wireless, ubiquitous computing emphasises not only mobility but integration into clothing or the human body. In artistic contexts one expects such integrated wearable devices to have the two-way function of interface instruments (e.g. sensor data acquisition and exchange) worn for particular purposes, either for communication with the environment or various aesthetic and compositional expressions. 'Wearable performance' briefly surveys the context for wearables in the performance arts and distinguishes display and performative/interfacial garments. It then focuses on the authors' experiments with 'design in motion' and digital performance, examining prototyping at the DAP-Lab which involves transdisciplinary convergences between fashion and dance, interactive system architecture, electronic textiles, wearable technologies and digital animation. The concept of an 'evolving' garment design that is materialised (mobilised) in live performance between partners originates from DAP Lab's work with telepresence and distributed media addressing the 'connective tissues' and 'wearabilities' of projected bodies through a study of shared embodiment and perception/proprioception in the wearer (tactile sensory processing). Such notions of wearability are applied both to the immediate sensory processing on the performer's body and to the processing of the responsive, animate environment

Blue Skies: Education in Second Life

This article examines the educational possibilities of the online environment of Second Life, by Linden Labs. Second Life’s economic growth has attracted the attention of corporations, non-profit organizations and government entities. Unlike traditional web-based instruction, Second Life provides a three-dimensional interface through which teachers and students can enjoy a limited form of eye-contact and body language. It also permits collaboration and learning in groups. The article goes on to discuss some of the advantages and disadvantages of using the interface for online learning. It goes on to examine current educational applications and possible future enhancements

Virtual Skiing as an Art Installation

The Virtual Skiing game allows the user to immerse himself into the skiing sensation without using any obvious hardware interfaces. To achieve the movement down the virtual skiing slope the skier who stands on a pair of skis attached to the floor performs the same movements as on real skis, in particular this is the case on carving skis: tilting the body to the left initiates a left turn, tilting the body to the right initiates a right turn, by lowering the body, the speed is increased. The skier observes his progress down the virtual slope projected on the wall in front of him. The skier’s movements are recorded using a video camera placed in front of him and processed on a PC in real time to drive the projected animation of the virtual slope

Virtual humans: thirty years of research, what next?

In this paper, we present research results and future challenges in creating realistic and believable Virtual Humans. To realize these modeling goals, real-time realistic representation is essential, but we also need interactive and perceptive Virtual Humans to populate the Virtual Worlds. Three levels of modeling should be considered to create these believable Virtual Humans: 1) realistic appearance modeling, 2) realistic, smooth and flexible motion modeling, and 3) realistic high-level behaviors modeling. At first, the issues of creating virtual humans with better skeleton and realistic deformable bodies are illustrated. To give a level of believable behavior, challenges are laid on generating on the fly flexible motion and complex behaviours of Virtual Humans inside their environments using a realistic perception of the environment. Interactivity and group behaviours are also important parameters to create believable Virtual Humans which have challenges in creating believable relationship between real and virtual humans based on emotion and personality, and simulating realistic and believable behaviors of groups and crowds. Finally, issues in generating realistic virtual clothed and haired people are presente

Learning and Games

Part of the Volume on the Ecology of Games: Connecting Youth, Games, and Learning In this chapter, I argue that good video games recruit good learning and that a game's design is inherently connected to designing good learning for players. I start with a perspective on learning now common in the Learning Sciences that argues that people primarily think and learn through experiences they have had, not through abstract calculations and generalizations. People store these experiences in memory -- and human long-term memory is now viewed as nearly limitless -- and use them to run simulations in their minds to prepare for problem solving in new situations. These simulations help them to form hypotheses about how to proceed in the new situation based on past experiences. The chapter also discusses the conditions experience must meet if it is to be optimal for learning and shows how good video games can deliver such optimal learning experiences. Some of the issues covered include: identity and learning; models and model-based thinking; the control of avatars and "empathy for a complex system"; distributed intelligence and cross-functional teams for learning; motivation, and ownership; emotion in learning; and situated meaning, that is, the ways in which games represent verbal meaning through images, actions, and dialogue, not just other words and definitions

Interaction in virtual environments with the upper body

Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2012Pode-se considerar que a Realidade Virtual é uma interface entre o utilizador e um sistema computacional, cujo objetivo principal é simular um Envolvimento Virtual realístico no qual é possível navegar e com o qual se pode interagir em tempo real. O objetivo é proporcionar ao utilizador uma forte sensação de imersão no Envolvimento Virtual ou seja, a sensação de presença física e efetiva nesse envolvimento. Para haver o máximo de imersividade nos Envolvimentos Virtuais são usados diversos dispositivos para que a navegação e interação sejam o mais credíveis possível, dispositivos tais como Head-Mounted Displays, luvas de dados, de rastreamento e dispositivos que geram sensações de tato e força (feedback háptico). Alguns sistemas dispõem de superfícies de representação de grandes dimensões como por exemplo a CAVE. Atualmente a Realidade Virtual é utilizada em diversas áreas porque é uma forma de simular uma experiência próxima da realidade reduzindo, em alguns casos, o perigo que existe no mundo real e permitindo de forma fácil a repetição de situações ou experiências. A Realidade Virtual é aplicada em áreas tão diversas como a Medicina para treino cirúrgico em pacientes virtuais, o entretenimento com os jogos e filmes tridimensionais, a Psicologia no tratamento de fobias e traumas, entre outras. Este projeto, intitulado “Interaction in Virtual Environments with the Upper Body”, desenvolveu-se no âmbito da Realidade Virtual e enquadrou-se no projeto “Future Safety Warnings: Virtual Reality in the study of technology-based warnings” financiado pela Fundação para a Ciência e a Tecnologia (PTDC/PSI-PCO/100148/2008) que se contextualiza na área de Ergonomia. Este trabalho foi realizado no Laboratório de Ergonomia (ErgoLAB) da Faculdade de Motricidade Humana da Universidade Técnica de Lisboa, mais especificamente na unidade de Realidade Virtual chamada ErgoVR, e contou com o trabalho de uma equipa multidisciplinar composta por Ergonomistas, Psicólogos, Engenheiros Informáticos, Arquitetos, Designers entre outros. Para suportar todos os projetos realizados no ErgoVR existe um sistema de Realidade Virtual com o mesmo nome. No projeto “Future Safety Warnings: Virtual Reality in the study of technology-based warnings” a Realidade Virtual é utilizada para avaliar a consonância comportamental dos participantes perante avisos de segurança em situações de emergência no interior de edifícios. O projeto descrito neste documento veio resolver dois aspetos que podem afetar a imersão: (1) o facto de o utilizador não ser representado por nenhum Humano Virtual; e (2) o facto de a interação com os objetos do Ambiente Virtual ser limitada e pouco natural. Existe um sistema de interação que funciona da seguinte forma: é colocado um sensor na mão do participante, quando este se encontra num mínimo de uma distância pré-definida do botão, bastava esticar a mão para o sistema detetar que tinha havido um movimento e desencadear o evento associado à ação. No entanto este sistema tem algumas limitações visto que o único feedback visual que o participante tinha era um cursor bidimensional o que limita a perceção de distância do objeto que o participante quererá interagir. Para além desta limitação, o sistema apenas permitia a ação de pressionar. Assim, o objetivo principal deste projeto é: (1) a criação de um Humano Virtual; (2) a possibilidade de reproduzir os movimentos do participante e refleti-los no Humano Virtual; e (3) permitir que o sistema suporte mais ações como por exemplo agarrar ou largar. Com a criação do Humano Virtual e a reflexão dos movimentos do participante, existirá uma maior perceção de distância no Envolvimento Virtual. Para cumprir com este objetivo utilizaram-se sensores de movimento que captam a orientação 3D e dados cinemáticos relativos aos membros superiores. Estes sensores de movimento são colocados no braço, antebraço e mão, para capturar os movimentos e orientações reais do participante e passá-los para os membros do Humano Virtual, cujo modelo foi criado previamente. A este modelo e a todos os elementos do Envolvimento Virtual associaram-se características físicas, como por exemplo a massa, para dar realismo e credibilidade à simulação e fazer com que passasse a ser possível a interação do utilizador com determinados objetos presentes no ambiente. O projeto descrito nesta tese envolveu quatro etapas. A primeira etapa foi de familiarização com o sistema ErgoVR, com as ferramentas de desenvolvimento nele utilizadas e foi realizado um levantamento do estado da arte. Nesta etapa também se criou um Humano Virtual com as ferramentas de modelação 3D que permitiram criar um modelo com esqueleto, animações e texturas e que tornaram possível exportá-lo para o formato utilizado no sistema ErgoVR. Na segunda etapa tratou-se de todas as questões relativas aos sensores, leitura de dados, transformações dos ângulos de Euler e transposição dos dados provenientes dos sensores no Humano Virtual. A terceira etapa foi relativa à simulação das regras da física Newtoniana dentro do Envolvimento Virtual. A quarta etapa foi relativa às formas de interação do utilizador com os objetos do Envolvimento Virtual, como agarrar, largar, puxar e pressionar. Na etapa de familiarização decidiu-se que este projeto iria desenvolver-se sobre a plataforma Microsoft .NET (DotNET) visto o sistema ErgoVR ter sido desenvolvido sobre essa mesma plataforma. Deste modo garantia-se a integração do resultado deste projeto no sistema ErgoVR de uma forma mais simplificada. Ao mesmo tempo, as características da plataforma .NET enquadravam-se com as necessidades deste projeto. Na fase inicial do projeto houve o envolvimento num trabalho de equipa que foi fundamental para a etapa inicial de familiarização e para compreender o funcionamento do sistema ErgoVR. Deste envolvimento surgiu a colaboração num artigo científico, elaborado pela equipa do laboratório, como co-autora, intitulado “Using space exploration matrices to evaluate interaction with Virtual Environments”. Neste artigo descreve-se um estudo realizado com o sistema ErgoVR que avalia as decisões dos utilizadores perante a influência da informação de segurança colocada nos ambientes quando são confrontados com situações de emergência. São recolhidos durante a simulação, entre outros, dados relativos à posição do participante, às distâncias percorridas, aos tempos do percurso. Com estes dados são geradas matrizes a partir das quais é possível identificar especificamente os fluxos e as zonas do ambiente que são mais visitadas pelos participantes, e deste modo avaliar o seu comportamento. Na modelação do Humano Virtual, ainda na fase inicial do projeto, foram realizados testes exaustivos utilizando diversas ferramentas de modelação com o intuito de identificar as ferramentas que exportam o modelo para um formato aceite pelo sistema ErgoVR mantendo correta toda a informação necessária associada (malha, texturas, cabelo, animações corporais e faciais e roupas). Concluiu-se que a melhor abordagem seria trabalhar com o 3DS Max e com o Daz 3D. Na segunda etapa foi implementada a biblioteca responsável por fazer a leitura dos dados dos sensores e transpô-los para os ossos do Humano Virtual. Esta biblioteca é composta por quatro classes, cada uma com funções diferentes. No final desta fase já era possível colocar os sensores no utilizador e ver o Humano Virtual refletir os movimentos no ambiente. Na terceira etapa, para realizar a biblioteca de física, foi necessário levar a cabo um levantamento sobre questões de física. Para não haver perda de imersão do utilizador no ambiente é necessário impedir situações como: (1) o Humano Virtual trespassar as paredes; ou (2) o Humano Virtual levar a mão a um objeto, e esta atravessá-lo. Para tal, todo o objeto tem de ter associadas massa, gravidade e forças para se deslocar no ambiente. Na última etapa, para desenvolver a biblioteca de interação com objetos, foi necessário fazer um levantamento sobre quais as ações que um utilizador podia realizar no sistema. Conclui-se que seria necessário poder agarrar, largar, puxar e pressionar. Ao realizar esta biblioteca decidiu-se que alguns objetos virtuais tinham de ter associados a si informação extra sobre os possíveis modos de interação que o utilizador pode realizar sobre eles. As bibliotecas desenvolvidas neste projeto constituem um módulo perfeitamente integrável no sistema ErgoVR e permitem a utilização de sensores nos membros superiores do utilizador cujos movimentos são refletidos no Humano Virtual correspondente. O utilizador pode, de modo natural, interagir com elementos do ambiente realizando gestos relativos às ações de agarrar, largar, puxar e pressionar. Considerou-se que o módulo desenvolvido é uma mais-valia para o ErgoVR porque permite a aplicação deste sistema de Realidade Virtual a diferentes cenários em diversos âmbitos, sempre que a interação de um utilizador humano com objectos presentes no Envolvimento Virtual seja requerida.The Virtual Reality (VR) is an interface between the user and a system and is main goal is simulate a Virtual Environment (VE) next to the reality. The advantage of use VR is the possibility of simulates the dangerous that exist in real world or allowing the repetition of situations and experiences. Nowadays VR is used in many areas, from Medicine, for surgical training in virtual patients, to the army in which the soldiers do virtual training. The project “Interaction in Virtual Environments with the Upper Body” is developed in the context of Virtual Reality and is a part of the project “Future Safety Warnings: Virtual Reality in the study of technology-based warnings” funded by the Portuguese Science Foundation (PTDC/PSI-PCO/100148/2008) . This project was developed in the Ergonomics Laboratory (ErgoLAB) of the Faculty of Human Kinetics of the Technical University of Lisbon more specifically in the research unit ErgoVR. In the project “Future Safety Warnings: Virtual Reality in the study of technology-based warnings”, VR is used to evaluate the participant’s behavior towards safety warnings in emergencies inside buildings. In this project the interaction was weak and due to the fact of a participant do not have virtual representation, the immersion was less. Therefore, the main goal of the described project is give to the participant the possibility of see is upper limbs’ movements reflected in a Virtual Human (VH) inside the VE, and have the possibility to interact with virtual objects, give more sensation of immersion. To complete with this goal sensors were used and place in the arm, to capture the participant’s movements. A VH was created to performed the participant´s movements in the VE. To this VH and to the VE, physics elements were added to give more credibility to the simulation and make possible the interaction with objects in the scene

Moveable worlds/digital scenographies

This is the author's accepted manuscript. The final published article is available from the link below. Copyright @ Intellect Ltd 2010.The mixed reality choreographic installation UKIYO explored in this article reflects an interest in scenographic practices that connect physical space to virtual worlds and explore how performers can move between material and immaterial spaces. The spatial design for UKIYO is inspired by Japanese hanamichi and western fashion runways, emphasizing the research production company's commitment to various creative crossovers between movement languages, innovative wearable design for interactive performance, acoustic and electronic sound processing and digital image objects that have a plastic as well as an immaterial/virtual dimension. The work integrates various forms of making art in order to visualize things that are not in themselves visual, or which connect visual and kinaesthetic/tactile/auditory experiences. The ‘Moveable Worlds’ in this essay are also reflections of the narrative spaces, subtexts and auditory relationships in the mutating matrix of an installation-space inviting the audience to move around and follow its sensorial experiences, drawn near to the bodies of the dancers.Brunel University, the British Council, and the Japan Foundation

Textiles as Material Gestalt: Cloth as a Catalyst in the Co-designing Process

Textiles is the common language within Emotional Fit, a collaborative research project investigating a person-centred, sustainable approach to fashion for an ageing female demographic (55+). Through the co-designing of a collection of research tools, textiles have acted as a material gestalt for exploring our research participants' identities by tracing their embodied knowledge of fashionable dress. The methodology merges Interpretative Phenomenological Analysis, co-design and a simultaneous approach to textile and garment design. Based on an enhanced understanding of our participants textile preferences, particular fabric qualities have catalysed silhouettes, through live draping and geometric pattern cutting to accommodate multiple body shapes and customisation. Printedtextiles have also been digitally crafted in response to the contours of the garment and body and personal narratives of wear. Sensorial and tactile interactions have informed the engineering and scaling of patterns within zero-waste volumes. The article considers the functional and aesthetic role of textiles