Real-time Implementation of the Virtual Air Slide Guitar

Tässä diplomityössä esitellään reaaliaikainen slide-kitaran implementaatio ilmakitarakäyttöliittymällä. Aiempaa tutkimusta ja työn taustaa käydään lyhyesti läpi. Slide-kitaran analyysi- ja synteesimenetelmät kuvaillaan sekä käydään läpi myös vaihtoehtoisia menetelmiä. Tämä reaaliaikainen implementaatio koostuu kolmesta pääosasta. Infrapunakamera seuraa käyttäjän liikkeitä ja eleitä, kameraohjelma tunnistaa käyttäjän eleet ja hoitaa laskutoimitukset kameran datalle. Pure Data -ohjelma syntetisoi slide-kitaran äänen kameraohjelmalta saadun tiedon perusteella. Virtuaalista slide-kitaraa voi soittaa minimaalisella opettelulla. Käyttäjän tarvitsee vain heiluttaa käsiään kameran edessä kuullakseen kitaran äänen. Kuitenkin, jotta soittaja saisi aikaan oikeaa slide-kitaraa muistuttavaa soittoa, tulee käyttäjällä olla kokemusta kitaransoitosta, sillä käsin kosketeltavaa soitinta ei ole. Soitinjärjestelmällä on pieni viive ja se sisältää asetukset mm. slide-putken, kielten virityksen ja kielten valitsemiseen. Vaikka ohjelma on kokonaisuudessaan melko raskas varsinkin vanhemmille tietokoneille, sen tuottama ääni ja varsinkin slide-putken ja kielten välinen kontaktiääni on onnistunut ja soitin kuulostaa sekä käyttäytyy kuten oikea slide-kitara. Järjestelmää esittelevä video löytyy nimikkeellä "Virtual Slide Guitar" YouTube:sta (http://www.youtube.com/watch?v=eCPFYKq5zTk).An implementation of a virtual slide guitar is presented. Previous work is viewed with brief background examination. The analysis and synthesis methods that were used in this thesis as well as other possibilities for analysis and synthesis of a slide guitar are described. This real-time implementation consists of three main parts. An infra-red camera to track player movement and gestures, a camera API for gesture recognition and camera data handling and a Pure Data program to synthesize and output the slide guitar sound according to the guitarist's playing. The Virtual Slide Guitar can be played with a minimal learning curve. All the player has to do is wave his/her hands in front of the camera. To play anything sounding like a real slide guitar, a player needs to be familiar with a guitar since no haptic feedback is available due to the air interface of the instrument. The VSG has a low latency and custom options for playing with different slide tubes, tunings, and strings. Although computationally heavy for older computers, the sound and especially the contact sound of the slide tube and guitar strings works and the instrument sounds and acts like a real slide guitar. A video demonstrating the Virtual Slide Guitar can be found on YouTube (http://www.youtube.com/watch?v=eCPFYKq5zTk)

Multisensory plucked instrumentmodeling in unity3D: FromKeytar to accurate string prototyping

Keytar is a plucked guitar simulationmockup developed with Unity3D that provides auditory, visual, and haptic feedback to the player through a PhantomOmni robotic arm. Starting froma description of the implementation of the virtual instrument, we discuss our ongoing work. The ultimate goal is the creation of a set of software tools available for developing plucked instruments in Unity3D. Using such tools, sonic interaction designers can efficiently simulate plucked string prototypes and realize multisensory interactions with virtual instruments for unprecedented purposes, such as testing innovative plucked string interfaces or training machine learning algorithms with data about the dynamics of the performance, which are immediately accessible from the machine

Virtual Reality and the University

It is difficult to talk meaningfully about virtual reality (VR), since there have been several types of computing technology that are given this label, and a number of differing aims ascribed to their use. The origins can be projected backwards almost indefinitely into myths and legends of other worlds, or related to twentieth century science fiction (which though seemingly prescient, in hindsight, has influenced our development, use and interpretation of present day technologies). Many still impute to such technologies quasi-mystical powers which remove us, in some ambiguous fashion, from the here-and-now, and places us somewhere else, namely the virtual. In this paper, I discuss what the adoption in UK universities over the last 15 years of educational technology, namely Virtual Learning Environments and Virtual Worlds, tells us about responses to computers, the idea of the virtual, and to what extent we can use novel educational technologies effectively in higher education