5 research outputs found
Development of an Augmented Reality musical instrument
Nowadays, Augmented Reality and Virtual Reality are concepts of which people
are becoming more and more aware of due to their application to the video-game
industry (speceially in the case of VR). Such raise is partly due to a decrease in
costs of Head Mounted Displays, which are consequently becoming more and more
accessible to the public and developers worldwide.
All of these novelties, along with the frenetic development of Information Technologies
applied to essentially, all markets; have also made digital artists and manufacturers
aware of the never-ending interaction possibilities these paradigms provide
and a variety of systems have appeared, which offer innovative creative capabilities.
Due to the personal interest of the author in music and the technologies surrounding
its creation by digital means, this document covers the application of the Virtuality-
Reality-Continuum (VR and AR) paradigms to the field of interfaces for the musical
expression. More precisely, it covers the development of an electronic drumset
which integrates Arduino-compatible hardware with a 3D visualisation application
(developed based on Unity) to create a complete functioning instrument musical
instrument,
The system presented along the document attempts to leverage three-dimensional visual
feedback with tangible interaction based on hitting, which is directly translated
to sound and visuals in the sound generation application. Furthermore, the present
paper provides a notably deep study of multiple technologies and areas that are ultimately
applied to the target system itself. Hardware concerns, time requirements,
approaches to the creation of NIMEs (New Interfaces for Musical Expression), Virtual
Musical Instrument (VMI) design, musical-data transmission protocols (MIDI
and OSC) and 3D modelling constitute the fundamental topics discussed along the
document.
At the end of this paper, conclusions reflect on the difficulties found along the
project, the unfulfilled objectives and all deviations from the initial concept that
the project suffered during the development process. Besides, future work paths
will be listed and depicted briefly and personal comments will be included as well as
humble pieces of advice targeted at readers interested in facing an ambitious project
on their own.En la actualidad, los conceptos de Realidad Aumentada (AR) y Realidad Virtual
(VR) son cada vez más conocidos por la gente de a pie, debido en gran parte a su
aplicación al ámbito de los videojuegos, donde el desarollo para dispositivos HMDs
está en auge. Esta popularidad se debe en gran parte al abaratamiento de este tipo
de dispositivos, los cuales son cada vez más accesibles al público y a los desarrolladores
de todo el mundo.
Todas estas novedades sumadas al frenético desarrollo de la industria de IT han
llamado la atención de artistas y empresas que han visto en estos paradigmas (VR
and AR) una oportunidad para proporcionar nuevas e ilimitadas formas de interacción y creación de arte en alguna de sus formas. Debido al interés personal del
autor de este TFG en la música y las tecnologías que posiblitan la creación musical
por medios digitales, este documento explora la aplicación de los paradigmas del
Virtuality-Reality Continuum de Milgram (AR y VR) al ámbito de las interfaces
para la creación musical. Concretamente, este TFG detalla el desarrollo de una
batería electrónica, la cual combina una interfaz tangible creada con hardware compatible
con Arduino con una aplicación de generación de sonidos y visualización,
desarrollada utilizando Unity como base. Este sistema persigue lograr una interacción natural por parte del usuario por medio de integrar el hardware en unas
baquetas, las cuales permiten detectar golpes a cualquier tipo de superficie y convierten
estos en mensajes MIDI que son utilizados por el sistema generador de sonido
para proporcionar feedback al usuario (tanto visual como auditivo); por tanto, este
sistema se distingue por abogar por una interacción que permita golpear físicamente
objetos (e.g. una cama), mientras que otros sistemas similates basan su modo de
interacción en “air-drumming”. Además, este sistema busca solventar algunos de
los inconvenientes principales asociados a los baterías y su normalmente conflictivo
instrumento, como es el caso de las limitaciones de espacio, la falta de flexibilidad
en cuanto a los sonidos que pueden ser generados y el elevado coste del equipo.
Por otro lado, este documento pormenoriza diversos aspectos relacionados con el
sistema descrito en cuestión, proporcionando al lector una completa panorámica
de sistemas similares al propuesto. Asimismo, se describen los aspectos más importantes
en relación al desarrollo del TFG, como es el caso de protocolos de transmisión
de información musical (MIDI y OSC), algoritmos de control, guías de diseño para
interfaces de creación musical (NIMEs) y modelado 3D. Se incluye un íntegro proceso
de Ingeniería de Software para mantener la formalidad y tratar de garantizar
un desarrollo más organizado y se discute la metodología utilizada para este proceso.
Por último, este documento reflexiona sobre las dificultades encontradas, se
enumeran posibilidades de Trabajo Futuro y se finaliza con algunas conclusiones
personales derivadas de este trabajo de investigación.Ingeniería Informátic
User Interface Comparison for Virtual Drums
An experimental study comparing different user interfaces for a virtual drum is reported. Virtual here means that the drum is not a physical object. 16 subjects played the drum on five different interfaces and two metronome patterns trying to match their hits to the metronome clicks. Temporal accuracy of the playing was evaluated. The subjects also rated the interfaces subjectively. The results show that hitting the drum alternately from both sides with motion going through the drum plate was less accurate than the traditional one sided hitting. A physical stick was more accurate than a virtual computer graphic stick. Visual feedback of the drum slightly increased accuracy compared to receiving only auditory feedback. Most subjects evaluated the physical stick to offer a better feeling and to be more pleasant than the virtual stick