An introduction to interactive sonification

The research field of sonification, a subset of the topic of auditory display, has developed rapidly in recent decades. It brings together interests from the areas of data mining, exploratory data analysis, human–computer interfaces, and computer music. Sonification presents information by using sound (particularly nonspeech), so that the user of an auditory display obtains a deeper understanding of the data or processes under investigation by listening

Electrophysiological Response to Classical Music in Instrumentalists, Vocalists, and Non-Musicians

Musical experience has been shown to impact electrophysiological response in response to sudden changes in music. The purpose of this exploratory case study is to investigate responses to a variety of continuous classical music stimuli in individuals with varying musical backgrounds, through the use of electroencephalography (EEG). Individuals were categorized as instrumentalists (5+ years of instrumental training), vocalists (5+ years of vocal training), or non-musicians (training). Participants were played a variety of classical vocal and instrumental music while an EEG was recorded. Data were then collected and analyzed using independent component analysis (ICA) and time/frequency analysis through EEGLAB. It was found that overall, both instrumentalists and vocalists had a greater electrophysiological response to musical stimuli, specifically in the frontal lobe than the non-musician. The vocalist also had a significantly greater electrophysiological response to the musical stimuli that were most similar to their experience and expertise. This indicates that expertise and familiarity with a genre of music may impact the electrophysiological response. While this only a case study with a small sample size, the results indicate that there is potential for impactful further research about how individuals of different musical backgrounds respond to a variety of continuous musical stimuli based on their experiences

BCI for Music Making: Then, Now, and Next

Brain–computer music interfacing (BCMI) is a growing field with a history of experimental applications derived from the cutting edge of BCI research as adapted to music making and performance. BCMI offers some unique possibilities over traditional music making, including applications for emotional music selection and emotionally driven music creation for individuals as communicative aids (either in cases where users might have physical or mental disabilities that otherwise preclude them from taking part in music making or in music therapy cases where emotional communication between a therapist and a patient by means of traditional music making might otherwise be impossible). This chapter presents an overview of BCMI and its uses in such contexts, including existing techniques as they are adapted to musical control, from P300 and SSVEP (steady-state visually evoked potential) in EEG (electroencephalogram) to asymmetry, hybrid systems, and joint fMRI (functional magnetic resonance imaging) studies correlating affective induction (by means of music) with neurophysiological cues. Some suggestions for further work are also volunteered, including the development of collaborative platforms for music performance by means of BCMI

Music and the Brain: Composing with the Electroencephalogram

The field of brain-computer music interfaces have been expanding ever since the first development in the 1960s. Although many brain-computer music interfaces have been developed for the purpose of composing music, these systems have not been accessible to musicians due to the use of complex programming and signal processing mathematics. In addition, these systems have often focused on the process of composing music by allowing for specific note selection, or the formation of structure. While these systems are beneficial for those who cannot compose music the traditional way, such as those with motor disabilities, they do not offer a new compositional tool to those with full muscular control. This thesis aims to develop an interactive compositional tool using a brain-computer music interface, utilising methods and techniques that will make it accessible to musicians. An investigation into harnessing brainwaves for musical control has been explored, determining that the alpha and beta waves will be most appropriate for this system. Furthermore, a survey of current BCMI systems have been provided, concluding that the musification approach is best suited to harness the user’s alpha and beta waves. This approach allows for a set of musical rules to be implemented, as well as allowing for the creation of music that is representative of the user’s biological state. The system developed for this thesis used the alpha and beta waves to control parameters of a pre-composed composition. The composition featured elements which were aimed to elicit a change in the user’s brainwave frequency, such as a rise in pitch, rhythmic changes, and key changes. The frequency bands are mapped to the parameters of note velocity, chord changes, and key changes

On Mapping EEG Information into Music

With the rise of ever-more affordable EEG equipment available to musicians, artists and researchers, designing and building a Brain-Computer Music Interface (BCMI) system has recently become a realistic achievement. This chapter discusses previous research in the fields of mapping, sonification and musification in the context of designing a BCMI system and will be of particular interest to those who seek to develop their own. Design of a BCMI requires unique consider-ations due to the characteristics of the EEG as a human interface device (HID). This chapter analyses traditional strategies for mapping control from brain waves alongside previous research in bio-feedback musical systems. Advances in music technology have helped provide more complex approaches with regards to how music can be affected and controlled by brainwaves. This, paralleled with devel-opments in our understanding of brainwave activity has helped push brain-computer music interfacing into innovative realms of real-time musical perfor-mance, composition and applications for music therapy

Analyse der Wirkung audiovisualisierter physiologischer Prozesse auf gesunde Probanden im Rahmen einer neuen Selbstwahrnehmungsmethode (Sensorium) zur Evaluation des möglichen therapeutischen Spektrums

Die Therapie von stressassoziierten Gesundheitsproblemen stellt in heutigen Zeiten, die von einem enormen Anstieg von psychischen Problemen gekennzeichnet sind, eine anspruchsvolle Herausforderung dar. In Studien konnte die Wirksamkeit von Biofeedback (Crevenna 2010), Psychotherapie (Bühler et al. 2006) und achtsamkeitsbasierten Verfahren bei stressassoziierten psychischen Krankheiten (Teasdale et al. 2000; Krisanaprakornkit et al. 2006) belegt werden. Hier knüpft die im Rahmen der Promotionsarbeit durchgeführte Studie zur Untersuchung der Wirkung des sogenannten „Sensoriums“ an, das Aspekte von Biofeedback, Achtsamkeitsmeditation und Psychotherapie vereint. Bei dieser neuen Selbstwahrnehmungsmethode werden nicht oder kaum wahrnehmbare physiologische Prozesse durch Farben und Klänge wiedergegeben und so für den Probanden erfahrbar. Es wurde eine prospektive Studie mit 36 Teilnehmern zwischen 21 und 69 Jahren (42% männlich; 58% weiblich) durchgeführt, bei der die Teilnehmer innerhalb von zwei Wochen an drei Terminen jeweils zwei Sitzungen durchliefen: An jedem Termin eine Sensoriumssitzung und eine Vergleichssitzung (Atemachtsamkeit, Bodyscan oder Pseudosensorium). Während jeder Sitzung wurden die Atemfrequenz, Hautleitfähigkeit, Herzratenvariabilität, elektrodermale Aktivität und EEG - Rhythmen gemessen. Nach jeder Testsitzung füllten die Probanden einen Feedbackfragebogen aus. Des Weiteren wurden kurze Interviews geführt, welche kategorisiert und qualitativ ausgewertet wurden; Zudem wurde vor der ersten und nach der letzten der sechs Sitzungen ein Fragebogen zur psychischen Verfassung ausgefüllt. Bei der Auswertung der Fragebögen wurde die Population in zwei Subgruppen, nämlich Menschen mit Meditationserfahrung (n = 26) und Menschen ohne Meditationserfahrung (n = 10), geteilt. Die Auswertung der physiologischen Parameter anhand der Fragebögen ergab, dass jede der sechs Sitzungen als positive Intervention bewertet wurde. Im Vergleich zwischen dem Sensorium und den Kontrollsitzungen wurden hinsichtlich der physiologischen Parameter keine durchgehend signifikanten Unterschiede festgestellt. Somit konnte nicht gezeigt werden, dass das Sensorium den Kontrollsitzungen überlegen ist. Der Aspekt der Außergewöhnlichkeit des Sensoriums wurde jedoch signifikant positiver als bei den Kontrollsitzungen erlebt (Zs ≥ -2.53; ps ≤ .019). Weiterhin wurde bezüglich der Atemfrequenz deutlich, dass das Sensorium im Gegensatz zur Atemachtsamkeit eine stimulierende Wirkung hat (Zs ≥ -3.41; ps ≤ .001). Zusätzlich empfanden die Probanden die letzte Sensoriumssitzung im Vergleich zu den Kontrollsitzungen als hochsignifikant zu kurz (Zs ≥ -2.67; ps ≤ .008), was ebenfalls für die positive Wirkung des Sensoriums spricht. Um das Sensorium als therapeutische Methode zu etablieren, könnte im Rahmen einer Nicht - Unterlegenheits - Studie eine Gleichwertigkeit mit achtsamkeitsbasierten Verfahren untersucht werden und mit Hilfe einer Baseline - Messung und einer Kontrollsitzung „bloße Entspannung“ eine eventuelle Wirkung, die allein auf der angenehmen Umgebung des Sensoriums beruht, ausgeschlossen werden. Es bleibt festzuhalten, dass mit dem Sensorium das Spektrum der therapeutischen Verfahren um eine Methode erweitert wurde, die durch den Aspekt der Eigenaktivität eine Vertiefung des Körperbezugs und der Verbindung mit sich selbst ermöglichen kann