Analysis of Noisy Biosignals for Musical Performance

Proceeding volume: 7619Peer reviewe

Unheard Sounds: A Manual for the Sonification of Emotional States in an Artistic Space

This paper explores the use of sonification technology within an artistic space, specifically a live musical performance setting. The current work should be thought of as a manual for performers, laying out the theoretical background for understanding the use of this technology as well as the technical components for successful incorporation. Most of the theoretical knowledge presented in this paper focuses on emotions and how they are understood to function. The technical and practical information is about different methods of measuring emotional states and the subsequent task of sonifying this information. While this may sound like a relatively new idea, the sonification of bio-signals has a history in music that began around the 1970’s, with the premiere of Alvin Lucier’s Music for Solo Performer. After presenting both historical examples and modern incarnations of this idea, the discussion explores the aesthetics of such works and their place within a postmodern music scene

Tune in to your emotions: a robust personalized affective music player

The emotional power of music is exploited in a personalized affective music player (AMP) that selects music for mood enhancement. A biosignal approach is used to measure listeners’ personal emotional reactions to their own music as input for affective user models. Regression and kernel density estimation are applied to model the physiological changes the music elicits. Using these models, personalized music selections based on an affective goal state can be made. The AMP was validated in real-world trials over the course of several weeks. Results show that our models can cope with noisy situations and handle large inter-individual differences in the music domain. The AMP augments music listening where its techniques enable automated affect guidance. Our approach provides valuable insights for affective computing and user modeling, for which the AMP is a suitable carrier application

Sonified freaks and sounding prostheses: sonic representation of bodies in performance art

This study is concerned with the role of sound in the presentation and representation of bodies in performance art that incorporates digital technologies. It consists of a written thesis accompanied by a portfolio with documentation of original artwork. Since the 1960s, performance artists have explored the use of sensor technologies to register signals generated by the body and synthesize or control sound. However, both practical and theoretical approaches to biosignal sonification in this field have almost entirely focused on musical (formalist) perspectives, technological innovation, or heightening the performer’s and spectator’s awareness of their body’s physiology. Little attention has been paid to the usually conspicuous interaction between body and technological equipment and the role of the generated sound in the context of cultural critical debates regarding the performing body. The present study responds to this observation in two ways: Firstly, the written part of the study examines existing biosignal performance practices. It seeks to demonstrate that artists’ decisions on the design of sensor technology and sound synthesis or manipulation methods are often complicit in the representation of normative body types and behaviour. Drawing from a concept of the sonified body as a transgressive or ‘freak’ body, three critical perspectives on biosignal sonification in digital performance are proposed: A reading of body sonification methods from a gender-critical perspective, an inquiry in the context of Mikhail Bakhtin’s concepts of the grotesque and the classical body, and a conceptualization of the sonified body as a posthuman prosthetisized body. This part of the study serves as a framework for its second objective: the development of practical performance strategies to address and challenge cultural conventions concerning ‘the’ body’s form and role in society. This aspect of the thesis is developed in conjunction with, and further explored in, the artwork documented in the portfolio. The practical part of the study consists of three digital performance works. ELECTRODE (2011) involves an anal electrode that registers the activity of my sphincter muscle and uses this data to synthesize sound. For this work, I modified a commercially available muscle tension sensor device designed for people with faecal incontinence problems. Feedback (2010) encompasses components of a commercially available fetal Doppler sensor intended to listen to the heartbeat of unborn babies. SUIT (2009-2010) encompasses several performances that feature a PVC overall equipped with a loudspeaker, sensor interface and Doppler and humidity sensors

Biosensing and Actuation—Platforms Coupling Body Input-Output Modalities for Affective Technologies

Research in the use of ubiquitous technologies, tracking systems and wearables within mental health domains is on the rise. In recent years, affective technologies have gained traction and garnered the interest of interdisciplinary fields as the research on such technologies matured. However, while the role of movement and bodily experience to affective experience is well-established, how to best address movement and engagement beyond measuring cues and signals in technology-driven interactions has been unclear. In a joint industry-academia effort, we aim to remodel how affective technologies can help address body and emotional self-awareness. We present an overview of biosignals that have become standard in low-cost physiological monitoring and show how these can be matched with methods and engagements used by interaction designers skilled in designing for bodily engagement and aesthetic experiences. Taking both strands of work together offers unprecedented design opportunities that inspire further research. Through first-person soma design, an approach that draws upon the designer’s felt experience and puts the sentient body at the forefront, we outline a comprehensive work for the creation of novel interactions in the form of couplings that combine biosensing and body feedback modalities of relevance to affective health. These couplings lie within the creation of design toolkits that have the potential to render rich embodied interactions to the designer/user. As a result we introduce the concept of “orchestration”. By orchestration, we refer to the design of the overall interaction: coupling sensors to actuation of relevance to the affective experience; initiating and closing the interaction; habituating; helping improve on the users’ body awareness and engagement with emotional experiences; soothing, calming, or energising, depending on the affective health condition and the intentions of the designer. Through the creation of a range of prototypes and couplings we elicited requirements on broader orchestration mechanisms. First-person soma design lets researchers look afresh at biosignals that, when experienced through the body, are called to reshape affective technologies with novel ways to interpret biodata, feel it, understand it and reflect upon our bodies

Frisson Waves: Exploring Automatic Detection, Triggering and Sharing of Aesthetic Chills in Music Performances

Frisson is the feeling and experience of physical reactions such as shivers, tingling skin, and goosebumps. Using entrainment through facilitating interpersonal transmissions of embodied sensations, we present "Frisson Waves" with the aim to enhance live music performance experiences. "Frisson Waves" is an exploratory real-time system to detect, trigger and share frisson in a wave-like pattern over audience members during music performances. The system consists of a physiological sensing wristband for detecting frisson and a thermo-haptic neckband for inducing frisson. In a controlled environment, we evaluate detection (n=19) and triggering of frisson (n=15). Based on our findings, we conducted an in-the-wild music concert with 48 audience members using our system to share frisson. This paper summarizes a framework for accessing, triggering and sharing frisson. We report our research insights, lessons learned, and limitations of "Frisson Waves". Yan He, George Chernyshov, Jiawen Han, Dingding Zheng, Ragnar Thomsen, Danny Hynds, Muyu Liu, Yuehui Yang, Yulan Ju, Yun Suen Pai, Kouta Minamizawa, Kai Kunze, and Jamie A War

Heart beat variability analysis in perinatal brain injury and infection

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Engenharia Clínica e Instrumentação Médica) Universidade de Lisboa, Faculdade de Ciências, 2018Todos os anos, mais de 95 mil recém-nascidos são admitidos nas Unidades de Cuidados Intensivos Neonatais (UCIN) do Reino Unido, devido principalmente a partos prematuros ou outras complicações que pudessem ter ocorrido, como é o caso da encefalopatia hipóxico-isquémica (EHI), que assume 3% de todas as admissões nas unidades referidas. EHI é o termo que define uma complicação inesperada durante o parto, que resulta em lesões neurológicas a longo prazo e até em morte neonatal, devido à privação de oxigénio e fluxo sanguíneo ao recém-nascido durante o nascimento. Estima-se que tenha uma incidência de um a seis casos por 1000 nascimentos. Nos países desenvolvidos, a hipotermia é utilizada como método preventivo-terapêutico para esta condição. No entanto, existem dois grandes obstáculos para a obtenção da neuroprotecção pretendida e totalmente benéfica, na prática clínica. Em primeiro lugar, esta técnica é eficaz se for iniciada dentro de seis horas após o parto. Visto que o estado clínico da encefalopatia neonatal evolui nos dias posteriores ao nascimento, a sua deteção precoce é um grande desafio. Tal situação pode levar a diversos erros nas UCIN, tal como indivíduos sujeitos à terapia de hipotermia desnecessariamente, ou ainda mais grave, casos em que recém-nascidos foram inicialmente considerados como saudáveis, não tendo sido submetidos à terapia referida, apresentarem sinais de EHI após seis horas de vida. A segunda questão prende-se com o facto de a neuroprotecção poder ser perdida se o bebé estiver stressado durante o tratamento. Para além disso, não existe nenhuma ferramenta válida para a avaliação da dor dos recém-nascidos submetidos a esta terapia. Os obstáculos frisados anteriormente demonstram duas necessidades ainda não correspondidas: a carência de um método não invasivo e largamente adaptável a diferentes cenários para uma correta identificação de recém-nascidos com maior probabilidade de HIE, dentro de uma margem de seis horas após o parto, mas também um método preciso de stress em tempo real, não invasivo, que possa orientar tanto pessoal médico, como pais, de modo a oferecer um tratamento mais responsável, célere e individualizado. Deste modo, a análise do ritmo cardíaco demostra um enorme potencial para ser um biomarcador de encefalopatia neonatal, bem como um medidor de stress, através da eletrocardiografia (ECG), visto que é um importante indicador de homeostase, mas também de possíveis condições que podem afetar o sistema nervoso autónomo e, consequentemente, o equilíbrio do corpo humano. É extremamente difícil a obtenção de um parâmetro fisiológico, sem a presença de artefactos, especialmente no caso de recém-nascidos admitidos nas UCIN. Tanto no caso da aquisição de ECGs, como de outros parâmetros, existe uma maior probabilidade de o sinal ser corrompido por artefactos, visto que são longas aquisições, normalmente dias, onde o bebé é submetido a diversas examinações médicas, está rodeado de equipamentos eletrónicos, entre outros. Artefactos são definidos como uma distorção do sinal, podendo ser causados por diversas fontes, fisiológicas ou não. A sua presença nos dados adquiridos influencia e dissimula as informações corretas e reais, podendo mesmo levar a diagnósticos e opções terapêuticas erradas e perigosas para o paciente. Apesar de existirem diversos algoritmos de identificação de artefactos adequados para o sinal cardíaco adulto, são poucos os que funcionam corretamente para o de recém-nascido. Para além disso, é necessário bastante tempo tanto para o staff clínico, como para os investigadores, para o processo de visualização e identificação de artefactos no eletrocardiograma manualmente. Deste modo, o projeto desenvolvido na presente dissertação propõe um novo algoritmo de identificação e marcação de artefactos no sinal cardíaco de recém-nascidos. Para tal, foi criado um modelo híbrido de um método que tem em consideração todas as relações matemáticas de batimento para batimento cardíaco, com outro que tem como objetivo a remoção de spikes no mesmo sinal. O algoritmo final para além de cumprir com o objetivo descrito acima, é também adaptável a diferentes tipos de artefactos presentes no sinal, permitindo ao utilizador, de uma forma bastante intuitiva, escolher o tipo de parâmetros e passos a aplicar, podendo ser facilmente utilizado por profissionais de diferentes áreas. Deste modo, este algoritmo é uma mais-valia quando aplicado no processamento de sinal pretendido, evitando assim uma avaliação visual demorada de todo o sinal. Para obter a melhor performance possível, durante o desenvolvimento do algoritmo foram sempre considerados os resultados de validação, tais como exatidão, sensibilidade, entre outros. Para tal, foram analisados e comparados eletrocardiogramas de 4 recém-nascidos saudáveis e 4 recém-nascidos com encefalopatia. Todos possuíam aproximadamente 5 horas de sinal cardíaco adquirido após o nascimento, com diferentes níveis de presença de artefactos. O algoritmo final, obteve uma taxa de sensibilidade de 96.2% (±2.4%) e uma taxa de exatidão de 92.6% (±3.2%). Como se pode verificar pelos valores obtidos, o algoritmo obteve percentagens altas nos vários parâmetros de classificação, o que significa uma deteção correta. A taxa de exatidão apresenta um valor mais baixo, comparativamente ao parâmetro da sensibilidade, pois em diversas situações, normalmente perto de artefactos, os batimentos normais são considerados como artefactos, pelo algoritmo. Contudo, essa taxa não é alarmante, tendo sido considerada uma taxa reduzida, pelo pessoal médico. Após o processamento do sinal cardíaco dos grupos mencionados acima, um estudo comparativo, utilizando parâmetros da variabilidade do ritmo cardíaco, foi realizado. Diferenças significativas foram encontradas entre os dois grupos, onde o saudável assumiu sempre valores maiores. SDNN e baixa frequência foram os parâmetros que traduziram uma diferença maior entre os dois grupos, com um p-value <0.01. De modo a corresponder ao segundo obstáculo referido nesta dissertação, outro objetivo desta tese foi a criação de um algoritmo que pudesse identificar e diferenciar uma situação de stress nesta faixa etária, com recurso ao ritmo cardíaco. Um estudo multidimensional foi aplicado aos diferentes métodos de entropia utilizados nesta tese (approximate entropy, sample entropy, multiscales entopy e fuzzy entropy) de modo a estudar como os diferentes métodos de entropia interagem entre si e quais são os resultados dessa relação, especialmente na distinção de estados normais e stressantes. Para tal, a utilização de clusters foi essencial. Dado que para todos os ECGs de bebés saudáveis analisados neste projeto foram registados todas as possíveis situações de stress, como é o caso de choro, examinações médicas, mudança de posição, entre outros, foram escolhidos 10 minutos do sinal do ritmo cardíaco adquirido, antes da situação, para análise. Infelizmente, associado a um evento stressante, na maioria dos casos encontra-se uma percentagem bastante alta do sinal corrompida por artefactos. No entanto, em alguns casos foi possível observar uma clara distinção de grupos de clusters, indicando que naquele período de tempo, houve uma mudança de estado. Foi também realizado um estudo intensivo de diversos métodos de entropia aplicados ao grupo de sujeitos apresentados nesta dissertação, onde foi provado que o método mais adequado a nível de diferenciação é a Fuzzy Entropy (p=0.0078). Ainda é possível sugerir alguns aspetos e apontar algumas limitações, no âmbito de poderem ser ultrapassadas no futuro. Em primeiro lugar, é necessária a aquisição de mais eletrocardiogramas, quer de recém-nascidos saudáveis, quer com encefalopatia hipóxico-isquémica, de modo a aumentar o tamanho da amostra e, deste modo diminuir os valores do desvio-padrão em todos os parâmetros calculados. Relativamente ao estudo do stress, seria interessante, com uma amostra maior, a definição de clusters, de modo a ter uma identificação precisa de situações stressantes. Para além disso, a transformação do software atualmente escrito em MATLAB para GUI (interface gráfica do utilizador), a fim de tornar mais acessível a sua utilização por profissionais de diversas áreas.In Neonatal Intensive Care Unit (NICU), the heart rate (HR) offers significant insight into the autonomic function of sick newborns, especially with hypoxic ischemic encephalopathy condition (HIE). However, the intensity of clinical care and monitoring contributes to the electrocardiogram (ECG) to be often noisy and contaminated with artefacts from various sources. These artefacts, defined as any distortion of the signal caused by diverse sources, being physiological or non-physiological features, interfere with the characterization and subsequent evaluation of the heart rate, leading to grave consequences, both in diagnostic and therapeutic decisions. Besides, its manual inspection in the ECG trace is highly time-consuming, which is not feasible in clinical monitoring, especially in NICU. In this dissertation, it is proposed an algorithm capable of automatically detect and mark artefacts in neonatal ECG data, mainly dealing with mathematical aspects of the heart rate, starting from the raw signal. Also, it is proposed an adjacent algorithm, using complexity science applied to HR data, with the objective of identifying stress scenarios. Periods of 10-minute ECG were considered from 8 newborns (4 healthy and 4 HIE) to the identification of stress situations, whereas for the artefacts removal algorithm small portions varying in time length according to the amount of noise present in the originally 5 hours long samples were utilised. In this report it is also present several comparisons utilising heart rate parameters between healthy and HIE groups. Fuzzy Entropy was considered the best method to differentiate both groups (p=0.00078). In this report, substantial differences in heart rate variability were found between healthy and HIE groups, especially in SDNN and low frequency (p<0.01), confirming results of previous literature. For the final artefact removal algorithm, it is illustrated significant differences between raw and post-processed ECG signals. This method had a Recall rate of 96.2% (±2.4%) and a Precision Rate of 92.6% (±3.2%), demonstrating high efficiency in ECG noise removal. Regarding stress measures, associated with a stressful event, in most cases there is a high percentage of the signal corrupted by artefacts. However, in some cases it was possible to see a clear distinction between groups of clusters, indicating that in that period, there was a change of state. Not all the time segments from subjects demonstrated differences in stress stages, indicating that there is still room for improvement in the method developed

Smart Clothing Framework for Health Monitoring Applications

Wearable technologies are making a significant impact on people’s way of living thanks to the advancements in mobile communication, internet of things (IoT), big data and artificial intelligence. Conventional wearable technologies present many challenges for the continuous monitoring of human health conditions due to their lack of flexibility and bulkiness in size. Recent development in e-textiles and the smart integration of miniature electronic devices into textiles have led to the emergence of smart clothing systems for remote health monitoring. A novel comprehensive framework of smart clothing systems for health monitoring is proposed in this paper. This framework provides design specifications, suitable sensors and textile materials for smart clothing (e.g., leggings) development. In addition, the proposed framework identifies techniques for empowering the seamless integration of sensors into textiles and suggests a development strategy for health diagnosis and prognosis through data collection, data processing and decision making. The conceptual technical specification of smart clothing is also formulated and presented. The detailed development of this framework is presented in this paper with selected examples. The key challenges in popularizing smart clothing and opportunities of future development in diverse application areas such as healthcare, sports and athletics and fashion are discussed