Brain Computer Interfaces and Emotional Involvement: Theory, Research, and Applications

This reprint is dedicated to the study of brain activity related to emotional and attentional involvement as measured by Brain–computer interface (BCI) systems designed for different purposes. A BCI system can translate brain signals (e.g., electric or hemodynamic brain activity indicators) into a command to execute an action in the BCI application (e.g., a wheelchair, the cursor on the screen, a spelling device or a game). These tools have the advantage of having real-time access to the ongoing brain activity of the individual, which can provide insight into the user’s emotional and attentional states by training a classification algorithm to recognize mental states. The success of BCI systems in contemporary neuroscientific research relies on the fact that they allow one to “think outside the lab”. The integration of technological solutions, artificial intelligence and cognitive science allowed and will allow researchers to envision more and more applications for the future. The clinical and everyday uses are described with the aim to invite readers to open their minds to imagine potential further developments

Evaluation Of Automated Eye Blink Artefact Removal Using Stacked Dense Autoencoder

The presence of artefacts in Electroencephalograph (EEG) signals can have a considerable impact on the information they portray. In this comparative study, the automated removal of eye blink artefacts using the constrained latent representation of a stacked dense autoencoders (SDAE) and comparing its ability to that of the manual independent component analysis (ICA) approach was evaluated. A comparative evaluation of 5 stacked dense autoencoder architectures lead to a chosen architecture for which the ability to automatically detect and remove eye blink artefacts were both statistically and humanistically evaluated. The ability of the stacked dense autoencoder was statistically evaluated with the manual approach of ICA using the correlation coefficient, a comparative affect on the SNR using both approaches and a humanistic evaluation using visual inspections of the components of the stacked dense autoencoder reconstruction to that of the post ICA reconstruction where an inverse RMSE allowed for a further statistical evaluation of this comparison. It was found that the stacked dense autoencoder was unable to reconstruct random signal segments in any meaningful capacity when compared to that of ICA

14 challenges for conducting social neuroscience and longitudinal EEG research with infants

The use of electroencephalography (EEG) to study infant brain development is a growing trend. In addition to classical longitudinal designs that study the development of the neural, cognitive and behavioural function, new areas of EEG application are emerging, such as novel social neuroscience paradigms using dual infant-adult EEG recordings. However, most of the experimental designs, analysis methods, as well as EEG hardware were originally developed for single-person adult research. When applied to the study of infant development, adult-based solutions often pose unique problems that may go unrecognised. Here, we identify 14 challenges that infant EEG researchers may encounter when designing new experiments, collecting data, and conducting data analysis. Challenges related to the experimental design are: (1) small sample size and data attrition, and (2) varying arousal in younger infants. Challenges related to data acquisition are: (3) determining the optimal location for reference and ground electrodes, (4) control of impedance when testing with the high-density sponge electrode nets, (5) poor fit of standard EEG caps to the varying infant head shapes, and (6) ensuring a high degree of temporal synchronisation between amplifiers and recording devices during dual-EEG acquisition. Challenges related to the analysis of longitudinal and social neuroscience datasets are: (7) developmental changes in head anatomy, (8) prevalence and diversity of infant myogenic artefacts, (9) a lack of stereotypical topography of eye movements needed for the ICA-based data cleaning, (10) and relatively high inter-individual variability of EEG responses in younger cohorts. Additional challenges for the analysis of dual EEG data are: (11) developmental shifts in canonical EEG rhythms and difficulties in differentiating true inter-personal synchrony from spurious synchrony due to (12) common intrinsic properties of the signal and (13) shared external perturbation. Finally, (14) there is a lack of test-retest reliability studies of infant EEG. We describe each of these challenges and suggest possible solutions. While we focus specifically on the social neuroscience and longitudinal research, many of the issues we raise are relevant for all fields of infant EEG research

14 challenges and their solutions for conducting social neuroscience and longitudinal EEG research with infants.

The use of electroencephalography (EEG) to study infant brain development is a growing trend. In addition to classical longitudinal designs that study the development of neural, cognitive and behavioural functions, new areas of EEG application are emerging, such as novel social neuroscience paradigms using dual infant-adult EEG recordings. However, most of the experimental designs, analysis methods, as well as EEG hardware were originally developed for single-person adult research. When applied to study infant development, adult-based solutions often pose unique problems that may go unrecognised. Here, we identify 14 challenges that infant EEG researchers may encounter when designing new experiments, collecting data, and conducting data analysis. Challenges related to the experimental design are: (1) small sample size and data attrition, and (2) varying arousal in younger infants. Challenges related to data acquisition are: (3) determining the optimal location for reference and ground electrodes, (4) control of impedance when testing with the high-density sponge electrode nets, (5) poor fit of standard EEG caps to the varying infant head shapes, and (6) ensuring a high degree of temporal synchronisation between amplifiers and recording devices during dual-EEG acquisition. Challenges related to the analysis of longitudinal and social neuroscience datasets are: (7) developmental changes in head anatomy, (8) prevalence and diversity of infant myogenic artefacts, (9) a lack of stereotypical topography of eye movements needed for the ICA-based data cleaning, (10) and relatively high inter-individual variability of EEG responses in younger cohorts. Additional challenges for the analysis of dual EEG data are: (11) developmental shifts in canonical EEG rhythms and difficulties in differentiating true inter-personal synchrony from spurious synchrony due to (12) common intrinsic properties of the signal and (13) shared external perturbation. Finally, (14) there is a lack of test-retest reliability studies of infant EEG. We describe each of these challenges and suggest possible solutions. While we focus specifically on the social neuroscience and longitudinal research, many of the issues we raise are relevant for all fields of infant EEG research.This research was funded by an ESRC Transforming Social Sciences collaboration grant (ES/N006461/1) to VL and SW, and by ESRC FRL Fellowship (ES/N017560/1) to SW

Sound-production Related Cognitive Tasks for Onset Detection in Self-Paced Brain-Computer Interfaces

Objective. The main goal of this research is proposing a novel method of onset detection for Self-Paced (SP) Brain-Computer Interfaces (BCIs) to increase usability and practicality of BCIs towards real-world uses from laboratory research settings. Approach. To achieve this goal, various Sound-Production Related Cognitive Tasks (SPRCTs) were tested against idle state in offline and simulated-online experiments. An online experiment was then conducted that turned a messenger dialogue on when a new message arrived by executing the Sound Imagery (SI) onset detection task in real-life scenarios (e.g. watching video, reading text). The SI task was chosen as an onset task because of its advantages over other tasks: 1) Intuitiveness. 2) Beneficial for people with motor disabilities. 3) No significant overlap with other common, spontaneous cognitive states becoming easier to use in daily-life situations. 4) No dependence on user’s mother language. Main results. The final online experimental results showed the new SI onset task had significantly better performance than the Motor Imagery (MI) approach. 84.04% (SI) vs 66.79% (MI) TFP score for sliding image scenario, 80.84% vs 61.07% for watching video task. Furthermore, the onset response speed showed the SI task being significantly faster than MI. In terms of usability, 75% of subjects answered SI was easier to use. Significance. The new SPRCT outperforms typical MI for SP onset detection BCIs (significantly better performance, faster onset response and easier usability), therefore it would be more easily used in daily-life situations. Another contribution of this thesis is a novel EMG artefact-contaminated EEG channel selection and handling method that showed significant class separation improvement against typical blind source separation techniques. A new performance evaluation metric for SP BCIs, called true-false positive score was also proposed as a standardised performance assessment method that considers idle period length, which was not considered in other typical metrics

A statistical approach to the problem of restoring damaged and contaminated images

We address the problem of automatically identifying and restoring damaged and contaminated images. We suggest a novel approach based on a semi-parametric model. This has two components, a parametric component describing known physical characteristics and a more flexible non-parametric component. The latter avoids the need for a detailed model for the sensor, which is often costly to produce and lacking in robustness. We assess our approach using an analysis of electroencephalographic images contaminated by eye-blink artefacts and highly damaged photographs contaminated by non-uniform lighting. These experiments show that our approach provides an effective solution to problems of this type

Mining the brain to predict gait characteristics: a BCI study

Tese de mestrado integrado em Engenharia Biomédica e Biofísica, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, em 2018A locomoção é uma das atividades mais comuns e relevantes da vida quotidiana, sendo que envolve a ativação dos sistemas nervoso e músculo-esquelético. Os distúrbios da locomoção são comuns principalmente na população idosa, sendo que frequentemente estão associados a uma diminuição da qualidade de vida. A ocorrência destes distúrbios aumenta com a idade, estimando-se que aproximadamente 10% das pessoas com idades entre 60 e 69 anos sofram de algum tipo de distúrbio da locomoção, enquanto esse número aumenta para mais de 60% em pessoas com idade superior a 80 anos. Os padrões da locomoção são influenciados por doenças, condições físicas, personalidade e humor, sendo que um padrão anormal ocorre quando uma pessoa não é capaz de andar da maneira usual, maioritariamente devido a lesões, doenças ou outras condições subjacentes. As causas dos distúrbios da marcha incluem condições neurológicas e músculo-esqueléticas. Um grande número de condições neurológicas pode causar um padrão de marcha anormal, como por exemplo um acidente vascular cerebral, paralisia cerebral ou a doença de Parkinson. Por outro lado, as causas músculo-esqueléticas devem-se principalmente a doenças ósseas ou musculares. A avaliação ou análise da marcha, inclui a medição, descrição e avaliação das variáveis que caracterizam a locomoção humana. Como resultado, este estudo permite o diagnóstico de várias condições, bem como avaliar a progressão da reabilitação e desenvolver estratégias de intervenção. Convencionalmente, a marcha é estudada subjetivamente com protocolos observacionais. No entanto, recentemente foram desenvolvidos métodos mais objetivos e viáveis. Os métodos de análise da marcha podem ser classificados em laboratoriais ou portáteis. Embora a análise baseada em laboratório utilize equipamentos especializados, os sistemas portáteis permitem o estudo da marcha em ambientes naturais e durante atividades da vida diária. A análise laboratorial da marcha é baseada principalmente em informações de imagem e vídeo, embora sensores de piso e placas de força também sejam comuns. Por outro lado, os sistemas portáteis consistem em um ou vários sensores, ligados ao corpo. A adaptação da locomoção é um dos mais relevantes conceitos na análise da mesma, sendo que a sua origem e dinâmica neuronal têm sido amplamente estudadas nos últimos anos. A adaptação da marcha reflete a capacidade de um sujeito em mudar de velocidade e direção, manter o equilíbrio ou evitar obstáculos. Em termos da reabilitação neurológica, a adaptação da locomoção interfere na dinâmica neuronal, permitindo que os pacientes restaurem certas funções motoras. Atualmente, os dispositivos robóticos para membros inferiores e os exoesqueletos são cada vez mais usados não só para facilitar a reabilitação motora, mas também para apoiar as funções da vida diária. No entanto, a sua eficiência e segurança depende da sua eficácia em detetar a intenção humana de mover e adaptar a locomoção. Recentemente, foi demonstrado que o ritmo auditivo tem um forte efeito no sistema motor. Consequentemente, a adaptação tem sido estudada com base em ritmos auditivos, onde os pacientes seguem tons de estimulação para melhorar a coordenação da marcha. A imagem motora (MI), uma prática emergente em BCI, ou interface cérebro-máquina, é definida como a atividade de simular mentalmente uma determinada ação, sem a execução real do movimento. O desempenho da classificação da MI é importante para desenvolver ambientes robustos de interface cérebro-máquina, para neuro-reabilitação de pacientes e controle de próteses robóticas. O desempenho da classificação da MI é importante para desenvolver ambientes robustos de interface cérebro-máquina, para neuro-reabilitação de pacientes e controle de próteses robóticas, uma vez que, estudos anteriores, concluíram que realizar uma sessão de MI ativa parcialmente as mesmas regiões cerebrais que o desempenho da tarefa real. Inicialmente, a tarefas de MI centravam-se apenas nos movimentos dos membros superiores, no entanto, recentemente, estas começaram também a focar-se nos movimentos dos membros inferiores, de modo a estudar a locomoção humana. A deteção da intenção motora em tarefas de MI enfrenta vários desafios, mesmo para duas classes (esquerda / direita, por exemplo), sendo que um dos principais desafios se deve ao número, localização e tipo de elétrodos de EEG usados. Recentemente, um número crescente de estudos investigou a atividade cerebral durante a locomoção humana. Esses estudos, baseados maioritariamente no EEG, encontraram várias relações entre regiões cerebrais e ações ou movimentos específicos. Por exemplo, concluiu-se que a atividade cerebral aumenta durante a caminhada ou a preparação para caminhar e que a potência nas bandas μ e β diminui durante a execução voluntária do movimento. Em termos de adaptação da marcha, foi demonstrado que a atividade eletrocortical varia de acordo com a tarefa motora executada. Recentemente, as Interfaces Cérebro-Máquina permitiram o desenvolvimento de novas terapias de reabilitação para restaurar as funções motoras em pessoas com deficiências na locomoção, envolvendo o SNC para ativar dispositivos externos. Na primeira parte desta tese, foram realizadas várias tarefas de MI, juntamente com os movimentos reais dos membros inferiores, de modo a comparar o desempenho da classificação de um sistema wireless de 16 elétrodos secos com um sistema wireless de 32 elétrodos com gel condutor. A extração e classificação das características do sinal foram também avaliadas com mais de um método (LDA e CSP). No final, a combinação de um filtro beta passa-banda com um filtro RCSP mostrou a melhor taxa de classificação. Embora durante a aquisição do EEG todos os canais tenham sido utilizados, durante os métodos de processamento, foram escolhidas duas configurações específicas, onde os elétrodos foram selecionados de acordo com sua posição relativamente ao córtex motor. Desde modo, infere-se que uma seleção cuidada da localização dos elétrodos é mais importante do que ter um denso mapa de elétrodos, o que torna os sistemas EEG mais confortáveis e de fácil utilização. Os resultados mostram também a viabilidade do uso doméstico de sistemas de elétrodos secos com um reduzido número de sensores, e a possibilidade de diferenciar entre as tarefas de MI (esquerda e direita), para ambos os membros, com uma precisão relativamente alta. Por outro lado, a segunda parte desta tese apresenta um esquema de adaptação da marcha em ambientes naturais. De modo a avaliar a adaptação da marcha, os sujeitos seguem um tom rítmico que alterna entre três modos distintos (lento, normal e acelerado). As características da locomoção foram extraídas com base numa câmara RGB, sendo que os sinais de EEG foram monitorados simultaneamente. De seguida, estas características bem como as informações do tempo de reação foram utilizadas para extrair as etapas de adaptação da marcha versus etapas de não adaptação. De modo a remover os artefactos presentes no EEG, devidos maioritariamente ao movimento do sujeito, o sinal for filtrado com uma filtro passa-banda e sujeito a uma análise de componentes independentes (ICA). Posteriormente, as características de adaptação da marcha do EEG foram investigadas com base em dois problemas de classificação: i) classificação dos passos em direito ou esquerdo e ii) etapas de adaptação versus não adaptação da marcha. As características foram extraídas com base em padrões espaciais comuns (CSP) e padrões espaciais comuns regularizados (RCSP). Os resultados mostram que é possível discriminar com sucesso a adaptação versus não adaptação com mais de 90% de precisão. Este procedimento permite a monitoração dos participantes em ambientes mais realistas, sem a necessidade de equipamentos especializados, como sensores de pressão. Este método demonstrou que é possível detetar a adaptação com mais de 90% de precisão, quando os participantes tentam adaptar sua velocidade de marcha para uma velocidade maior ou menor.Gait adaptation is one of the most relevant concepts in gait analysis and its neuronal origin and dynamics has been extensively studied in the past few years. In terms of neurorehabilitation, gait adaptation perturbs neuronal dynamics and allows patients to restore some of their motor functions. In fact, lower-limbs robotic devices and exoskeletons are increasingly used to facilitate rehabilitation as well as supporting daily life functions. However, their efficiency and safety depend on how well they can detect the human intention to move and adapt the gait. Motor imagery (MI), an emerging practise in Brain Computer Interface (BCI), is defined as the activity of mentally simulating a given action, without the actual execution of the movement. MI classification performance is important in order to develop robust brain computer interface environments for neuro-rehabilitation of patients and robotic prosthesis control. In the first section of this thesis, it was performed a number of motor imagery tasks along with actual movements of the limbs to compare the classification performance of a dry 16-channel and a wet, 32-channel, wireless (Electroencephalography) EEG system. Results showed the feasibility of home use of dry electrode systems with a small number of sensors, and the possibility to discriminate between left and right MI tasks for both arms and legs, with a relatively high accuracy. The second part of this thesis presents a gait adaptation scheme in natural settings. This procedure allows the monitorization of subjects in more realistic environments without the requirement of specialized equipment such as treadmill and foot pressure sensors. Gait characteristics were extracted based on a single RGB camera, and EEG signals are monitored simultaneously. This method demonstrated that it is possible to detect adaptation steps with more than 90% accuracy, when subjects tries to adapt their walking speed to a higher or lower speed