EEG source analysis during circular rhythmic human arm movements

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Engenharia Clínica e Instrumentação Médica) Universidade de Lisboa, Faculdade de Ciências, 2017Decoding arm movement trajectory from brain signals would allow motor impaired people to control an arm prosthetic. Studies show that we can estimate a vector that points in the direction of arm movements based on single motor neuron activity - the population vector. This type of recording requires the surgical insertion of electrodes in the cerebral cortex. Although such invasive recordings would offer high spatial resolution, noninvasive recording have the advantage of high temporal resolution and no need for surgery. Researchers have managed to decode movement properties from noninvasive brain signals with similar accuracy as from invasive recordings. But can we find a noninvasive analogous of the population vector, a vector that points in the direction of the arm movement? This was the motivation for this thesis. To approach this question we acquired EEG, EOG and kinematic data from 12 healthy subjects while they performed a rhythmic circular right arm movement. We analyzed the data in the time and frequency domains. In the time domain we explored mainly the data averaged over cycles. We found a pattern that looked as if the potentials in the scalp rotated with the arm. To better visualize this rotation, we fit one dipole per time-stamp in the averaged cycle data of each subject to describe the scalp’s potentials. The dipoles rotated along the cycle for all subjects, most of them in the same direction and plane of rotation, with exception for two subjects whose rotation was opposite and three subjects with a slightly different rotation plan. In the frequency domain, we used the Source Power Comodulation algorithm (SPoC), an algorithm that searches for components whose power correlates with a target variable, in our case, the arm kinematics. By applying this algorithm to 20-24 Hz band-pass filtered data, we found two components per subject, each calculated with different kinematic target variables. The results show components that when applied to the non band-pass filtered data, created signals whose power spectrum highly correlated with the given targets (the average of the absolute correlations being 85.5%). The physiological reason for both these phenomena is not entirely understood. To find the analogous of the population vector there is still a long way to go, and we hope this thesis was a first step towards it.O cérebro controla direta ou indiretamente todas as ações do corpo humano, entre elas o nosso movimento. O movimento é uma capacidade fundamental ao ser humano e, por essa mesma razão, indivíduos que sofram de incapacidades motoras têm uma redução considerável da sua qualidade de vida. Uma interface cérebro-computador (mais conhecida pelo seu nome em inglês brain-computer interface (BCI)) é um sistema que permite o controlo de dispositivos externos usando sinais cerebrais. Esta tecnologia é particularmente interessante para pessoas com incapacidade motora uma vez que não necessita de input físico e poderia ser usada para controlar uma neuroprótese ou um braço robótico. Existem várias estratégias que possibilitam o controlo destes sistemas, mas para o controlo de uma prótese do braço seria preferível usar uma estratégia natural, que não implicasse uma aprendizagem exaustiva por parte do utilizador. Para esse fim, é necessário descodificar vários parâmetros motores de acordo com a intenção do utilizador, como por exemplo, a direção do braço. A possibilidade de um dia conseguir descodificar sinais cerebrais para o controlo de dispositivos externos já começa a ganhar forma, mas ainda não é possível a um nível suficientemente eficaz. Usando métodos invasivos de aquisição de sinais cerebrais que requerem cirurgia para implantar elétrodos no córtex cerebral, Georgopoulos et al. conseguiram distinguir entre movimentos direcionais (em 8 direções num plano horizontal) em macacos. Nessas experiências criou o conceito de vetor de população (population vector) que é um vetor calculado a partir da atividade de neurónios motores que tem a particularidade de apontar na direção do movimento executado. Já no campo dos métodos de aquisição não-invasivos podemos destacar o eletroencefalograma (EEG) e o magnetoencefalograma (MEG) que adquirem sinais elétricos e magnéticos (respetivamente) com sensores colocados fora do crânio. Vários investigadores usaram estes métodos de aquisição para descodificar sinais cerebrais durante tarefas de movimento direcionais usando regressões lineares em sinais de baixa frequência, e modulações em frequência para sinais na gama dos 50-90 Hz (banda de frequência ϒ) e em frequência mais baixas para os 10-30 Hz (bandas de frequência α e β). Algo que ainda não foi estudado é a possibilidade de encontrar um análogo ao vetor população usando métodos não-invasivos. Este não teria os mesmos princípios do vetor de Georgopoulos, uma vez que nos é impossível inferir a atividade de neurónios singulares em métodos não-invasivos, mas teria o mesmo objetivo: apontar na direção do movimento executado. Para explorar este conceito realizámos aquisição de dados EEG, eletrooculograma (EOG) e dados cinéticos do braço direito de 12 sujeitos saudáveis, enquanto estes executavam um movimento rítmico, circular, no sentido dos ponteiros do relógio num plano vertical à sua frente. Durante a aquisição, os sujeitos focaram o seu olhar numa cruz mostrada através de um monitor colocado a sua frente, de forma a minimizar os movimentos oculares. Adicionalmente, uma divisória foi colocada perto do lado direito da face de cada sujeito impedindo os mesmos de observarem o seu braço enquanto realizavam o movimento requisitado, não obtendo assim qualquer feedback visual do seu membro superior. Os dados cinéticos foram adquiridos com um sensor Kinect para a Xbox 360 que ao longo da experiência localizou as junções do braço direito dos sujeitos. Os dados cinéticos foram filtrados com um passa-banda 0.3-0.8 Hz e, ao longo dos ciclos do braço, os pontos extremos do braço (i.e., os máximos e mínimos nas coordenadas vertical e horizontal) foram anotados nos dados para possibilitar a associação dos sinais cerebrais com a trajetória do braço em cada ciclo. Para cada sujeito os canais EEG ruidosos foram interpolados, os dados foram referenciados à média comum de todos os canais, e os sinais foram filtrados numa banda de frequência 0.25-100 Hz e com um filtro tapa banda nos 50 e nos 100 Hz, este último para rejeitar o ruído de fundo. Os sinais de EEG e EOG foram separados em épocas conforme a posição do braço, sendo que cada época passou então a consistir num ciclo do braço completo que começa no ponto mais alto da coordenada vertical. Cada época foi depois temporalmente distorcida para que todas tivessem a mesma duração. As épocas com artefactos foram rejeitadas da análise usando métodos automáticos de rejeição. Independent Component Analysis (ICA) foi utilizada para identificar e posteriormente rejeitar componentes independentes referentes a movimentos musculares e oculares. Por fim, os dados foram explorados em ambos os domínios de tempo e frequência. No domínio do tempo, estudámos mais especificamente a média das épocas de EEG e EOG durante os ciclos do braço. Uma vez que sinais não-invasivos são muito sujeitos a ruído, a média elimina artefactos singulares e acentua os sinais que aparecem constantemente nos dados. Os sinais do ciclo médio mostraram um padrão interessante para todos os sujeitos; um comportamento rotacional ao longo da rotação do braço direito. Para acompanhar a rotação dos potenciais, procurámos por um dipolo que descrevesse a distribuição topográfica a cada ponto do tempo. A rotação dos potenciais do EEG ao longo do ciclo médio foram verificados com a rotação da direção do dipolo ao longo do ciclo. A grande maioria dos sujeitos obteve um dipolo a rodar no mesmo sentido no mesmo plano (segundo a regra da mão direita, com um vetor de rotação a apontar para a zona frontal esquerda do cérebro). Cinco sujeitos foram a exceção, 2 desses cujo dipolo rodava no sentido contrário, e os restantes 3 sujeitos cujo dipolo rodava no mesmo sentido, mas num plano ligeiramente diferente. Em todos os sujeitos o dipolo ajustado rodava, de forma relativamente uniforme. No domínio da frequência, estudámos em particular a banda de frequência dos 20 aos 24 Hz. Escolheuse esta banda de frequência pois demonstrou os resultados mais interessantes e já tinha sido utilizada em estudos prévios. Usámos um algoritmo chamado SPoC (Source Power Comodulation) que encontra componentes de atividade cerebral cuja amplitude em frequência correlacione com uma variável alvo. Como variável alvo usámos os dados cinéticos do braço direito, e como input os dados cerebrais filtrados por um filtro passa-banda (20-24 Hz). Os resultados traduziram-se numa série de componentes cuja amplitude correlacionava ou anti-correlacionava com o movimento do braço, muitas delas com projecções topográficas consistentes com as áreas cerebrais motoras. Encontraram-se algumas semelhanças entre os padrões de ativação das componentes do SPoC dos vários sujeitos, ainda que os resultados variassem entre cada um. Ao projetar as componentes aos dados não-filtrados pelo passa-banda, verificamos que as modelações em frequência de facto correlacionam com as variáveis-alvo como esperado, com uma média da norma das correlações de todos os sujeitos a 85,5%. No domínio temporal, ainda que recorrendo à média de todos os ciclos (épocas), este é o primeiro estudo que demonstra de forma não-invasiva, a existência de um dipolo com comportamento rotacional ao longo da rotação do braço. Para o seu uso em tecnologias de BCI, é necessário encontrar o mesmo fenómeno em épocas únicas, tornando possível uma classificação em single-trial e em tempo real. No que toca aos resultados no domínio da frequência, a procura por componentes cuja fonte poderia estar envolvida na criação do movimento circular foi também bem-sucedida. Este estudo abriu portas para uma série de investigações futuras. Para trabalhos posteriores destaco a necessidade de uma análise estatística, de usar mais do que um dipolo para descrever a distribuição de potenciais no domínio temporal, de explorar os dados em cada movimento e não apenas a sua média, e de explorar paradigmas semelhantes durante o movimento do braço esquerdo. Os resultados desta tese serviram, portanto, como primeiro passo na direção de encontrar o análogo não-invasivo do vetor de população

Decoding Imagined 3D Hand Movement Trajectories From EEG: Evidence to Support the Use of Mu, Beta, and Low Gamma Oscillations

Objective: To date, motion trajectory prediction (MTP) of a limb from non-invasive electroencephalography (EEG) has relied, primarily, on band-pass filtered samples of EEG potentials i.e., the potential time-series model. Most MTP studies involve decoding 2D and 3D arm movements i.e., executed arm movements. Decoding of observed or imagined 3D movements has been demonstrated with limited success and only reported in a few studies. MTP studies normally use EEG potentials filtered in the low delta (~1 Hz) band for reconstructing the trajectory of an executed or an imagined/observed movement. In contrast to MTP, multiclass classification based sensorimotor rhythm brain-computer interfaces aim to classify movements using the power spectral density of mu (8–12 Hz) and beta (12–28 Hz) bands.Approach: We investigated if replacing the standard potentials time-series input with a power spectral density based bandpower time-series improves trajectory decoding accuracy of kinesthetically imagined 3D hand movement tasks (i.e., imagined 3D trajectory of the hand joint) and whether imagined 3D hand movements kinematics are encoded also in mu and beta bands. Twelve naïve subjects were asked to generate or imagine generating pointing movements with their right dominant arm to four targets distributed in 3D space in synchrony with an auditory cue (beep).Main results: Using the bandpower time-series based model, the highest decoding accuracy for motor execution was observed in mu and beta bands whilst for imagined movements the low gamma (28–40 Hz) band was also observed to improve decoding accuracy for some subjects. Moreover, for both (executed and imagined) movements, the bandpower time-series model with mu, beta, and low gamma bands produced significantly higher reconstruction accuracy than the commonly used potential time-series model and delta oscillations.Significance: Contrary to many studies that investigated only executed hand movements and recommend using delta oscillations for decoding directional information of a single limb joint, our findings suggest that motor kinematics for imagined movements are reflected mostly in power spectral density of mu, beta and low gamma bands, and that these bands may be most informative for decoding 3D trajectories of imagined limb movements

A comprehensive review on motion trajectory reconstruction for EEG-based brain-computer interface

The advance in neuroscience and computer technology over the past decades have made brain-computer interface (BCI) a most promising area of neurorehabilitation and neurophysiology research. Limb motion decoding has gradually become a hot topic in the field of BCI. Decoding neural activity related to limb movement trajectory is considered to be of great help to the development of assistive and rehabilitation strategies for motor-impaired users. Although a variety of decoding methods have been proposed for limb trajectory reconstruction, there does not yet exist a review that covers the performance evaluation of these decoding methods. To alleviate this vacancy, in this paper, we evaluate EEG-based limb trajectory decoding methods regarding their advantages and disadvantages from a variety of perspectives. Specifically, we first introduce the differences in motor execution and motor imagery in limb trajectory reconstruction with different spaces (2D and 3D). Then, we discuss the limb motion trajectory reconstruction methods including experiment paradigm, EEG pre-processing, feature extraction and selection, decoding methods, and result evaluation. Finally, we expound on the open problem and future outlooks

Workshops of the Sixth International Brain–Computer Interface Meeting: brain–computer interfaces past, present, and future

Brain–computer interfaces (BCI) (also referred to as brain–machine interfaces; BMI) are, by definition, an interface between the human brain and a technological application. Brain activity for interpretation by the BCI can be acquired with either invasive or non-invasive methods. The key point is that the signals that are interpreted come directly from the brain, bypassing sensorimotor output channels that may or may not have impaired function. This paper provides a concise glimpse of the breadth of BCI research and development topics covered by the workshops of the 6th International Brain–Computer Interface Meeting