Mental state estimation for brain-computer interfaces

Mental state estimation is potentially useful for the development of asynchronous brain-computer interfaces. In this study, four mental states have been identified and decoded from the electrocorticograms (ECoGs) of six epileptic patients, engaged in a memory reach task. A novel signal analysis technique has been applied to high-dimensional, statistically sparse ECoGs recorded by a large number of electrodes. The strength of the proposed technique lies in its ability to jointly extract spatial and temporal patterns, responsible for encoding mental state differences. As such, the technique offers a systematic way of analyzing the spatiotemporal aspects of brain information processing and may be applicable to a wide range of spatiotemporal neurophysiological signals

Dendritic size of pyramidal neurons differs among mouse cortical regions

12 pages, 7 figures, 3 tables.-- PMID: 16195469 [PubMed].-- Available online Sep 29, 2005.Neocortical circuits share anatomical and physiological similarities among different species and cortical areas. Because of this, a ‘canonical’ cortical microcircuit could form the functional unit of the neocortex and perform the same basic computation on different types of inputs. However, variations in pyramidal cell structure between different primate cortical areas exist, indicating that different cortical areas could be built out of different neuronal cell types. In the present study, we have investigated the dendritic architecture of 90 layer II/III pyramidal neurons located in different cortical regions along a rostrocaudal axis in the mouse neocortex, using, for the first time, a blind multidimensional analysis of over 150 morphological variables, rather than evaluating along single morphological parameters. These cortical regions included the secondary motor cortex (M2), the secondary somatosensory cortex (S2), and the lateral secondary visual cortex and association temporal cortex (V2L/TeA). Confirming earlier primate studies, we find that basal dendritic morphologies are characteristically different between different cortical regions. In addition, we demonstrate that these differences are not related to the physical location of the neuron and cannot be easily explained assuming rostrocaudal gradients within the cortex. Our data suggest that each cortical region is built with specific neuronal components.R.B.-P. thanks the ‘Comunidad de Madrid’ (01/0782/2000) and I.B.-Y. the MEC (AP2001-0671) for support. J.D. is supported by the Spanish Ministry of Education and Science (BFI2003-02745) and the Comunidad de Madrid (08.5/0027/2001.1). R.Y. thanks the NEI (EY11787) and the John Merck Fund for support and the Cajal Institute for hosting him as a visiting professor.Peer reviewe

Analysis of observed chaotic data

Thesis (Master)--Izmir Institute of Technology, Electronics and Communication Engineering, Izmir, 2004Includes bibliographical references (leaves: 86)Text in English; Abstract: Turkish and Englishxii, 89 leavesIn this thesis, analysis of observed chaotic data has been investigated. The purpose of analyzing time series is to make a classification between the signals observed from dynamical systems. The classifiers are the invariants related to the dynamics. The correlation dimension has been used as classifier which has been obtained after phase space reconstruction. Therefore, necessary methods to find the phase space parameters which are time delay and the embedding dimension have been offered. Since observed time series practically are contaminated by noise, the invariants of dynamical system can not be reached without noise reduction. The noise reduction has been performed by the new proposed singular value decomposition based rank estimation method.Another classification has been realized by analyzing time-frequency characteristics of the signals. The time-frequency distribution has been investigated by wavelet transform since it supplies flexible time-frequency window. Classification in wavelet domain has been performed by wavelet entropy which is expressed by the sum of relative wavelet energies specified in certain frequency bands. Another wavelet based classification has been done by using the wavelet ridges where the energy is relatively maximum in time-frequency domain. These new proposed analysis methods have been applied to electrical signals taken from healthy human brains and the results have been compared with other studies

Comparison of BMI decoders based on neural population activity and local field potentials

Motor cortex is the main output from the brain to control the muscles. Motor cortical activity contains rich information about movement features. This information can be read out at different levels: from the activity of single neurons, to local field potentials (LFP) that reflect features in the electric potentials of groups of neighboring neurons. Researchers have leveraged this observation to develop brain-machine interfaces (BMIs), systems that ―decode‖ movement parameters from the neural activity and use them to control external devices, such as computer cursors or robots, or even allow the subject to control their own paralyzed limb. Current intracortical BMIs take as inputs ―control signals‖ from the individual activity of neural populations or from LFPs. Both types of decoders yield quite accurate performance when tested online, however it is not clear what type of movement-related features each of these two modalities contains and which are shared among them. The goal of this project is to understand what information useful for movement decoding is common across neural population activity and LFPs. To this end, I built decoders based on neural population activity and LFPs. I also used recent conceptual developments that assume that neural computations are based on population-wide activity patterns rather than on independently modulated single units. My analysis showed that the performance of these three types of decoders was quite similar, with LFP inputs providing lightly worst predictions. However, LFP-based decoders were more robust against input channel lost, a common challenge to BMIs. Finally, I began to explore the relationship between neural population dynamics and the time course of the LFPs, identifying an intriguing, previously unreported relationship between the two. These results set the basis for future comparisons of decoder inputs and, hold potential to enable more robust BMIs.Ingeniería Biomédic

Low-frequency local field potentials in primate motor cortex and their application to neural interfaces

PhD ThesisFor patients with spinal cord injury and paralysis, there are currently very limited options for clinical therapy. Brain-machine interfaces (BMIs) are neuroprosthetic devices that are being developed to record from the motor cortex in such patients, bypass the spinal lesion, and use decoded signals to control an effector, such as a prosthetic limb. The ideal BMI would be durable, reliable, totally predictable, fully-implantable, and have generous battery life. Current, state-of-the-art BMIs are limited in all of these domains; partly because the typical signals used—neuronal action potentials, or ‘spikes’—are very susceptible to micro-movement of recording electrodes. Recording spikes from the same neurons over many months is therefore difficult, and decoder behaviour may be unpredictable from day-today. Spikes also need to be digitized at high frequencies (~104 Hz) and heavily processed. As a result, devices are energy-hungry and difficult to miniaturise. Low-frequency local field potentials (lf-LFPs; < 5 Hz) are an alternative cortical signal. They are more stable and can be captured and processed at much lower frequencies (~101 Hz). Here we investigate rhythmical lf-LFP activity, related to the firing of local cortical neurons, during isometric wrist movements in Rhesus macaques. Multichannel spike-related slow potentials (SRSPs) can be used to accurately decode the firing rates of individual motor cortical neurons, and subjects can control a BMI task using this synthetic signal, as if they were controlling the actual firing rate. Lf-LFP–based firing rate estimates are stable over time – even once actual spike recordings have been lost. Furthermore, the dynamics of lf-LFPs are distinctive enough, that an unsupervised approach can be used to train a decoder to extract movement-related features for use in biofeedback BMIs. Novel electrode designs may help us optimise the recording of these signals, and facilitate progress towards a new generation of robust, implantable BMIs for patients.Research Studentship from the MRC, and Andy Jackson’s laboratory (hence this work) is supported by the Wellcome Trust

Mining the brain to predict gait characteristics: a BCI study

Tese de mestrado integrado em Engenharia Biomédica e Biofísica, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, em 2018A locomoção é uma das atividades mais comuns e relevantes da vida quotidiana, sendo que envolve a ativação dos sistemas nervoso e músculo-esquelético. Os distúrbios da locomoção são comuns principalmente na população idosa, sendo que frequentemente estão associados a uma diminuição da qualidade de vida. A ocorrência destes distúrbios aumenta com a idade, estimando-se que aproximadamente 10% das pessoas com idades entre 60 e 69 anos sofram de algum tipo de distúrbio da locomoção, enquanto esse número aumenta para mais de 60% em pessoas com idade superior a 80 anos. Os padrões da locomoção são influenciados por doenças, condições físicas, personalidade e humor, sendo que um padrão anormal ocorre quando uma pessoa não é capaz de andar da maneira usual, maioritariamente devido a lesões, doenças ou outras condições subjacentes. As causas dos distúrbios da marcha incluem condições neurológicas e músculo-esqueléticas. Um grande número de condições neurológicas pode causar um padrão de marcha anormal, como por exemplo um acidente vascular cerebral, paralisia cerebral ou a doença de Parkinson. Por outro lado, as causas músculo-esqueléticas devem-se principalmente a doenças ósseas ou musculares. A avaliação ou análise da marcha, inclui a medição, descrição e avaliação das variáveis que caracterizam a locomoção humana. Como resultado, este estudo permite o diagnóstico de várias condições, bem como avaliar a progressão da reabilitação e desenvolver estratégias de intervenção. Convencionalmente, a marcha é estudada subjetivamente com protocolos observacionais. No entanto, recentemente foram desenvolvidos métodos mais objetivos e viáveis. Os métodos de análise da marcha podem ser classificados em laboratoriais ou portáteis. Embora a análise baseada em laboratório utilize equipamentos especializados, os sistemas portáteis permitem o estudo da marcha em ambientes naturais e durante atividades da vida diária. A análise laboratorial da marcha é baseada principalmente em informações de imagem e vídeo, embora sensores de piso e placas de força também sejam comuns. Por outro lado, os sistemas portáteis consistem em um ou vários sensores, ligados ao corpo. A adaptação da locomoção é um dos mais relevantes conceitos na análise da mesma, sendo que a sua origem e dinâmica neuronal têm sido amplamente estudadas nos últimos anos. A adaptação da marcha reflete a capacidade de um sujeito em mudar de velocidade e direção, manter o equilíbrio ou evitar obstáculos. Em termos da reabilitação neurológica, a adaptação da locomoção interfere na dinâmica neuronal, permitindo que os pacientes restaurem certas funções motoras. Atualmente, os dispositivos robóticos para membros inferiores e os exoesqueletos são cada vez mais usados não só para facilitar a reabilitação motora, mas também para apoiar as funções da vida diária. No entanto, a sua eficiência e segurança depende da sua eficácia em detetar a intenção humana de mover e adaptar a locomoção. Recentemente, foi demonstrado que o ritmo auditivo tem um forte efeito no sistema motor. Consequentemente, a adaptação tem sido estudada com base em ritmos auditivos, onde os pacientes seguem tons de estimulação para melhorar a coordenação da marcha. A imagem motora (MI), uma prática emergente em BCI, ou interface cérebro-máquina, é definida como a atividade de simular mentalmente uma determinada ação, sem a execução real do movimento. O desempenho da classificação da MI é importante para desenvolver ambientes robustos de interface cérebro-máquina, para neuro-reabilitação de pacientes e controle de próteses robóticas. O desempenho da classificação da MI é importante para desenvolver ambientes robustos de interface cérebro-máquina, para neuro-reabilitação de pacientes e controle de próteses robóticas, uma vez que, estudos anteriores, concluíram que realizar uma sessão de MI ativa parcialmente as mesmas regiões cerebrais que o desempenho da tarefa real. Inicialmente, a tarefas de MI centravam-se apenas nos movimentos dos membros superiores, no entanto, recentemente, estas começaram também a focar-se nos movimentos dos membros inferiores, de modo a estudar a locomoção humana. A deteção da intenção motora em tarefas de MI enfrenta vários desafios, mesmo para duas classes (esquerda / direita, por exemplo), sendo que um dos principais desafios se deve ao número, localização e tipo de elétrodos de EEG usados. Recentemente, um número crescente de estudos investigou a atividade cerebral durante a locomoção humana. Esses estudos, baseados maioritariamente no EEG, encontraram várias relações entre regiões cerebrais e ações ou movimentos específicos. Por exemplo, concluiu-se que a atividade cerebral aumenta durante a caminhada ou a preparação para caminhar e que a potência nas bandas μ e β diminui durante a execução voluntária do movimento. Em termos de adaptação da marcha, foi demonstrado que a atividade eletrocortical varia de acordo com a tarefa motora executada. Recentemente, as Interfaces Cérebro-Máquina permitiram o desenvolvimento de novas terapias de reabilitação para restaurar as funções motoras em pessoas com deficiências na locomoção, envolvendo o SNC para ativar dispositivos externos. Na primeira parte desta tese, foram realizadas várias tarefas de MI, juntamente com os movimentos reais dos membros inferiores, de modo a comparar o desempenho da classificação de um sistema wireless de 16 elétrodos secos com um sistema wireless de 32 elétrodos com gel condutor. A extração e classificação das características do sinal foram também avaliadas com mais de um método (LDA e CSP). No final, a combinação de um filtro beta passa-banda com um filtro RCSP mostrou a melhor taxa de classificação. Embora durante a aquisição do EEG todos os canais tenham sido utilizados, durante os métodos de processamento, foram escolhidas duas configurações específicas, onde os elétrodos foram selecionados de acordo com sua posição relativamente ao córtex motor. Desde modo, infere-se que uma seleção cuidada da localização dos elétrodos é mais importante do que ter um denso mapa de elétrodos, o que torna os sistemas EEG mais confortáveis e de fácil utilização. Os resultados mostram também a viabilidade do uso doméstico de sistemas de elétrodos secos com um reduzido número de sensores, e a possibilidade de diferenciar entre as tarefas de MI (esquerda e direita), para ambos os membros, com uma precisão relativamente alta. Por outro lado, a segunda parte desta tese apresenta um esquema de adaptação da marcha em ambientes naturais. De modo a avaliar a adaptação da marcha, os sujeitos seguem um tom rítmico que alterna entre três modos distintos (lento, normal e acelerado). As características da locomoção foram extraídas com base numa câmara RGB, sendo que os sinais de EEG foram monitorados simultaneamente. De seguida, estas características bem como as informações do tempo de reação foram utilizadas para extrair as etapas de adaptação da marcha versus etapas de não adaptação. De modo a remover os artefactos presentes no EEG, devidos maioritariamente ao movimento do sujeito, o sinal for filtrado com uma filtro passa-banda e sujeito a uma análise de componentes independentes (ICA). Posteriormente, as características de adaptação da marcha do EEG foram investigadas com base em dois problemas de classificação: i) classificação dos passos em direito ou esquerdo e ii) etapas de adaptação versus não adaptação da marcha. As características foram extraídas com base em padrões espaciais comuns (CSP) e padrões espaciais comuns regularizados (RCSP). Os resultados mostram que é possível discriminar com sucesso a adaptação versus não adaptação com mais de 90% de precisão. Este procedimento permite a monitoração dos participantes em ambientes mais realistas, sem a necessidade de equipamentos especializados, como sensores de pressão. Este método demonstrou que é possível detetar a adaptação com mais de 90% de precisão, quando os participantes tentam adaptar sua velocidade de marcha para uma velocidade maior ou menor.Gait adaptation is one of the most relevant concepts in gait analysis and its neuronal origin and dynamics has been extensively studied in the past few years. In terms of neurorehabilitation, gait adaptation perturbs neuronal dynamics and allows patients to restore some of their motor functions. In fact, lower-limbs robotic devices and exoskeletons are increasingly used to facilitate rehabilitation as well as supporting daily life functions. However, their efficiency and safety depend on how well they can detect the human intention to move and adapt the gait. Motor imagery (MI), an emerging practise in Brain Computer Interface (BCI), is defined as the activity of mentally simulating a given action, without the actual execution of the movement. MI classification performance is important in order to develop robust brain computer interface environments for neuro-rehabilitation of patients and robotic prosthesis control. In the first section of this thesis, it was performed a number of motor imagery tasks along with actual movements of the limbs to compare the classification performance of a dry 16-channel and a wet, 32-channel, wireless (Electroencephalography) EEG system. Results showed the feasibility of home use of dry electrode systems with a small number of sensors, and the possibility to discriminate between left and right MI tasks for both arms and legs, with a relatively high accuracy. The second part of this thesis presents a gait adaptation scheme in natural settings. This procedure allows the monitorization of subjects in more realistic environments without the requirement of specialized equipment such as treadmill and foot pressure sensors. Gait characteristics were extracted based on a single RGB camera, and EEG signals are monitored simultaneously. This method demonstrated that it is possible to detect adaptation steps with more than 90% accuracy, when subjects tries to adapt their walking speed to a higher or lower speed

Adaptive Filtering Techniques for the Detection of User - Independent Single Trial ERPs in Brain Computer Interfaces

El trabajo desarrollado es una presentación de los sistemas Brain Computer Interface (BCI) e involucra el entendimiento tanto de su funcionamiento como de las señales cerebrales en las que este está basado. Para este proyecto, cada una de las partes que forman uno de los tipos de sistema BCI más ampliamente usado serán desarrolladas. Se estudiarán diversas técnicas de procesado de señal para ser aplicadas en varias partes del sistema. Además, una interfaz adecuada será creada para validar los métodos implementados y evaluar el rendimiento del sistema. El resultado final del trabajo será un sistema BCI completo