Automatic Classification of Artifactual ICA-Components for Artifact Removal in EEG Signals

<p>Abstract</p> <p>Background</p> <p>Artifacts contained in EEG recordings hamper both, the visual interpretation by experts as well as the algorithmic processing and analysis (e.g. for Brain-Computer Interfaces (BCI) or for Mental State Monitoring). While hand-optimized selection of source components derived from Independent Component Analysis (ICA) to clean EEG data is widespread, the field could greatly profit from automated solutions based on Machine Learning methods. Existing ICA-based removal strategies depend on explicit recordings of an individual's artifacts or have not been shown to reliably identify muscle artifacts.</p> <p>Methods</p> <p>We propose an automatic method for the classification of general artifactual source components. They are estimated by TDSEP, an ICA method that takes temporal correlations into account. The linear classifier is based on an optimized feature subset determined by a Linear Programming Machine (LPM). The subset is composed of features from the frequency-, the spatial- and temporal domain. A subject independent classifier was trained on 640 TDSEP components (reaction time (RT) study, n = 12) that were hand labeled by experts as artifactual or brain sources and tested on 1080 new components of RT data of the same study. Generalization was tested on new data from two studies (auditory Event Related Potential (ERP) paradigm, n = 18; motor imagery BCI paradigm, n = 80) that used data with different channel setups and from new subjects.</p> <p>Results</p> <p>Based on six features only, the optimized linear classifier performed on level with the inter-expert disagreement (<it><</it>10% Mean Squared Error (MSE)) on the RT data. On data of the auditory ERP study, the same pre-calculated classifier generalized well and achieved 15% MSE. On data of the motor imagery paradigm, we demonstrate that the discriminant information used for BCI is preserved when removing up to 60% of the most artifactual source components.</p> <p>Conclusions</p> <p>We propose a universal and efficient classifier of ICA components for the subject independent removal of artifacts from EEG data. Based on linear methods, it is applicable for different electrode placements and supports the introspection of results. Trained on expert ratings of large data sets, it is not restricted to the detection of eye- and muscle artifacts. Its performance and generalization ability is demonstrated on data of different EEG studies.</p

Discriminación de estados mentales mediante la extracción de patrones espaciales bajo restricciones de no estacionariedad e independencia de sujeto

graficas, tablasEvaluation of brain dynamics elicited by motor imagery (MI) tasks can contribute to clinical and learning applications. In this work, we propose four specific improvements for brain motor intention response analysis based on EEG recordings by considering the nonstationarity, nonlinearity of brain signals, inter- and intra-subject variability, aimed to provide physiological interpretability and the distintiveness between subjects neural response. Firstly, to build up the subject-level feature framework, a common representational space, is proposed that encodes the electrode (spatial) contribution, evolving through time and frequency domains. Three feature extraction methods were compared, providing insight into the possible limitations. Secondly, we present an Entropy-based method, termed \textit{VQEnt}, for estimation of ERD/S using quantized stochastic patterns as a symbolic space, aiming to improve their discriminability and physiological interpretability. The proposed method builds the probabilistic priors by assessing the Gaussian similarity between the input measured data and their reduced vector-quantized representation. The validating results of a bi-class imagine task database (left and right hand) prove that \textit{VQEnt} holds symbols that encode several neighboring samples, providing similar or even better accuracy than the other baseline sample-based algorithms of Entropy estimation. Besides, the performed ERD/S time-series are close enough to the trajectories extracted by the variational percentage of EEG signal power and fulfill the physiological MI paradigm. In BCI literate individuals, the \textit{VQEnt} estimator presents the most accurate outcomes at a lower amount of electrodes placed in the sensorimotor cortex so that reduced channel set directly involved with the MI paradigm is enough to discriminate between tasks, providing an accuracy similar to the performed by the whole electrode set. Thirdly, multi-subject analysis is to make inferences on the group/population level about the properties of MI brain activity. However, intrinsic neurophysiological variability of neural dynamics poses a challenge for devising efficient MI systems. Here, we develop a \textit{time-frequency} model for estimating the spatial relevance of common neural activity across subjects employing an introduced statistical thresholding rule. In deriving multi-subject spatial maps, we present a comparative analysis of three feature extraction methods: \textit{Common Spatial Patterns}, \textit{Functional Connectivity}, and \textit{Event-Related De/Synchronization}. In terms of interpretability, we evaluate the effectiveness in gathering MI data from collective populations by introducing two assumptions: \textit{i}) Non-linear assessment of the similarity between multi-subject data originating the subject-level dynamics; \textit{ii}) Assessment of time-varying brain network responses according to the ranking of individual accuracy performed in distinguishing distinct motor imagery tasks (left-hand versus right-hand). The obtained validation results indicate that the estimated collective dynamics differently reflect the flow of sensorimotor cortex activation, providing new insights into the evolution of MI responses. Lastly, we develop a data-driven estimator, termed {Deep Regression Network} (DRN), which jointly extracts and performs the regression analysis in order to assess the efficiency of the individual brain networks in practicing MI tasks. The proposed double-stage estimator initially learns a pool of deep patterns, extracted from the input data, in order to feed a neural regression model, allowing for infering the distinctiveness between subject assemblies having similar variability. The results, which were obtained on real-world MI data, prove that the DRN estimator fosters pre-training neural desynchronization and initial training synchronization to predict the bi-class accuracy response, thus providing a better understanding of the Brain--Computer Interface inefficiency of subjects. (Texto tomado de la fuente)La evaluación de la dinámica cerebral provocada por las tareas de imaginación motora (\textit{Motor Imagery - MI}) puede contribuir al desarrollo de aplicaciones clínicas y de aprendizaje. En este trabajo, se proponen cuatro mejoras específicas para el an\'lisis de la respuesta de la intención motora cerebral basada en registros de Electroencefalografía (EEG) al considerar la no estacionariedad, la no linealidad de las se\tilde{n}ales cerebrales y la variabilidad inter e intrasujeto, con el objetivo de proporcionar interpretabilidad fisiológica y la discriminación entre la respuesta neuronal de los sujetos. En primer lugar, para construir el marco de características a nivel de sujeto, se propone un espacio de representación común que codifica la contribución del electrodo (espacial) y como esta evoluciona a través de los dominios de tiempo y frecuencia. Tres métodos de extracción de características fueron comparados, proporcionando información sobre las posibles limitaciones. En segundo lugar, se presenta un método basado en Entropía, denominado \textit{VQEnt}, para la estimación de la desincronización relacionada a eventos (\textit{Event-Related De-Synchronization - ERD/S}) utilizando patrones estocásticos cuantificados en un espacio simbólico, con el objetivo de mejorar su discriminabilidad e interpretabilidad fisiol\'gica. El método propuesto construye los antecedentes probabilísticos mediante la evaluación de la similitud gaussiana entre los datos medidos de entrada y su representación cuantificada vectorial reducida. Los resultados de validación en una base de datos de tareas de imaginación bi-clase (mano izquierda y mano derecha) prueban que \textit{VQEnt} contiene símbolos que codifican varias muestras vecinas, proporcionando una precisión similar o incluso mejor que los otros algoritmos basados en estimación de entropía de referencia. Además, las series temporales de ERD/S calculadas son lo suficientemente cercanas a las trayectorias extraídas por el porcentaje de variación de la potencia de la señal EEG y cumplen con el paradigma fisiológico de MI. En individuos alfabetizados en BCI, el estimador \textit{VQEnt} presenta los resultados precisos con una menor cantidad de electrodos colocados en la corteza sensoriomotora, de modo que el conjunto reducido de canales directamente involucrados con el paradigma MI es suficiente para discriminar entre tareas. En tercer lugar, el análisis multisujeto consiste en hacer inferencias a nivel de grupo/población sobre las propiedades de la actividad cerebral de la imaginación motora. Sin embargo, la variabilidad neurofisiológica intrínseca de la dinámica neuronal plantea un desafío para el diseño de sistemas MI eficientes. En este sentido, se presenta un modelo de \textit{tiempo-frecuencia} para estimar la relevancia espacial de la actividad neuronal común entre sujetos empleando una regla de umbral estadística que deriva en mapas espaciales de múltiples sujetos. Se presenta un análisis comparativo de tres métodos de extracción de características: \textit{Patrones espaciales comunes}, \textit{Conectividad funcional} y \textit{De-sincronización relacionada con eventos}. En términos de interpretabilidad, evaluamos la efectividad en la recopilación de datos de MI para multisujetos mediante la introducción de dos suposiciones: \textit{i}) Evaluación no lineal de la similitud entre los datos de múltiples sujetos que originan la dinámica a nivel de sujeto; \textit{ii}) Evaluación de las respuestas de la red cerebral que varían en el tiempo de acuerdo con la clasificación de la precisión individual realizada al distinguir distintas tareas de imaginación motora (mano izquierda versus mano derecha). Los resultados de validación obtenidos indican que la dinámica colectiva estimada refleja de manera diferente el flujo de activación de la corteza sensoriomotora, lo que proporciona nuevos conocimientos sobre la evolución de las respuestas de MI. Por último, se muestra un estimador denominado {Red de regresión profunda} (\textit{Deep Regression Network - DRN}), que extrae y realiza conjuntamente un análisis de regresión para evaluar la eficiencia de las redes cerebrales individuales, de cada sujeto, en la práctica de tareas de MI. El estimador de doble etapa propuesto inicialmente aprende un conjunto de patrones profundos, extraídos de los datos de entrada, para alimentar un modelo de regresión neuronal, lo que permite inferir la distinción entre conjuntos de sujetos que tienen una variabilidad similar. Los resultados, que se obtuvieron con datos MI del mundo real, demuestran que el estimador DRN usa la desincronización neuronal previa al entrenamiento y la sincronización del entrenamiento inicial para predecir la respuesta de precisión bi-clase, proporcionando así una mejor comprensión de la ineficiencia de la respuesta de MI de los sujetos en las Interfaces Cerebro-Computador.DoctoradoDoctor en IngenieríaReconocimiento de PatronesEléctrica, Electrónica, Automatización Y Telecomunicaciones.Sede Manizale

Brain connectivity-patterns representation based on electroencephalography network analysis

Brain connectivity has emerged as a neuronal analysis tool widely used to explore brain functions and supply relevant information in the study of the cognitive processes. However, current methodologies used to assess brain connectivity are not always exact and as a result, possible spurious connections may appear. Moreover, measuring the connection between all possible pairs of EEG-channels leads to high dimensional matrices with either redundant or irrelevant information. To avoid problems in connectivity analysis and issues of high computational cost, a selection stage of the most significant connections can be implemented. Nevertheless, there is not a standard method yet to extract connections and the definition of significant connections may vary accordingly with the object of study. Therefore, to develop an accurate methodology, information inherent to each specific problem should be included. In this work, three different tools are presented, that execute the extraction of significant connections considering the experimental scenario. The first tool, tested on a BCI dataset, finds the set of connections that best discriminate two MI classes. Consequently, a kernel-based methodology of feature selection is used to rank each connection by its contribution in the classes discrimination. Finally, the significant connections will be the smaller set that achieves the best classification accuracy. The second methodology is used in a study of the significant connectivity patterns in attention networks. To this end, the connectivity of two classes (target and non-target) in an oddball paradigm experiment is extracted. Here, the significant connections are selected as the ones that differ the most, statistically speaking, between target and non-target. Finally, in a study of the recovery of a subject with aphasia, differences in connectivity, related to improvements produced by therapy were found. In this study, connections that change through the sessions of treatment at the level of amplitude and structure were extracted. Also, a set of significant connections that changed increasingly between the sessions was selected. For all the proposed methodologies, the brain connectivity is computed over EEG signals and the extraction of the significant connections is based on information inherent to the data or the experiment. In general, the selection of connections allows the considerable reduction of connectivity characteristics, this facilitates the physiological interpretation of the experiments and can improve the performance and computational cost of the systems that use these featuresResumen: La conectividad cerebral se ha convertido en una herramienta de análisis neuronal ampliamente utilizada para explorar funciones cerebrales y proporcionar información relevante en el estudio de los procesos cognitivos. Sin embargo, las metodologías actuales utilizadas para evaluar la conectividad cerebral no siempre son exactas y, como resultado, pueden aparecer posibles conexiones falsas. Además, cuando se mide la conexión entre todos los posibles pares de canales de EEG, se obtienen matrices de alta dimensión con información redundante o irrelevante. Para evitar problemas en el análisis de conectividad y alto costo computacional, se puede implementar una etapa de selección de las conexiones más importantes. Sin embargo, todavía no existe un método estándar para extraer conexiones y la definición de conexiones significativas puede variar de acuerdo con el objeto de estudio. Por lo tanto, para desarrollar una metodología precisa, se debe incluir información inherente a cada problema. En este trabajo, se presentan tres herramientas diferentes que ejecutan una extracción de conexiones significativas considerando el escenario del experimento. La primera herramienta, probada en una base de datos de MI, encuentra el conjunto de conexiones que mejor discrimina dos clases. Para esto se utiliza una metodología de selección de características basada en kernels para asignar un peso de contribución a cada conexión. Finalmente, las conexiones significativas serán en conjunto más pequeño que logre el mejor acierto de clasificación. La segunda metodología, se utiliza en un estudio de los patrones de conectividad significativos en redes de atención. Para esto, se extrae la conectividad de dos clases: target y no target en un experimento de paradigma Oddball. Aquí, las conexiones significativas se seleccionan como las que más se diferencian, estadísticamente, entre target y no target. Finalmente, en un estudio de recuperación de un sujeto con afasia, se encontraron diferencias en la conectividad relacionadas con las mejoras producidas terapia. Conexiones que cambian a través de las sesiones de terapia a nivel de amplitud y de estructura fueron extraídas. Además, se definieron y se seleccionaron como conexiones significativas las cuales tienen un cambio creciente entre las sesiones. Para todas las metodologías propuestas, la conectividad cerebral se calcula sobre señales de EEG y la extracción de las conexiones significativas se basa en información inherente a los datos o el experimento. En general, la selección de conexiones permite una reducción considerable de características de conectividad, esto facilita la interpretación fisiológica de los experimentos y puede mejorar el rendimiento y el costo computacional de los sistemas que utilizan estas característicasMaestrí

Review of the BCI Competition IV

The BCI competition IV stands in the tradition of prior BCI competitions that aim to provide high quality neuroscientific data for open access to the scientific community. As experienced already in prior competitions not only scientists from the narrow field of BCI compete, but scholars with a broad variety of backgrounds and nationalities. They include high specialists as well as students. The goals of all BCI competitions have always been to challenge with respect to novel paradigms and complex data. We report on the following challenges: (1) asynchronous data, (2) synthetic, (3) multi-class continuous data, (4) session-to-session transfer, (5) directionally modulated MEG, (6) finger movements recorded by ECoG. As after past competitions, our hope is that winning entries may enhance the analysis methods of future BCIs.BMBF, 01IB001A, LOKI - Lernen zur Organisation komplexer Systeme der Informationsverarbeitung - Lernen im Kontext der SzenenanalyseBMBF, 01GQ0850, Bernstein Fokus Neurotechnologie - Nichtinvasive Neurotechnologie für Mensch-Maschine InteraktionEC/FP7/224631/EU/Tools for Brain-Computer Interaction/TOBIEC/FP7/216886/EU/Pattern Analysis, Statistical Modelling and Computational Learning 2/PASCAL2BMBF, 01GQ0420, Verbundprojekt: Bernstein-Zentrum für Neural Dynamics, Freiburg - CNDFBMBF, 01GQ0761, Bewegungsassoziierte Aktivierung - Dekodierung bewegungsassoziierter GehirnsignaleBMBF, 01GQ0762, Bewegungsassoziierte Aktivierung - Gehirn- und Maschinenlerne

Developing robust movement decoders for local field potentials

textBrain Computer Interfaces (BCI) are devices that translate acquired neural signals to command and control signals. Applications of BCI include neural rehabilitation and neural prosthesis (thought controlled wheelchair, thought controlled speller etc.) to aid patients with disabilities and to augment human computer interaction. A successful practical BCI requires a faithful acquisition modality to record high quality neural signals; a signal processing system to construct appropriate features from these signals; and an algorithm to translate these features to appropriate outputs. Intracortical recordings like local field potentials provide reliable high SNR signals over long periods and suit BCI applications well. However, the non-stationarity of neural signals poses a challenge in robust decoding of subject behavior. Most BCI research focuses either on developing daily re-calibrated decoders that require exhaustive training sessions; or on providing cross-validation results. Such results ignore the variation of signal characteristics over different sessions and provide an optimistic estimate of BCI performance. Specifically, traditional BCI algorithms fail to perform at the same level on chronological data recordings. Neural signals are susceptible to variations in signal characteristics due to changes in subject behavior and learning, and variability in electrode characteristics due to tissue interactions. While training day-specific BCI overcomes signal variability, BCI re-training causes user frustration and exhaustion. This dissertation presents contributions to solve these challenges in BCI research. Specifically, we developed decoders trained on a single recording session and applied them on subsequently recorded sessions. This strategy evaluates BCI in a practical scenario with a potential to alleviate BCI user frustration without compromising performance. The initial part of the dissertation investigates extracting features that remain robust to changes in neural signal over several days of recordings. It presents a qualitative feature extraction technique based on ranking the instantaneous power of multichannel data. These qualitative features remain robust to outliers and changes in the baseline of neural recordings, while extracting discriminative information. These features form the foundation in developing robust decoders. Next, this dissertation presents a novel algorithm based on the hypothesis that multiple neural spatial patterns describe the variation in behavior. The presented algorithm outperforms the traditional methods in decoding over chronological recordings. Adapting such a decoder over multiple recording sessions (over 6 weeks) provided > 90% accuracy in decoding eight movement directions. In comparison, performance of traditional algorithms like Common Spatial Patterns deteriorates to 16% over the same time. Over time, adaptation reinforces some spatial patterns while diminishing others. Characterizing these spatial patterns reduces model complexity without user input, while retaining the same accuracy levels. Lastly, this dissertation provides an algorithm that overcomes the variation in recording quality. Chronic electrode implantation causes changes in signal-to-noise ratio (SNR) of neural signals. Thus, some signals and their corresponding features available during training become unavailable during testing and vice-versa. The proposed algorithm uses prior knowledge on spatial pattern evolution to estimate unknown neural features. This algorithm overcomes SNR variations and provides up to 93% decoding of eight movement directions over 6 weeks. Since model training requires only one session, this strategy reduces user frustration. In a practical closed-loop BCI, the user learns to produce stable spatial patterns, which improves performance of the proposed algorithms.Electrical and Computer Engineerin

Brain Music : Sistema generativo para la creación de música simbólica a partir de respuestas neuronales afectivas

gráficas, tablasEsta tesis de maestría presenta una metodología de aprendizaje profundo multimodal innovadora que fusiona un modelo de clasificación de emociones con un generador musical, con el propósito de crear música a partir de señales de electroencefalografía, profundizando así en la interconexión entre emociones y música. Los resultados alcanzan tres objetivos específicos: Primero, ya que el rendimiento de los sistemas interfaz cerebro-computadora varía considerablemente entre diferentes sujetos, se introduce un enfoque basado en la transferencia de conocimiento entre sujetos para mejorar el rendimiento de individuos con dificultades en sistemas de interfaz cerebro-computadora basados en el paradigma de imaginación motora. Este enfoque combina datos de EEG etiquetados con datos estructurados, como cuestionarios psicológicos, mediante un método de "Kernel Matching CKA". Utilizamos una red neuronal profunda (Deep&Wide) para la clasificación de la imaginación motora. Los resultados destacan su potencial para mejorar las habilidades motoras en interfaces cerebro-computadora. Segundo, proponemos una técnica innovadora llamada "Labeled Correlation Alignment"(LCA) para sonificar respuestas neurales a estímulos representados en datos no estructurados, como música afectiva. Esto genera características musicales basadas en la actividad cerebral inducida por las emociones. LCA aborda la variabilidad entre sujetos y dentro de sujetos mediante el análisis de correlación, lo que permite la creación de envolventes acústicos y la distinción entre diferente información sonora. Esto convierte a LCA en una herramienta prometedora para interpretar la actividad neuronal y su reacción a estímulos auditivos. Finalmente, en otro capítulo, desarrollamos una metodología de aprendizaje profundo de extremo a extremo para generar contenido musical MIDI (datos simbólicos) a partir de señales de actividad cerebral inducidas por música con etiquetas afectivas. Esta metodología abarca el preprocesamiento de datos, el entrenamiento de modelos de extracción de características y un proceso de emparejamiento de características mediante Deep Centered Kernel Alignment, lo que permite la generación de música a partir de señales EEG. En conjunto, estos logros representan avances significativos en la comprensión de la relación entre emociones y música, así como en la aplicación de la inteligencia artificial en la generación musical a partir de señales cerebrales. Ofrecen nuevas perspectivas y herramientas para la creación musical y la investigación en neurociencia emocional. Para llevar a cabo nuestros experimentos, utilizamos bases de datos públicas como GigaScience, Affective Music Listening y Deap Dataset (Texto tomado de la fuente)This master’s thesis presents an innovative multimodal deep learning methodology that combines an emotion classification model with a music generator, aimed at creating music from electroencephalography (EEG) signals, thus delving into the interplay between emotions and music. The results achieve three specific objectives: First, since the performance of brain-computer interface systems varies significantly among different subjects, an approach based on knowledge transfer among subjects is introduced to enhance the performance of individuals facing challenges in motor imagery-based brain-computer interface systems. This approach combines labeled EEG data with structured information, such as psychological questionnaires, through a "Kernel Matching CKA"method. We employ a deep neural network (Deep&Wide) for motor imagery classification. The results underscore its potential to enhance motor skills in brain-computer interfaces. Second, we propose an innovative technique called "Labeled Correlation Alignment"(LCA) to sonify neural responses to stimuli represented in unstructured data, such as affective music. This generates musical features based on emotion-induced brain activity. LCA addresses variability among subjects and within subjects through correlation analysis, enabling the creation of acoustic envelopes and the distinction of different sound information. This makes LCA a promising tool for interpreting neural activity and its response to auditory stimuli. Finally, in another chapter, we develop an end-to-end deep learning methodology for generating MIDI music content (symbolic data) from EEG signals induced by affectively labeled music. This methodology encompasses data preprocessing, feature extraction model training, and a feature matching process using Deep Centered Kernel Alignment, enabling music generation from EEG signals. Together, these achievements represent significant advances in understanding the relationship between emotions and music, as well as in the application of artificial intelligence in musical generation from brain signals. They offer new perspectives and tools for musical creation and research in emotional neuroscience. To conduct our experiments, we utilized public databases such as GigaScience, Affective Music Listening and Deap DatasetMaestríaMagíster en Ingeniería - Automatización IndustrialInvestigación en Aprendizaje Profundo y señales BiológicasEléctrica, Electrónica, Automatización Y Telecomunicaciones.Sede Manizale

Analysis of structural and functional brain networks

The brain is a representative example of a network. It consists of numerous spatially distributed regions that continuously exchange information through structural connections. In the past decade, an increasing number of studies have explored the brain network in both structural and functional aspects; they have begun to decipher complex brain wirings, as well as elucidate how the rich functionality emerges from this architecture. Based upon previous studies, this thesis addresses three critical gaps in the field. (I) Although it is known that the community structures of brain network are spatially overlapping, conventional studies have focused on grouping brain regions into communities such that each region belongs to only one community. Therefore, a recent “link community” concept was employed to disentangle those overlapping architectures. (II) Spatial independent component analysis (sICA) and k-means clustering are two representative data-driven algorithms used to analyze functional networks. However, it is still unclear how these two methods compare to each other in terms of their theoretical basis and biological relevance. Hence, the relationship between these two methods were investigated. (III) Despite the multi-scale functional organization of the brain, previous studies have primarily examined the large-scale networks of the entire brain. Complex neural activity patterns in relatively smaller spatial scales have been poorly understood. Therefore, the fine-scale spatiotemporal patterns within visual cortex were explored. The distinguishing results obtained in this study may provide new insights regarding the brain\u27s organization, as well as a better understanding of mathematical and statistical tools for functional and structural network analysis

Relevant data representation by a Kernel-based framework

Nowadays, the analysis of a large amount of data has emerged as an issue of great interest taking increasing place in the scientific community, especially in automation, signal processing, pattern recognition, and machine learning. In this sense, the identification, description, classification, visualization, and clustering of events or patterns are important problems for engineering developments and scientific issues, such as biology, medicine, economy, artificial vision, artificial intelligence, and industrial production. Nonetheless, it is difficult to interpret the available information due to its complexity and a large amount of obtained features. In addition, the analysis of the input data requires the development of methodologies that allow to reveal the relevant behaviors of the studied process, particularly, when such signals contain hidden structures varying over a given domain, e.g., space and/or time. When the analyzed signal contains such kind of properties, directly applying signal processing and machine learning procedures without considering a suitable model that deals with both the statistical distribution and the data structure, can lead in unstable performance results. Regarding this, kernel functions appear as an alternative approach to address the aforementioned issues by providing flexible mathematical tools that allow enhancing data representation for supporting signal processing and machine learning systems. Moreover, kernelbased methods are powerful tools for developing better-performing solutions by adapting the kernel to a given problem, instead of learning data relationships from explicit raw vector representations. However, building suitable kernels requires some user prior knowledge about input data, which is not available in most of the practical cases. Furthermore, using the definitions of traditional kernel methods directly, possess a challenging estimation problem that often leads to strong simplifications that restrict the kind of representation that we can use on the data. In this study, we propose a data representation framework based on kernel methods to learn automatically relevant sample relationships in learning systems. Namely, the proposed framework is divided into five kernel-based approaches, which aim to compute relevant data representations by adapting them according to both the imposed sample relationships constraints and the learning scenario (unsupervised or supervised task). First, we develop a kernel-based representation approach that allows revealing the main input sample relations by including relevant data structures using graph-based sparse constraints. Thus, salient data structures are highlighted aiming to favor further unsupervised clustering stages. This approach can be viewed as a graph pruning strategy within a spectral clustering framework which allows enhancing both the local and global data consistencies for a given input similarity matrix. Second, we introduce a kernel-based representation methodology that captures meaningful data relations in terms of their statistical distribution. Thus, an information theoretic learning (ITL) based penalty function is introduced to estimate a kernel-based similarity that maximizes the whole information potential variability. So, we seek for a reproducing kernel Hilbert space (RKHS) that spans the widest information force magnitudes among data points to support further clustering stages. Third, an entropy-like functional on positive definite matrices based on Renyi’s definition is adapted to develop a kernel-based representation approach which considers the statistical distribution and the salient data structures. Thereby, relevant input patterns are highlighted in unsupervised learning tasks. Particularly, the introduced approach is tested as a tool to encode relevant local and global input data relationships in dimensional reduction applications. Fourth, a supervised kernel-based representation is introduced via a metric learning procedure in RKHS that takes advantage of the user-prior knowledge, when available, regarding the studied learning task. Such an approach incorporates the proposed ITL-based kernel functional estimation strategy to adapt automatically the relevant representation using both the supervised information and the input data statistical distribution. As a result, relevant sample dependencies are highlighted by weighting the input features that mostly encode the supervised learning task. Finally, a new generalized kernel-based measure is proposed by taking advantage of different RKHSs. In this way, relevant dependencies are highlighted automatically by considering the input data domain-varying behavior and the user-prior knowledge (supervised information) when available. The proposed measure is an extension of the well-known crosscorrentropy function based on Hilbert space embeddings. Throughout the study, the proposed kernel-based framework is applied to biosignal and image data as an alternative to support aided diagnosis systems and image-based object analysis. Indeed, the introduced kernel-based framework improve, in most of the cases, unsupervised and supervised learning performances, aiding researchers in their quest to process and to favor the understanding of complex dataResumen: Hoy en día, el análisis de datos se ha convertido en un tema de gran interés para la comunidad científica, especialmente en campos como la automatización, el procesamiento de señales, el reconocimiento de patrones y el aprendizaje de máquina. En este sentido, la identificación, descripción, clasificación, visualización, y la agrupación de eventos o patrones son problemas importantes para desarrollos de ingeniería y cuestiones científicas, tales como: la biología, la medicina, la economía, la visión artificial, la inteligencia artificial y la producción industrial. No obstante, es difícil interpretar la información disponible debido a su complejidad y la gran cantidad de características obtenidas. Además, el análisis de los datos de entrada requiere del desarrollo de metodologías que permitan revelar los comportamientos relevantes del proceso estudiado, en particular, cuando tales señales contienen estructuras ocultas que varían sobre un dominio dado, por ejemplo, el espacio y/o el tiempo. Cuando la señal analizada contiene este tipo de propiedades, los rendimientos pueden ser inestables si se aplican directamente técnicas de procesamiento de señales y aprendizaje automático sin tener en cuenta la distribución estadística y la estructura de datos. Al respecto, las funciones núcleo (kernel) aparecen como un enfoque alternativo para abordar las limitantes antes mencionadas, proporcionando herramientas matemáticas flexibles que mejoran la representación de los datos de entrada. Por otra parte, los métodos basados en funciones núcleo son herramientas poderosas para el desarrollo de soluciones de mejor rendimiento mediante la adaptación del núcleo de acuerdo al problema en estudio. Sin embargo, la construcción de funciones núcleo apropiadas requieren del conocimiento previo por parte del usuario sobre los datos de entrada, el cual no está disponible en la mayoría de los casos prácticos. Por otra parte, a menudo la estimación de las funciones núcleo conllevan sesgos el modelo, siendo necesario apelar a simplificaciones matemáticas que no siempre son acordes con la realidad. En este estudio, se propone un marco de representación basado en métodos núcleo para resaltar relaciones relevantes entre los datos de forma automática en sistema de aprendizaje de máquina. A saber, el marco propuesto consta de cinco enfoques núcleo, en aras de adaptar la representación de acuerdo a las relaciones impuestas sobre las muestras y sobre el escenario de aprendizaje (sin/con supervisión). En primer lugar, se desarrolla un enfoque de representación núcleo que permite revelar las principales relaciones entre muestras de entrada mediante la inclusión de estructuras relevantes utilizando restricciones basadas en modelado por grafos. Por lo tanto, las estructuras de datos más sobresalientes se destacan con el objetivo de favorecer etapas posteriores de agrupamiento no supervisado. Este enfoque puede ser visto como una estrategia de depuración de grafos dentro de un marco de agrupamiento espectral que permite mejorar las consistencias locales y globales de los datos En segundo lugar, presentamos una metodología de representación núcleo que captura relaciones significativas entre muestras en términos de su distribución estadística. De este modo, se introduce una función de costo basada en aprendizaje por teoría de la información para estimar una similitud que maximice la variabilidad del potencial de información de los datos de entrada. Así, se busca un espacio de Hilbert generado por el núcleo que contenga altas fuerzas de información entre los puntos para favorecer el agrupamiento entre los mismos. En tercer lugar, se propone un esquema de representación que incluye un funcional de entropía para matrices definidas positivas a partir de la definición de Renyi. En este sentido, se pretenden incluir la distribución estadística de las muestras y sus estructuras relevantes. Por consiguiente, los patrones de entrada pertinentes se destacan en tareas de aprendizaje sin supervisión. En particular, el enfoque introducido se prueba como una herramienta para codificar las relaciones locales y globales de los datos en tareas de reducción de dimensión. En cuarto lugar, se introduce una metodología de representación núcleo supervisada a través de un aprendizaje de métrica en el espacio de Hilbert generado por una función núcleo en aras de aprovechar el conocimiento previo del usuario con respecto a la tarea de aprendizaje. Este enfoque incorpora un funcional por teoría de información que permite adaptar automáticamente la representación utilizando tanto información supervisada y la distribución estadística de los datos de entrada. Como resultado, las dependencias entre las muestras se resaltan mediante la ponderación de las características de entrada que codifican la tarea de aprendizaje supervisado. Por último, se propone una nueva medida núcleo mediante el aprovechamiento de diferentes espacios de representación. De este modo, las dependencias más relevantes entre las muestras se resaltan automáticamente considerando el dominio de interés de los datos de entrada y el conocimiento previo del usuario (información supervisada). La medida propuesta es una extensión de la función de cross-correntropia a partir de inmersiones en espacios de Hilbert. A lo largo del estudio, el esquema propuesto se valida sobre datos relacionados con bioseñales e imágenes como una alternativa para apoyar sistemas de apoyo diagnóstico y análisis objetivo basado en imágenes. De hecho, el marco introducido permite mejorar, en la mayoría de los casos, el rendimiento de sistemas de aprendizaje supervisado y no supervisado, favoreciendo la precisión de la tarea y la interpretabilidad de los datosDoctorad

Autonomous Grasping of 3-D Objects by a Vision-Actuated Robot Arm using Brain-Computer Interface

A major drawback of a Brain–Computer Interface-based robotic manipulation is the complex trajectory planning of the robot arm to be carried out by the user for reaching and grasping an object. The present paper proposes an intelligent solution to the existing problem by incorporating a novel Convolutional Neural Network (CNN)-based grasp detection network that enables the robot to reach and grasp the desired object (including overlapping objects) autonomously using a RGB-D camera. This network uses a simultaneous object and grasp detection to affiliate each estimated grasp with its corresponding object. The subject uses motor imagery brain signals to control the pan and tilt angle of a RGB-D camera mounted on a robot link to bring the desired object inside its Field-of-view presented through a display screen while the objects appearing on the screen are selected using the P300 brain pattern. The robot uses inverse kinematics along with the RGB-D camera information to autonomously reach the selected object and the object is grasped using proposed grasping strategy. The overall BCI system outperforms other comparative systems involving manual trajectory planning significantly. The overall accuracy, steady-state error, and settling time of the proposed system are 93.4%, 0.05%, and 15.92 s, respectively. The system also shows a significant reduction of the workload of the operating subjects in comparison to manual trajectory planning based approaches for reaching and grasping