Multi-kernel Correntropy Regression: Robustness, Optimality, and Application on Magnetometer Calibration

This paper investigates the robustness and optimality of the multi-kernel correntropy (MKC) on linear regression. We first derive an upper error bound for a scalar regression problem in the presence of arbitrarily large outliers and reveal that the kernel bandwidth should be neither too small nor too big in the sense of the lowest upper error bound. Meanwhile, we find that the proposed MKC is related to a specific heavy-tail distribution, and the level of the heavy tail is controlled by the kernel bandwidth solely. Interestingly, this distribution becomes the Gaussian distribution when the bandwidth is set to be infinite, which allows one to tackle both Gaussian and non-Gaussian problems. We propose an expectation-maximization (EM) algorithm to estimate the parameter vectors and explore the kernel bandwidths alternatively. The results show that our algorithm is equivalent to the traditional linear regression under Gaussian noise and outperforms the conventional method under heavy-tailed noise. Both numerical simulations and experiments on a magnetometer calibration application verify the effectiveness of the proposed method

Control activo de ruido impulsivo basado en la correntropía del error con ancho de kernel variable

Active control is a methodology based on the waves destructive interference that has proven to be effective for attenuating noise in the low frequency audible spectral range. However, the case of impulsive type noise sources, as harmful as frequent in industrial environments, represents a challenge to the convergence of the control algorithm that is still a matter of study. Outliers in the measured signals cause overcorrections in adaptive adjustment of filter weights which can produce instability. This paper presents the results of applying a new robust methodology to attenuate impulsive noise in a single-channel system. The proposed algorithm based on the maximum correntropy criterion with recursively adjusted kernel size, does not require prior statistical information on noise. The convergence properties and the effectiveness of the control indices are verified by simulation in different conditions of noise environments. Impulsive noise is represented by the nongaussian model proposed in the bibliography.Workshop: WPSSTR - Procesamientos de Señales Sistemas de Tiempo RealRed de Universidades con Carreras en Informátic

An Examination of Some Signi cant Approaches to Statistical Deconvolution

We examine statistical approaches to two significant areas of deconvolution - Blind Deconvolution (BD) and Robust Deconvolution (RD) for stochastic stationary signals. For BD, we review some major classical and new methods in a unified framework of nonGaussian signals. The first class of algorithms we look at falls into the class of Minimum Entropy Deconvolution (MED) algorithms. We discuss the similarities between them despite differences in origins and motivations. We give new theoretical results concerning the behaviour and generality of these algorithms and give evidence of scenarios where they may fail. In some cases, we present new modifications to the algorithms to overcome these shortfalls. Following our discussion on the MED algorithms, we next look at a recently proposed BD algorithm based on the correntropy function, a function defined as a combination of the autocorrelation and the entropy functiosn. We examine its BD performance when compared with MED algorithms. We find that the BD carried out via correntropy-matching cannot be straightforwardly interpreted as simultaneous moment-matching due to the breakdown of the correntropy expansion in terms of moments. Other issues such as maximum/minimum phase ambiguity and computational complexity suggest that careful attention is required before establishing the correntropy algorithm as a superior alternative to the existing BD techniques. For the problem of RD, we give a categorisation of different kinds of uncertainties encountered in estimation and discuss techniques required to solve each individual case. Primarily, we tackle the overlooked cases of robustification of deconvolution filters based on estimated blurring response or estimated signal spectrum. We do this by utilising existing methods derived from criteria such as minimax MSE with imposed uncertainty bands and penalised MSE. In particular, we revisit the Modified Wiener Filter (MWF) which offers simplicity and flexibility in giving improved RDs to the standard plug-in Wiener Filter (WF)

Relevant data representation by a Kernel-based framework

Nowadays, the analysis of a large amount of data has emerged as an issue of great interest taking increasing place in the scientific community, especially in automation, signal processing, pattern recognition, and machine learning. In this sense, the identification, description, classification, visualization, and clustering of events or patterns are important problems for engineering developments and scientific issues, such as biology, medicine, economy, artificial vision, artificial intelligence, and industrial production. Nonetheless, it is difficult to interpret the available information due to its complexity and a large amount of obtained features. In addition, the analysis of the input data requires the development of methodologies that allow to reveal the relevant behaviors of the studied process, particularly, when such signals contain hidden structures varying over a given domain, e.g., space and/or time. When the analyzed signal contains such kind of properties, directly applying signal processing and machine learning procedures without considering a suitable model that deals with both the statistical distribution and the data structure, can lead in unstable performance results. Regarding this, kernel functions appear as an alternative approach to address the aforementioned issues by providing flexible mathematical tools that allow enhancing data representation for supporting signal processing and machine learning systems. Moreover, kernelbased methods are powerful tools for developing better-performing solutions by adapting the kernel to a given problem, instead of learning data relationships from explicit raw vector representations. However, building suitable kernels requires some user prior knowledge about input data, which is not available in most of the practical cases. Furthermore, using the definitions of traditional kernel methods directly, possess a challenging estimation problem that often leads to strong simplifications that restrict the kind of representation that we can use on the data. In this study, we propose a data representation framework based on kernel methods to learn automatically relevant sample relationships in learning systems. Namely, the proposed framework is divided into five kernel-based approaches, which aim to compute relevant data representations by adapting them according to both the imposed sample relationships constraints and the learning scenario (unsupervised or supervised task). First, we develop a kernel-based representation approach that allows revealing the main input sample relations by including relevant data structures using graph-based sparse constraints. Thus, salient data structures are highlighted aiming to favor further unsupervised clustering stages. This approach can be viewed as a graph pruning strategy within a spectral clustering framework which allows enhancing both the local and global data consistencies for a given input similarity matrix. Second, we introduce a kernel-based representation methodology that captures meaningful data relations in terms of their statistical distribution. Thus, an information theoretic learning (ITL) based penalty function is introduced to estimate a kernel-based similarity that maximizes the whole information potential variability. So, we seek for a reproducing kernel Hilbert space (RKHS) that spans the widest information force magnitudes among data points to support further clustering stages. Third, an entropy-like functional on positive definite matrices based on Renyi’s definition is adapted to develop a kernel-based representation approach which considers the statistical distribution and the salient data structures. Thereby, relevant input patterns are highlighted in unsupervised learning tasks. Particularly, the introduced approach is tested as a tool to encode relevant local and global input data relationships in dimensional reduction applications. Fourth, a supervised kernel-based representation is introduced via a metric learning procedure in RKHS that takes advantage of the user-prior knowledge, when available, regarding the studied learning task. Such an approach incorporates the proposed ITL-based kernel functional estimation strategy to adapt automatically the relevant representation using both the supervised information and the input data statistical distribution. As a result, relevant sample dependencies are highlighted by weighting the input features that mostly encode the supervised learning task. Finally, a new generalized kernel-based measure is proposed by taking advantage of different RKHSs. In this way, relevant dependencies are highlighted automatically by considering the input data domain-varying behavior and the user-prior knowledge (supervised information) when available. The proposed measure is an extension of the well-known crosscorrentropy function based on Hilbert space embeddings. Throughout the study, the proposed kernel-based framework is applied to biosignal and image data as an alternative to support aided diagnosis systems and image-based object analysis. Indeed, the introduced kernel-based framework improve, in most of the cases, unsupervised and supervised learning performances, aiding researchers in their quest to process and to favor the understanding of complex dataResumen: Hoy en día, el análisis de datos se ha convertido en un tema de gran interés para la comunidad científica, especialmente en campos como la automatización, el procesamiento de señales, el reconocimiento de patrones y el aprendizaje de máquina. En este sentido, la identificación, descripción, clasificación, visualización, y la agrupación de eventos o patrones son problemas importantes para desarrollos de ingeniería y cuestiones científicas, tales como: la biología, la medicina, la economía, la visión artificial, la inteligencia artificial y la producción industrial. No obstante, es difícil interpretar la información disponible debido a su complejidad y la gran cantidad de características obtenidas. Además, el análisis de los datos de entrada requiere del desarrollo de metodologías que permitan revelar los comportamientos relevantes del proceso estudiado, en particular, cuando tales señales contienen estructuras ocultas que varían sobre un dominio dado, por ejemplo, el espacio y/o el tiempo. Cuando la señal analizada contiene este tipo de propiedades, los rendimientos pueden ser inestables si se aplican directamente técnicas de procesamiento de señales y aprendizaje automático sin tener en cuenta la distribución estadística y la estructura de datos. Al respecto, las funciones núcleo (kernel) aparecen como un enfoque alternativo para abordar las limitantes antes mencionadas, proporcionando herramientas matemáticas flexibles que mejoran la representación de los datos de entrada. Por otra parte, los métodos basados en funciones núcleo son herramientas poderosas para el desarrollo de soluciones de mejor rendimiento mediante la adaptación del núcleo de acuerdo al problema en estudio. Sin embargo, la construcción de funciones núcleo apropiadas requieren del conocimiento previo por parte del usuario sobre los datos de entrada, el cual no está disponible en la mayoría de los casos prácticos. Por otra parte, a menudo la estimación de las funciones núcleo conllevan sesgos el modelo, siendo necesario apelar a simplificaciones matemáticas que no siempre son acordes con la realidad. En este estudio, se propone un marco de representación basado en métodos núcleo para resaltar relaciones relevantes entre los datos de forma automática en sistema de aprendizaje de máquina. A saber, el marco propuesto consta de cinco enfoques núcleo, en aras de adaptar la representación de acuerdo a las relaciones impuestas sobre las muestras y sobre el escenario de aprendizaje (sin/con supervisión). En primer lugar, se desarrolla un enfoque de representación núcleo que permite revelar las principales relaciones entre muestras de entrada mediante la inclusión de estructuras relevantes utilizando restricciones basadas en modelado por grafos. Por lo tanto, las estructuras de datos más sobresalientes se destacan con el objetivo de favorecer etapas posteriores de agrupamiento no supervisado. Este enfoque puede ser visto como una estrategia de depuración de grafos dentro de un marco de agrupamiento espectral que permite mejorar las consistencias locales y globales de los datos En segundo lugar, presentamos una metodología de representación núcleo que captura relaciones significativas entre muestras en términos de su distribución estadística. De este modo, se introduce una función de costo basada en aprendizaje por teoría de la información para estimar una similitud que maximice la variabilidad del potencial de información de los datos de entrada. Así, se busca un espacio de Hilbert generado por el núcleo que contenga altas fuerzas de información entre los puntos para favorecer el agrupamiento entre los mismos. En tercer lugar, se propone un esquema de representación que incluye un funcional de entropía para matrices definidas positivas a partir de la definición de Renyi. En este sentido, se pretenden incluir la distribución estadística de las muestras y sus estructuras relevantes. Por consiguiente, los patrones de entrada pertinentes se destacan en tareas de aprendizaje sin supervisión. En particular, el enfoque introducido se prueba como una herramienta para codificar las relaciones locales y globales de los datos en tareas de reducción de dimensión. En cuarto lugar, se introduce una metodología de representación núcleo supervisada a través de un aprendizaje de métrica en el espacio de Hilbert generado por una función núcleo en aras de aprovechar el conocimiento previo del usuario con respecto a la tarea de aprendizaje. Este enfoque incorpora un funcional por teoría de información que permite adaptar automáticamente la representación utilizando tanto información supervisada y la distribución estadística de los datos de entrada. Como resultado, las dependencias entre las muestras se resaltan mediante la ponderación de las características de entrada que codifican la tarea de aprendizaje supervisado. Por último, se propone una nueva medida núcleo mediante el aprovechamiento de diferentes espacios de representación. De este modo, las dependencias más relevantes entre las muestras se resaltan automáticamente considerando el dominio de interés de los datos de entrada y el conocimiento previo del usuario (información supervisada). La medida propuesta es una extensión de la función de cross-correntropia a partir de inmersiones en espacios de Hilbert. A lo largo del estudio, el esquema propuesto se valida sobre datos relacionados con bioseñales e imágenes como una alternativa para apoyar sistemas de apoyo diagnóstico y análisis objetivo basado en imágenes. De hecho, el marco introducido permite mejorar, en la mayoría de los casos, el rendimiento de sistemas de aprendizaje supervisado y no supervisado, favoreciendo la precisión de la tarea y la interpretabilidad de los datosDoctorad

Breathing pattern characterization in patients with respiratory and cardiac failure

El objetivo principal de la tesis es estudiar los patrones respiratorios de pacientes en proceso de extubación y pacientes con insuficiencia cardiaca crónica (CHF), a partirde la señal de flujo respiratorio. La información obtenida de este estudio puede contribuir a la comprensión de los procesos fisiológicos subyacentes,y ayudar en el diagnóstico de estos pacientes. Uno de los problemas más desafiantes en unidades de cuidados intensivos es elproceso de desconexión de pacientes asistidos mediante ventilación mecánica. Más del 10% de pacientes que se extuban tienen que ser reintubados antes de 48 horas. Una prueba fallida puede ocasionar distrés cardiopulmonar y una mayor tasa de mortalidad. Se caracterizó el patrón respiratorio y la interacción dinámica entre la frecuenciacardiaca y frecuencia respiratoria, para obtener índices no invasivos que proporcionen una mayor información en el proceso de destete y mejorar el éxito de la desconexión.Las señales de flujo respiratorio y electrocardiográfica utilizadas en este estudio fueron obtenidas durante 30 minutos aplicando la prueba de tubo en T. Se compararon94 pacientes que tuvieron éxito en el proceso de extubación (GE), 39 pacientes que fracasaron en la prueba al mantener la respiración espontánea (GF), y 21 pacientes quesuperaron la prueba con éxito y fueron extubados, pero antes de 48 horas tuvieron que ser reintubados (GR). El patrón respiratorio se caracterizó a partir de las series temporales. Se aplicó la dinámica simbólica conjunta a las series correspondientes a las frecuencias cardiaca y respiratoria, para describir las interacciones cardiorrespiratoria de estos pacientes. Técnicas de "clustering", ecualización del histograma, clasificación mediante máquinasde soporte vectorial (SVM) y técnicas de validación permitieron seleccionar el conjunto de características más relevantes. Se propuso una nueva métrica B (índice de equilibrio) para la optimización de la clasificación con muestras desbalanceadas. Basado en este nuevo índice, aplicando SVM, se seleccionaron las mejores características que mantenían el mejor equilibrio entre sensibilidad y especificidad en todas las clasificaciones. El mejor resultado se obtuvo considerando conjuntamente la precisión y el valor de B, con una clasificación del 80% entre los grupos GE y GF, con 6 características. Clasificando GE vs. el resto de los pacientes, el mejor resultado se obtuvo con 9 características, con 81%. Clasificando GR vs. GE y GR vs. el resto de pacientes la precisión fue del 83% y 81% con 9 y 10 características, respectivamente. La tasa de mortalidad en pacientes con CHF es alta y la estratificación de estospacientes en función del riesgo es uno de los principales retos de la cardiología contemporánea. Estos pacientes a menudo desarrollan patrones de respiraciónperiódica (PB) incluyendo la respiración de Cheyne-Stokes (CSR) y respiración periódica sin apnea. La respiración periódica en estos pacientes se ha asociadocon una mayor mortalidad, especialmente en pacientes con CSR. Por lo tanto, el estudio de estos patrones respiratorios podría servir como un marcador de riesgo y proporcionar una mayor información sobre el estado fisiopatológico de pacientes con CHF. Se pretende identificar la condición de los pacientes con CHFde forma no invasiva mediante la caracterización y clasificación de patrones respiratorios con PBy respiración no periódica (nPB), y patrón de sujetos sanos, a partir registros de 15minutos de la señal de flujo respiratorio. Se caracterizó el patrón respiratorio mediante un estudio tiempo-frecuencia estacionario y no estacionario, de la envolvente de la señal de flujo respiratorio. Parámetros relacionados con la potencia espectral de la envolvente de la señal presentaron losmejores resultados en la clasificación de sujetos sanos y pacientes con CHF con CSR, PB y nPB. Las curvas ROC validan los resultados obtenidos. Se aplicó la "correntropy" para una caracterización tiempo-frecuencia mas completa del patrón respiratorio de pacientes con CHF. La "corretronpy" considera los momentos estadísticos de orden superior, siendo más robusta frente a los "outliers". Con la densidad espectral de correntropy (CSD) tanto la frecuencia de modulación como la dela respiración se representan en su posición real en el eje frecuencial. Los pacientes con PB y nPB, presentan diferentesgrados de periodicidad en función de su condición, mientras que los sujetos sanos no tienen periodicidad marcada. Con único parámetro se obtuvieron resultados del 88.9% clasificando pacientes PB vs. nPB, 95.2% para CHF vs. sanos, 94.4% para nPB vs. sanos.The main objective of this thesis is to study andcharacterize breathing patterns through the respiratory flow signal applied to patients on weaning trials from mechanicalventilation and patients with chronic heart failure (CHF). The aim is to contribute to theunderstanding of the underlying physiological processes and to help in the diagnosis of these patients. One of the most challenging problems in intensive care units is still the process ofdiscontinuing mechanical ventilation, as over 10% of patients who undergo successfulT-tube trials have to be reintubated in less than 48 hours. A failed weaning trial mayinduce cardiopulmonary distress and carries a higher mortality rate. We characterize therespiratory pattern and the dynamic interaction between heart rate and breathing rate toobtain noninvasive indices that provide enhanced information about the weaningprocess and improve the weaning outcome. This is achieved through a comparison of 94 patients with successful trials (GS), 39patients who fail to maintain spontaneous breathing (GF), and 21 patients who successfully maintain spontaneous breathing and are extubated, but require thereinstitution of mechanical ventilation in less than 48 hours because they are unable tobreathe (GR). The ECG and the respiratory flow signals used in this study were acquired during T-tube tests and last 30 minute. The respiratory pattern was characterized by means of a number of respiratory timeseries. Joint symbolic dynamics applied to time series of heart rate and respiratoryfrequency was used to describe the cardiorespiratory interactions of patients during theweaning trial process. Clustering, histogram equalization, support vector machines-based classification (SVM) and validation techniques enabled the selection of the bestsubset of input features. We defined a new optimization metric for unbalanced classification problems, andestablished a new SVM feature selection method, based on this balance index B. The proposed B-based SVM feature selection provided a better balance between sensitivityand specificity in all classifications. The best classification result was obtained with SVM feature selection based on bothaccuracy and the balance index, which classified GS and GFwith an accuracy of 80%, considering 6 features. Classifying GS versus the rest of patients, the best result wasobtained with 9 features, 81%, and the accuracy classifying GR versus GS, and GR versus the rest of the patients was 83% and 81% with 9 and 10 features, respectively.The mortality rate in CHF patients remains high and risk stratification in these patients isstill one of the major challenges of contemporary cardiology. Patients with CHF oftendevelop periodic breathing patterns including Cheyne-Stokes respiration (CSR) and periodic breathing without apnea. Periodic breathing in CHF patients is associated withincreased mortality, especially in CSR patients. Therefore it could serve as a risk markerand can provide enhanced information about thepathophysiological condition of CHF patients. The main goal of this research was to identify CHF patients' condition noninvasively bycharacterizing and classifying respiratory flow patterns from patients with PB and nPBand healthy subjects by using 15-minute long respiratory flow signals. The respiratory pattern was characterized by a stationary and a nonstationary time-frequency study through the envelope of the respiratory flow signal. Power-related parameters achieved the best results in all of the classifications involving healthy subjects and CHF patients with CSR, PB and nPB and the ROC curves validated theresults obtained for the identification of different respiratory patterns. We investigated the use of correntropy for the spectral characterization of respiratory patterns in CHF patients. The correntropy function accounts for higher-order moments and is robust to outliers. Due to the former property, the respiratory and modulationfrequencies appear at their actual locations along the frequency axis in the correntropy spectral density (CSD). The best results were achieved with correntropy and CSD-related parameters that characterized the power in the modulation and respiration discriminant bands, definedas a frequency interval centred on the modulation and respiration frequency peaks,respectively. All patients, i.e. both PB and nPB, exhibit various degrees of periodicitydepending on their condition, whereas healthy subjects have no pronounced periodicity.This fact led to excellent results classifying PB and nPB patients 88.9%, CHF versushealthy 95.2%, and nPB versus healthy 94.4% with only one parameter.Postprint (published version