Multi-Output Kernel Adaptive Filtering Algorithms

Abstract

RESUMEN: El aprendizaje supervisado tradicional es una herramienta de gran utilidad capaz de ayudar a la hora de tomar decisiones rápidas y precisas en tareas de regresión y predicción. El objetivo de este tipo de aprendizaje es aprender una función que mapee desde el espacio de instancias de entrada al espacio de salida, donde la salida puede ser una etiqueta o un valor escalar. No obstante, la complejidad creciente de las tareas y los problemas hacen necesaria la creación de nuevos modelos de Machine Learning que realicen una toma de decisiones más sofisticada, de tal forma que sean capaces de resolver varios problemas de este tipo al mismo tiempo, lo que se conoce con el nombre de Multitask Learning. Por ello, este proyecto se centrará en el desarrollo de nuevos modelos de Multitask Learning y, más concretamente, de algoritmos de filtrado adaptativo kernel de tipo Multi-Output, que consigan aprovechar la correlación existente entre las distintas series temporales para mejorar los resultados obtenidos. Además, se pretende que su complejidad sea mucho menor que la de otros modelos desarrollados hasta el momento, como pueden ser los procesos Gaussianos (GPs). Para evaluar las prestaciones de los métodos propuestos, se utiliza en primer lugar una base de datos generados mediante simulación, sobre la que se tiene un cierto control de sus parámetros, para realizar un completo análisis de las prestaciones de todos los algoritmos desarrollados y, a continuación, se seleccionan aquellos dos que han presentado unas mejores prestaciones para su aplicación sobre una base de datos real. Los resultados obtenidos para todos los algoritmos desarrollados son bastante buenos, destacando especialmente los de las versiones Multi-Output del KLMS con limitación del tamaño del diccionario mediante el empleo del criterio de distancia Euclídea (QKLMS-MO) y con aproximaciones de dimensiones finitas de las funciones kernel empleadas (RFF-KLMS-MO). Estos dos algoritmos obtienen unos resultados considerablemente buenos en términos del error cuadrático medio (del orden de 10-1), resultando bastante mejor el RFF-KLMS-MO en términos de complejidad computacional y tiempo empleado en el entrenamiento.ABSTRACT: Traditional supervised learning is a very useful tool that helps in making fast and accurate decisions for regression and prediction tasks. The main goal of this type of learning is to learn a function that maps from the input feature space to the output space, where the output is either a single label or a single value. However, the increasing complexity of tasks and problems urges the need of new Machine Learning models that have more sophisticated decision making mechanisms so they can solve several problems simultaneously, which is known as Multitask Learning. Thus, this project will focus on the development of new Multitask Learning models and, more precisely, of multi-output kernel adaptive-ltering algorithms, that take advantage of the existing correlation between time series to improve their results. Besides, its computational complexity is intended to be much lower than that of other models that have been developed up to now, such as Gaussian Processes (GPs). In order to evaluate their performance, a simulated and parameter-controlled dataset is first used to carry out a complete analysis of all algorithms capabilities. Then, a real dataset is used to evaluate the performance of the two bestperforming algorithms. The results obtained for all algorithms are valid, especially those obtained by the Multi-Output versions of the KLMS with dictionary size limitations based on the Euclidean distance criterion (QKLMS-MO) and with-nite-dimensional approximations of the kernel functions (RFF-KLMS-MO). These two algorithms provide very good results in terms of mean squared error (around 10-1), proving RFF-KLMS-MO to be a better choice in terms of computational complexity and training time.Máster en Ingeniería de Telecomunicació

    Similar works