Métricas entre procesos aleatorios usando el método de embebimiento de distribuciones de probabilidad en un espacio de Hilbert con kernel reproductivo

Abstract

Dentro de la literatura de los métodos kernels, recientemente ha surgido el método de embebimiento de distribuciones de probabilidad en espacios de Hilbert con Kernel Reproductivo (RKHS). Este método consiste en representar distribuciones de probabilidad como un elemento de un espacio de Hilbert generado por un kernel. Una de las aplicaciones más interesantes del método de embebimiento de distribuciones de probabilidad en un RKHS es la construcción de métricas entre distribuciones de probabilidad y entre procesos aleatorios. Actualmente existen muy pocas métricas en la literatura usando este método. En este trabajo primero se desarrollan métricas entre distribuciones de probabilidad basadas en los RKHS, suponiendo que las distribuciones de probabilidad y el kernel característico tienen cierta forma. Finalmente, se desarrollan métricas entre modelos ocultos de Markov y métricas entre procesos autorregresivo. Las métricas entre modelos autorregresivos se construyen usando el proceso de martingala en tiempo discreto.Inside the literature of kernel methods, the method of embedding probability distributions in Hilbert spaces Reproductive Kernel (RKHS) has recently emerged. This method consists of representing probability distributions as an element of a Hilbert space generated by a kernel. One of the most interesting applications of the method of embedding probability distributions in a RKHS is the construction of metrics between probability distributions and metrics between random processes. Currently there are very few metrics in the literature using this method. In this paper we first develop metrics between probability distributions based on the RKHS, assuming that the probability distributions and the characteristic kernel have a certain shape. Finally, metrics between hidden Markov models and metrics between autoregressive processes are developed. The metrics between autoregressive models are constructed using the discrete-time martingale process.Contenido CAPÍTULO UNO Introducción.......................................................................................................................7 CAPÍTULO DOS Espacios de Hilbert con Kernel reproductivo RKHS .................................................11 2.1 Definición y resultados de un RKHS .................................................................11 2.2 Producto tensor del espacio del Hilbert con Kernel reporductivo (TP-RKHS).......................................................................14 2.3 Operador de media...............................................................................................16 2.4 Operador de covarianza cruzada........................................................................18 2.5 Ejercicios................................................................................................................20 CAPÍTULO TRES Métricas entre distribuciones de probabilidad basadas en los RKHS.......................................................................................................25 3.1 Una breve revisión de espacios métricos...........................................................25 3.2 Métricas entre distribuciones de probabilidad .................................................26 3.2.1 Métricas entre distribuciones de probabilidad basada en el estimador de Parzen.................................................29 3.2.2 Métricas entre distribuciones de probabilidad basada en distribuciones normales y en el kernel lineal ...............................................................................32 3.2.3 Métricas entre distribuciones de probabilidad basada en distribuciones normales y en el kernel Laplaciano......................................................................34 3.3 Métricas entre distribuciones de probabilidad conjustas basadas en los RKHS.................................................................................36 3.3.1 Distribución normal bivariada....................................................................37 3.4 Resultados y experimentos de la métrica basada en el estimador de Parzen .............................................................................46 3.5 Ejercicios................................................................................................................50 CAPÍTULO CUATRO Métricas entre procesos aleatorios basadas en los RKHS ..........................................57 4.1 Modelos ocultos de Markov (HMMs) ...............................................................57 4.2 Métricas entre HMMs..........................................................................................59 4.3 Resultados y experimentos de las métricas entre HMMs basadas en RKHS ................................................................................62 4.3.1 Base de datos de la UCR ..............................................................................62 4.4 Predicción de series de tiempo basada en el método de los RKHS de procesos autorregresivos........................................64 4.5 Modelos autorregresivos......................................................................................65 4.6 Modelos autorregresivos en un espacio de Hilbert..........................................65 4.7 Modelos autorregresivos en un TP-RKHS ........................................................66 4.8 Estimación de los parámetros de un proceso autorregresivo en un TP-RKHS ................................................................................67 4.9 Predicción de series de tiempo ...........................................................................69 4.10 Experimentos del modelo autorregresivo basado en un TP-RKHS .............................................................................................71 4.10.1 Descripción de las bases de datos.............................................................71 4.10.2 Validación del modelo AR basado en un TP-RKHS..............................72 4.11 Análisis de los resultados...................................................................................74 4.12 Esperanza condicional .......................................................................................79 4.13 Esperanza condicional con respecto a σ-álgebras..........................................85 4.14 Martingalas en tiempo discreto ........................................................................91 4.15 Teorema de convergencia de Martingalas.................................................... 100 4.16 Algunas aplicaciones de Martingalas............................................................ 105 4.16.1 Ley de los grandes números................................................................... 105 4.16.2 Una aplicación de análisis....................................................................... 107 4.17 Ejercicios........................................................................................................... 109 Referencias.................................................................................................................... 11

    Similar works