Bayesian nonparametrics for time series modeling

Abstract

Mención Internacional en el título de doctorIn many real-world signal processing problems, an observed temporal sequence can be explained by several unobservable independent causes, and we are interested in recovering the canonical signals that lead to these observations. For example, we may want to separate the overlapping voices on a single recording, distinguish the individual players on a financial market, or recover the underlying brain signals from electroencephalography data. This problem, known as source separation, is in general highly underdetermined or ill-posed. Methods for source separation generally seek to narrow the set of possible solutions in a way that is unlikely to exclude the desired solution. However, most classical approaches for source separation assume a fixed and known number of latent sources. This may represent a limitation in contexts in which the number of independent causes is unknown and is not limited to a small range. In this Thesis, we address the signal separation problem from a probabilistic modeling perspective. We encode our independence assumptions in a probabilistic model and develop inference algorithms to unveil the underlying sequences that explain the observed signal. We adopt a Bayesian nonparametric (BNP) approach in order to let the inference procedure estimate the number of independent sequences that best explain the data. BNP models place a prior distribution over an infinite-dimensional parameter space, which makes them particularly useful in probabilistic models in which the number of hidden parameters is unknown a priori. Under this prior distribution, the posterior distribution of the hidden parameters given the data assigns higher probability mass to those configurations that best explain the observations. Hence, inference over the hidden variables is performed using standard Bayesian inference techniques, which avoids expensive model selection steps. We develop two novel BNP models for source separation in time series. First, we propose a non-binary infinite factorial hidden Markov model (IFHMM), in which the number of parallel chains of a factorial hidden Markov model (FHMM) is treated in a nonparametric fashion. This model constitutes an extension of the binary IFHMM, but the hidden states are not restricted to take binary values. Moreover, by placing a Poisson prior distribution over the cardinality of the hidden states, we develop the infinite factorial unbounded-state hidden Markov model (IFUHMM), and an inference algorithm that can infer both the number of chains and the number of states in the factorial model. Second, we introduce the infinite factorial finite state machine (IFFSM) model, in which the number of independent Markov chains is also potentially infinite, but each of them evolves according to a stochastic finite-memory finite state machine model. For the IFFSM, we apply an efficient inference algorithm, based on particle Markov chain Monte Carlo (MCMC) methods, that avoids the exponential runtime complexity of more standard MCMC algorithms such as forward-filtering backward-sampling. Although our models are applicable in a broad range of fields, we focus on two specific problems: power disaggregation and multiuser channel estimation and symbol detection. The power disaggregation problem consists in estimating the power draw of individual devices, given the aggregate whole-home power consumption signal. Blind multiuser channel estimation and symbol detection involves inferring the channel coefficients and the transmitted symbol in a multiuser digital communication system, such as a wireless communication network, with no need of training data. We assume that the number of electrical devices or the number of transmitters is not known in advance. Our experimental results show that the proposed methodology can provide accurate results, outperforming state-of-the-art approaches.En multitud de problemas reales de procesado de señal, se tiene acceso a una secuencia temporal que puede explicarse mediante varias causas latentes independientes, y el objetivo es la recuperación de las señales canónicas que dan lugar a dichas observaciones. Por ejemplo, podemos estar interesados en separar varias señales de voz solapadas en una misma grabación, distinguir los agentes que operan en un mismo mercado financiero, o recuperar las señales cerebrales a partir de los datos de un electroencefalograma. Este problema, conocido como separación de fuente, es en general sobredeterminado. Los métodos de separación de fuente normalmente tratan de reducir el conjunto de posibles soluciones de tal manera que sea poco probable excluir la solución deseada. Sin embargo, en la mayoría de métodos clásicos de separación de fuente, se asume que el número de fuentes latentes es conocido. Esto puede representar una limitación en aplicaciones en las que no se conoce el número de causas independientes y dicho número no está acotado en un pequeño intervalo. En esta Tesis, consideramos un enfoque probabilístico para el problema de separación de fuente, en el que las asunciones de independencia se pueden incluir en el modelo probabilístico, y desarrollamos algoritmos de inferencia que permiten recuperar las señales latentes que explican la secuencia observada. Nos basamos en la utilización de métodos bayesianos no paramétricos (BNP) para permitir al algoritmo estimar adicionalmente el número de secuencias que mejor expliquen los datos. Los modelos BNP nos permiten definir una distribución de probabilidad sobre un espacio de dimensionalidad infinita, lo cual los hace particularmente útiles para su aplicación en modelos probabilísticos en los que el número de parámetros ocultos es desconocido a priori. Bajo esta distribución de probabilidad, la distribución a posteriori sobre los parámetros ocultos del modelo, dados los datos, asignará una mayor densidad de probabilidad a las configuraciones que mejor expliquen las observaciones, evitando por tanto los métodos de selección de modelo, que son computacionalmente costosos. En esta Tesis, desarrollamos dos nuevos modelos BNP para la separación de fuente en secuencias temporales. En primer lugar, proponemos un modelo oculto de Markov factorial infinito (IFHMM) no binario, en el que tratamos de manera no paramétrica el número de cadenas paralelas de un modelo oculto de Markov factorial (FHMM). Este modelo constituye una extensión del IFHMM binario, pero se elimina la restricción de que los estados ocultos sean variables binarias. Además, imponiendo una distribución de Poisson sobre la cardinalidad de los estados ocultos, desarrollamos el modelo oculto de Markov factorial infinito con estados no acotados (IFUHMM), y un algoritmo de inferencia con la capacidad de inferir tanto el número de cadenas como el número de estados del modelo factorial. En segundo lugar, proponemos un modelo de máquina de estados factorial infinita (IFFSM), en el que el número de cadenas de Markov paralelas e independientes también es potencialmente infinito, pero cada una de ellas evoluciona según un modelo de máquina de estados estocástica con memoria finita. Para el IFFSM, aplicamos un eficiente algoritmo de inferencia, basado en métodos Markov chain Monte Carlo (MCMC) de partículas, que evita la complejidad exponencial en tiempo de ejecución de otros algoritmos MCMC más comunes, como el de filtrado hacia adelante y muestreo hacia atrás. A pesar de que nuestros modelos son aplicables en una amplia variedad de campos, nos centramos en dos problemas específicos: separación de energía, y estimación de canal y detección de símbolos en un sistema multi-usuario. El problema de separación de energía consiste en, dada la señal de potencia total consumida en una casa, estimar de manera individual el consumo de potencia de cada dispositivo. La estimación de canal y detección de símbolos consiste en inferir los coeficientes de canal y los símbolos transmitidos en un sistema de comunicaciones digital multiusuario, como una red de comunicaciones inalámbrica, sin necesidad de transmitir símbolos piloto. Asumimos que tanto el número de dispositivos eléctricos como el número de transmisores es en principio desconocido y no acotado. Los resultados experimentales demuestran que la metodología propuesta ofrece buenos resultados y presenta mejoras sobre otros métodos propuestos en la literatura.Beca FPU (referencia AP-2010-5333)Programa Oficial de Doctorado en Multimedia y ComunicacionesPresidente: Antonio Artés Rodríguez.- Secretario: Juan José Murillo Fuentes.- Vocal: Konstantina Pall