Signal processing methods for EEG data classification

Imperial Users onl

Efficient alternating gradient-type algorithms for the approximate non-negative matrix factorization problem

The approximate non-negative matrix factorization problem (ANMF) seeks to interpret a given set of non-negative data vectors, where the non-negativity is physically meaningful, through the extraction of a sufficiently small set of non-negative "features". Each data vector is then approximated by a non-negative composition of the extracted features. Mathematically, this process is equivalent to approximating a non-negative matrix A by the product of two non-negative matrices, i.e. A ≈ WH, where W ∈ realsm xp and H ∈ reals pxn, and where p is typically chosen to be significantly smaller than m and n. A standard approach for solving the ANMF problem is to use a alternating gradient-type algorithm that keeps the iterates strictly positive. Lee and Seung have proposed what is arguably the most popular of these alternating gradient approaches. In this study we propose several variations of this particular Lee and Seung algorithm with notably improved performance. One of the proposed algorithms optimizes the step-length parameter to achieve greater reduction in the objective function, while another uses different weights derived from the first order necessary conditions of the ANMF problem. The latter has exhibited better empirical performance than the former, while both perform better in practice than the original Lee and Seung algorithm. Theoretical questions concerning the convergence of these feasible alternating gradient-type algorithms have remained unresolved. Hence, from an optimization point of view, these approaches may be seen as unsatisfactory. Our research has contributed to solving these theoretical questions by proving that a class of these algorithms will converge to a continuum, and in specific cases, to a KKT point. These convergence results are applicable to multiple variations of the popular Lee and Seung algorithm. A low-rank Singular Value Decomposition (SVD) of a given matrix A is an optimal approximation under the Frobenius norm whose fundamental subspaces are most relevant within the given measure. In this study we utilize these subspaces to produce a compact reformulation of the ANMF problem to a lower dimensional optimization problem. We introduce an alternating algorithmic approach for this reformulation that is extremely efficient and competitive when producing a low rank ANMF

Estudio comparativo para la mejora de imágenes de documentos con diferentes familias tipográficas usando la transformada Wavelet, Curvelet y NMF

En la actualidad el proceso digitalización de documentos es muy importante; sin embargo la presencia de ruido digital genera un gran problema que afecta principalmente a la calidad visual del texto impidiendo la comodidad de las personas al momento de leer. Por este motivo, el objetivo principal de este trabajo de tesis consiste en realizar un estudio comparativo entre dos métodos convencionales de eliminación de ruido basado en la Transformada Wavelet y la Transformada Curvelet con el método basado en NMF. NMF permite extraer exitosamente características de una imagen y presenta robustez frente a la presencia de ruido debido a su capacidad de representación dispersa de los datos. Sin embargo, NMF no considera un control explícito de la representación dispersa de la imagen en sus vectores base y coeficientes de activación o ganancia. En este trabajo se aplicó la función de coste de KullbackLeibler con parámetros de regulación para poder controlar el grado de dispersión del algoritmo NMF. Además, se aplicó un post-procesamiento de binarización Otsu y máscara espectral. Con la finalidad de evaluar el rendimiento de los métodos de eliminación de ruido mencionados anteriormente se usarán medidas de evaluación de calidad objetivas (PSNR y MSSIM) y subjetivas (MOS) usando una base de datos de imágenes de documentos con tres diferentes familias tipográficas (con serifa, sin serifa y máquina de escribir). Los resultados experimentales demuestran que dependiendo de la tipografía y tipo y nivel de ruido, algunos de los métodos de eliminación usados presentan un mejor rendimiento que el otro. Por ejemplo, para el caso del método basado en la Transformada Wavelet presenta mejores resultados en imágenes de documento contaminadas con ruido impulsivo al ser medidas con la medida subjetiva MOS, en el caso del método basado en la Transformada Curvelet es el que en general presenta mejor rendimiento en el proceso de eliminación de ruido. Mientras que en el caso del método basado en NMF presenta un rendimiento apropiado considerando las medidas objetivas PSNR y MSSIM al reducir ruido gaussiano, impulsivo y multiplicativo con tipográficas con y sin serifa superando al método basado en Transformada Wavelet; y de acuerdo a los resultados basados en la medida MOS, reduce sus diferencias con el método basado en la Transformada Curvelet.Tesi