New preconditioners applied to linear programming and the compressive sensing problems

Abstract

Orientador: Aurelio Ribeiro Leite de OliveiraTese (doutorado) - Universidade Estadual de Campinas, Instituto de Matemática Estatística e Computação CientíficaResumo: Nessa tese apresentamos novos pré-condicionadores baseados na fatoração incompleta de Cholesky e no pré-condicionador separador. Os métodos de pontos interiores são muito eficientes na solução de problemas de programação linear. Métodos iterativos são usados para resolver o sistema linear resultante quando as fatorações são densas. Como perto de uma solução os sistemas são mal condicionados, pré-condicionadores são fundamentais para seu bom desempenho. Na primeira parte desse trabalho, apresentamos resultados para problemas de pequeno e grande porte. A primeira implementação, referente a problemas de pequeno porte é feita em Matlab. O novo pré-condicionador sugerido na tese para esse caso é obtido determinando a matriz do pré-condicionador separador, e aplicando a fatoração incompleta de Cholesky nessa matriz, obtendo dessa forma o fator incompleto. O fator incompleto é o novo pré-condicionador, denominado pré-condicionador fator separador. Na segunda implementação realizada em C e Fortran, consideramos problemas de grande porte. Para obter o novo pré-condicionador, aplicamos a fatoração controlada de Cholesky na matriz definida pelo pré-condicionador separador, e utilizamos seu fator como o novo pré-condicionador. Obtivemos resultados satisfatórios em relação aos problemas de pequeno porte, e grande número de iterações do método dos gradientes conjugados para os problemas de grande porte. Na segunda parte, aplicamos um novo pré-condicionador em problemas Compressive Sensing (CS), que é uma técnica eficiente em adquirir e reconstruir sinais. Sua teoria afirma que podemos recuperar certos sinais e imagens por meio de poucas amostras. Isso é possível porque o sinal de interesse nesse trabalho é esparso em dicionários coerentes e redundantes, e as matrizes do problema satisfazem a Propriedade da Isometria Restrita (RIP). O objetivo do problema é encontrar uma solução de norma l1 mínima, que satisfaz um sistema sobredeterminado. A não diferenciabilidade da norma l1 é substituída pela função pseudo-Huber. Por fim, nosso problema de interesse será composto por variáveis primais e duais. Uma abordagem para resolver esse problema é o método Primal-Dual Newton Conjugate Gradients. Usando o fato que próximo de uma solução podemos separar as variáveis em dois grupos, as que possuem valores muito longe de zero e as com valores tendendo a zero; e que as matrizes satisfazem a RIP, mostra-se um pré-condicionador apropriado da literatura. Apresentamos um novo pré-condicionador, em que na sua construção, continuamos explorando o fato de podermos separar as variáveis em dois grupos, próximos a uma solução e as matrizes satisfazerem a RIP, como feito no método conhecido da literatura. Uma vez determinado o pré-condicionador com tais características, aplicamos a fatoração incompleta de Cholesky na matriz definida por este pré-condicionador, e usamos o fator encontrado como pré-condicionador. Os resultados obtidos foram satisfatórios em relação ao tempo e a qualidade da imagem reconstruídaAbstract: In this thesis we present new preconditioners based on the incomplete Cholesky factorization and on the splitting preconditioner. Interior point methods are very efficient for solving linear programming problems. Iterative methods are used to solve the resulting linear systems when the factorizations are dense. Close to a solution these systems are illconditioned and preconditioning is an essential issue. In the first part of this work, we present results for small and large problems. The first implementation, referring to small problems is done in Matlab. The new preconditioner suggested in the thesis for this case is obtained by determining the matrix of the splitting preconditioner, and applying the incomplete Cholesky factorization in this matrix, thus obtaining the incomplete factor. The incomplete factor is the new preconditioner, called splitting factor preconditioner. In the second implementation performed in C and Fortran, we considered large size problems. To obtain the new preconditioner, we apply controlled Cholesky factorization to the matrix defined by the splitting preconditioner, and use its factor as the new preconditioner. We obtain satisfactory results in concerning to small problems, and large number of iterations of the conjugate gradient method for large problems. In the second part, we apply a new preconditioner in Compressive Sensing (CS) problems, which is an efficient technique to acquire and reconstruct signals. The theory about CS asserts that we can recover certain signals and images through few samples. This is possible because the signal of interest is sparse through a coherent and redundant dictionary, and the linear system matrix satisfies the Restricted Isometry Property (RIP) under reasonable assumptions. The problem consists in finding a solution with minimum 1-norm that satisfies an underdetermined linear system. The 1-norm is replaced by the pseudo-Huber function. An approach for solving this problem is the Primal-Dual Newton Conjugate Gradients method. Using the fact that, close to a solution, we can split the variables into two groups, those that have values far from zero, and those with values approaching zero and that the matrices satisfy the RIP, an appropriate preconditioner is provided in the literature. We present a new preconditioner, which in its construction, we continue to exploit the features of the problem, as previously done. Once the preconditioner exploiting these features has been computed, we apply an incomplete Cholesky factorization on it, and use the factor found as the true preconditioner. The results obtained are satisfactory in relation to the time and the quality of the reconstructed imageDoutoradoMatematica AplicadaDoutora em Matemática Aplicada141656/2015-8CAPESCNP

    Similar works