Accelerating advanced preconditioning methods on hybrid architectures

Un gran número de problemas, en diversas áreas de la ciencia y la ingeniería, involucran la solución de sistemas dispersos de ecuaciones lineales de gran escala. En muchos de estos escenarios, son además un cuello de botella desde el punto de vista computacional, y por esa razón, su implementación eficiente ha motivado una cantidad enorme de trabajos científicos. Por muchos años, los métodos directos basados en el proceso de la Eliminación Gaussiana han sido la herramienta de referencia para resolver dichos sistemas, pero la dimensión de los problemas abordados actualmente impone serios desafíos a la mayoría de estos algoritmos, considerando sus requerimientos de memoria, su tiempo de cómputo y la complejidad de su implementación. Propulsados por los avances en las técnicas de precondicionado, los métodos iterativos se han vuelto más confiables, y por lo tanto emergen como alternativas a los métodos directos, ofreciendo soluciones de alta calidad a un menor costo computacional. Sin embargo, estos avances muchas veces son relativos a un problema específico, o dotan a los precondicionadores de una complejidad tal, que su aplicación en diversos problemas se vuelve poco práctica en términos de tiempo de ejecución y consumo de memoria. Como respuesta a esta situación, es común la utilización de estrategias de Computación de Alto Desempeño, ya que el desarrollo sostenido de las plataformas de hardware permite la ejecución simultánea de cada vez más operaciones. Un claro ejemplo de esta evolución son las plataformas compuestas por procesadores multi-núcleo y aceleradoras de hardware como las Unidades de Procesamiento Gráfico (GPU). Particularmente, las GPU se han convertido en poderosos procesadores paralelos, capaces de integrar miles de núcleos a precios y consumo energético razonables.Por estas razones, las GPU son ahora una plataforma de hardware de gran importancia para la ciencia y la ingeniería, y su uso eficiente es crucial para alcanzar un buen desempeño en la mayoría de las aplicaciones. Esta tesis se centra en el uso de GPUs para acelerar la solución de sistemas dispersos de ecuaciones lineales usando métodos iterativos precondicionados con técnicas modernas. En particular, se trabaja sobre ILUPACK, que ofrece implementaciones de los métodos iterativos más importantes, y presenta un interesante y moderno precondicionador de tipo ILU multinivel. En este trabajo, se desarrollan versiones del precondicionador y de los métodos incluidos en el paquete, capaces de explotar el paralelismo de datos mediante el uso de GPUs sin afectar las propiedades numéricas del precondicionador. Además, se habilita y analiza el uso de las GPU en versiones paralelas existentes, basadas en paralelismo de tareas para plataformas de memoria compartida y distribuida. Los resultados obtenidos muestran una sensible mejora en el tiempo de ejecución de los métodos abordados, así como la posibilidad de resolver problemas de gran escala de forma eficiente

Compact support wavelet representations for solution of quantum and electromagnetic equations: Eigenvalues and dynamics

Wavelet-based algorithms are developed for solution of quantum and electromagnetic differential equations. Wavelets offer orthonormal localized bases with built-in multiscale properties for the representation of functions, differential operators, and multiplicative operators. The work described here is part of a series of tools for use in the ultimate goal of general, efficient, accurate and automated wavelet-based algorithms for solution of differential equations. The most recent work, and the focus here, is the elimination of operator matrices in wavelet bases. For molecular quantum eigenvalue and dynamics calculations in multiple dimensions, it is the coupled potential energy matrices that generally dominate storage requirements. A Coefficient Product Approximation (CPA) for the potential operator and wave function wavelet expansions dispenses with the matrix, reducing storage and coding complexity. New developments are required, however. It is determined that the CPA is most accurate for specific choices of wavelet families, and these are given here. They have relatively low approximation order (number of vanishing wavelet function moments), which would ordinarily be thought to compromise both wavelet reconstruction and differentiation accuracy. Higher-order convolutional coefficient filters are determined that overcome both apparent problems. The result is a practical wavelet method where the effect of applying the Hamiltonian matrix to a coefficient vector can be calculated accurately without constructing the matrix. The long-familiar Lanczos propagation algorithm, wherein one constructs and diagonalizes a symmetric tridiagonal matrix, uses both eigenvalues and eigenvectors. We show here that time-reversal-invariance for Hermitian Hamiltonians allows a new algorithm that avoids the usual need to keep a number Lanczos vectors around. The resulting Conjugate Symmetric Lanczos (CSL) method, which will apply for wavelets or other choices of basis or grid discretization, is simultaneously low-operation-count and low-storage. A modified CSL algorithm is used for solution of Maxwell's time-domain equations in Hamiltonian form for non-lossy media. The matrix-free algorithm is expected to complement previous work and to decrease both storage and computational overhead. It is expected- that near-field electromagnetic solutions around nanoparticles will benefit from these wavelet-based tools. Such systems are of importance in plasmon-enhanced spectroscopies

Graph analysis combining numerical, statistical, and streaming techniques

Graph analysis uses graph data collected on a physical, biological, or social phenomena to shed light on the underlying dynamics and behavior of the agents in that system. Many fields contribute to this topic including graph theory, algorithms, statistics, machine learning, and linear algebra. This dissertation advances a novel framework for dynamic graph analysis that combines numerical, statistical, and streaming algorithms to provide deep understanding into evolving networks. For example, one can be interested in the changing influence structure over time. These disparate techniques each contribute a fragment to understanding the graph; however, their combination allows us to understand dynamic behavior and graph structure. Spectral partitioning methods rely on eigenvectors for solving data analysis problems such as clustering. Eigenvectors of large sparse systems must be approximated with iterative methods. This dissertation analyzes how data analysis accuracy depends on the numerical accuracy of the eigensolver. This leads to new bounds on the residual tolerance necessary to guarantee correct partitioning. We present a novel stopping criterion for spectral partitioning guaranteed to satisfy the Cheeger inequality along with an empirical study of the performance on real world networks such as web, social, and e-commerce networks. This work bridges the gap between numerical analysis and computational data analysis.Ph.D