Parallel bidiagonalization of a dense matrix

A new stable method for the reduction of rectangular dense matrices to bidiagonal form has been proposed recently. This is a one-sided method since it can be entirely expressed in terms of operations with (full) columns of the matrix under transformation. The algorithm is well suited to parallel computing and, in order to make it even more attractive for distributed memory systems, we introduce a modification which halves the number of communication instances. In this paper we present such a modification. A block organization of the algorithm to use level~3 BLAS routines seems difficult and, at least for the moment, it relies upon level~2 BLAS routines. Nevertheless, we found that our sequential code is competitive with the LAPACK DGEBRD routine. We also compare the time taken by our parallel codes and the ScaLAPACK PDGEBRD routine. We investigated the best data distribution schemes for the different codes and we can state that our parallel codes are also competitive with the ScaLAPACK routine.Fundação para a Ciência e a Tecnologia (FCT) - programa POCI 2010

Algoritmos de Altas Prestaciones para el Cálculo de la Descomposición en Valores Singulares y su Aplicación a la Reducción de Modelos de Sistemas Lineales de Control

P ARA calcular la descomposición en valores singulares (DVS) de una matriz real densa, los métodos tradicionales empiezan por reducir la matriz a una forma bidiagonal y seguidamente calculan la DVS de esa matriz bidiagonal. El proceso para reducir la matriz inicial a la forma bidiagonal es conocido como el método de la bidiagonalización, que en general consiste en la aplicación de sucesivas transformaciones de Householder, por la izquierda y por la derecha de la matriz. El hecho de que las transformaciones sean aplicadas por los dos lados de la matriz, repercute negativamente en los costes de comunicaciones de una implementación paralela destinada a sistemas de memoria distribuida. Ralha y Barlow presentaron dos nuevos métodos para la bidiagonalización de matrices densas en los que las transformaciones de Householder son aplicadas solamente por el lado derecho de la matriz. Esto permite de nir todas las operaciones en términos de las columnas de la matriz a transformar, facilitando así el desarrollo de implementaciones paralelas y que además reducen las comunicaciones necesarias. En esta tesis se ha realizado un estudio comparativo entre las implementaciones secuenciales y paralelas de los métodos presentados por Ralha y por Barlow, desarrolladas en el entorno de las librerías LAPACK y SCALAPACK, y las correspondientes rutinas de estas librerías. Como trabajo novedoso se han introducido algunas modi caciones en el método de Barlow con el objetivo de reducir el número de comunicaciones en la implementación paralela. Tras estas líneas de investigación, el paso siguiente es calcular la DVS de la matriz bidiagonal superior. Sin embargo, el problema de calcular la DVS de una matriz bidiagonal superior puede verse como el problema de calcular la descomposición en valores propios (DVP) de una matriz tridiagonal simétrica. Una vez calculada la DVP de la matriz tridiagonal simétrica es posible obtener la DVS de la matriz bidiagonal superior y con ella, la DVS de la matriz inicial. La principal motivación para esta estrategia es el desarrollo de una implementación paralela, sin comunicaciones, del método zeroinNR propuesto por Ralha en su tesis doctoral, para el cálculo de la DVP de matrices tridiagonales simétricas y el correspondiente estudio comparativo con la implementación paralela estándar, la cual contiene comunicaciones. Como ámbito de aplicación de la DVS se ha estudiado la reducción de modelos de sistemas lineales de control, basado en la diagonalización simultánea de los Gramianos de controlabilidad y de observabilidad, y nuestro enfoque va dirigido a la reducción a la forma bidiagonal superior del producto matricial sin calcular explícitamente ese producto y, para ello, se han desarrollado implementaciones secuenciales y paralelas del método propuesto por Golub, por Sølna y por van Dooren. Los resultados presentados en esta tesis han sido obtenidos en los recursos computacionales ofrecidos por el Grupo de Redes y Computación de Altas Prestaciones (GRyCAP) de la Universitat Politècnica de València (UPV) y por el consorcio SEARCH1 de la Universidad del Minho (UM).Da Silva Sanches De Campos, CA. (2014). Algoritmos de Altas Prestaciones para el Cálculo de la Descomposición en Valores Singulares y su Aplicación a la Reducción de Modelos de Sistemas Lineales de Control [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/48531TESI

Algoritmos paralelos para la reducción de sistemas lineales de control estables

[EN] In the field of control theory, sometimes system models of big size (with many state variables) appear. When one of these high order systems needs to be simulated, studied or controlled, it is convenient to perform a previous work of model reduction in order to reduce the necessary (economic and temporal) costs. This process of obtaining a low order adequate representation of the original system usually has a high cost, because it has to be done with the original unreduced system. Thus, it is important to have high performance implementations for the problem of reducing linear control systems. In this thesis high performance implementations for some methods of model reduction have been developed. Current algorithms for model reduction of stable linear control systems and their implementation in the control library SLICOT have been analysed. New parallel algorithms for the methods strongly based on solving Lyapunov equations have been proposed. The new developed routines are incorporated in the high performance library for control PSLICOT. Apart from the main functions in charge of model reduction, all operations appearing in the problem and not having a high performance version yet have also been parallelised. One of these operations is the solution of Lyapunov equations in standard form. Parallel routines for solving these equations have been developed. These routines solve the equation obtaining directly the Cholesky factor of the solution, which fits better their application in model reduction. For this, Hammarling's method has been parallelised. The new routines solve in parallel and for dense matrices the four possible variants of standard Lyapunov equations: discrete and continuous versions, both transposed and not transposed. Interfaces offered by all the parallelised routines are similar to that of the existing routines in ScaLAPACK library, so they are easy to use from a user of this kind of libraries. The new routines work with the same data distribution used in this library: 2D block cyclic distribution, which allows many other distributions. Thanks to the developed work, now there are available high performance parallel routines to reduce linear control systems by using different variants of the Square-Root Balance & Truncate model reduction method: with or without balancing and with or without using the singular perturbation approximation formulas. They are parallel implementations of the same algorithms and methods used in the sequential routines of the SLICOT library. This allows to efficiently reduce models of linear control systems of big size. Moreover, existing software in ScaLAPACK for the eigenvalue problem has been improved by covering cases not treated there: the solution of the generalised problem (by transforming it into standard form, which is not always possible) and the computation of the eigenvectors. This part of the work has been applied to a real problem of simulation of oceanic flows. Here, it is necessary to compute all the eigenvalues and eigenvectors of a generalised eigenvalue problem with a very big dimension. As a consequence, enormous eigenvalue problems have been solved (with matrices of order greater than 400000), that could not be solved previously. Solving them allows to improve the precision in the studies of the behaviour of oceanic flows.[ES] En el campo de la teoría de control en ocasiones aparecen modelos de sistemas con un tamaño elevado (muchas variables de estado). Cuando se pretende simular, estudiar o controlar uno de estos sistemas de orden elevado, conviene realizar un trabajo previo de reducción del modelo del sistema con el propósito de reducir los costes (económicos/temporales) necesarios en un tratamiento posterior. El proceso de obtención de un sistema de orden reducido que represente adecuadamente el sistema original suele ser costoso, ya que necesariamente se tiene que hacer con el sistema original sin reducir. Por esto, resulta conveniente disponer de implementaciones de altas prestaciones para el problema de reducción de sistemas lineales de control. En esta tesis se han desarrollado implementaciones de altas prestaciones para algunos métodos de reducción de modelos. Se han analizado los algoritmos existentes para la reducción de modelos de sistemas lineales de control estables y sus implementaciones en la librería de control SLICOT. Se han propuesto nuevos algoritmos paralelos para los métodos cuyo núcleo principal es la resolución de ecuaciones de Lyapunov. Las nuevas rutinas desarrolladas se incorporan a la librería de computación de altas prestaciones para control PSLICOT. Aparte de las funciones principales a cargo de la reducción de modelos, se han tenido que paralelizar también todas aquellas operaciones numéricas que aparecen en este problema y de las que no se disponía de versiones de altas prestaciones. De estas operaciones, cabe destacar rutinas paralelas para la resolución de la ecuación de Lyapunov en su forma estándar obteniendo directamente el factor de Cholesky de la solución, que es lo que se necesita para la reducción de modelos. El método utilizado es una versión paralela del método de Hammarling. Las rutinas implementadas resuelven en paralelo y para matrices densas las cuatro variantes posibles de la ecuación de Lyapunov: en su forma discreta y continua, traspuestas y sin trasponer. Todas las rutinas paralelizadas ofrecen una interfaz como la de las rutinas de la librería ScaLAPACK, para que puedan ser usadas con facilidad por el usuario habituado a trabajar con este tipo de librerías. Se permiten las mismas distribuciones de datos que en esta librería: una distribución cíclica 2D por bloques, que engloba muchas otras distribuciones. Gracias al trabajo desarrollado, ahora se dispone de versiones paralelas de altas prestaciones para reducir sistemas lineales de control mediante diferentes variantes del método de balanceado y truncamiento de la raíz cuadrada (the Square-Root Balance & Truncate model reduction method): con o sin balanceado y con o sin usar las fórmulas de perturbación singular. Se trata de versiones paralelas de los mismos algoritmos y métodos que se utilizan en las versiones secuenciales de la librería SLICOT. Esto permitirá reducir de forma eficiente modelos de sistemas lineales de control de gran tamaño. También se ha mejorado la aplicabilidad del software existente en ScaLAPACK para el problema de valores propios cubriendo casos que no se contemplaban. Se ha trabajado en la solución del problema generalizado (mediante su transformación a forma estándar, lo que no es aplicable en todos los casos) y también en el cálculo de los vectores propios. Ambas operaciones se han utilizado en un problema real de simulación de flujos oceánicos. En esta aplicación se requiere el cálculo de todos los valores y vectores propios de un problema generalizado de gran dimensión. Como consecuencia, ha sido posible resolver problemas de valores propios generalizados enormes (con matrices de más de 400000 filas y columnas) que no habían podido resolverse con anterioridad, permitiendo así un estudio más preciso del comportamiento de las corrientes oceánicas.[CA] En el camp de la teoria de control de vegades apareixen models de sistemes amb un tamany elevat (moltes variables d'estat). Quan es pretén simular, estudiar o controlar un d'aquests sistemes d'ordre elevat, convé realitzar un treball previ de reducció del model del sistema amb el propòsit de reduir els costos (econòmics/temporals) necesaris en un tractament posterior. El procés d'obtenció d'un sistema d'ordre reduit que represente adequadament el sistema original sol ser costós, perque necessàriament ha de fer-se amb el sistema original sense reduir. Per aquest motiu, resulta convenient disposar d'implementacions d'altes prestacions per al problema de reducció de sistemes lineals de control. En aquesta tesis s'han desenvolupat implementacions d'altes prestacions per a alguns mètodes de reducció de models. S'han anal·litzat els algoritmes existents per a la reducció de models de sistemes lineals de control estables i les seues implementacions en la llibreria de control SLICOT. S'han proposat nous algoritmes paral·lels per als mètodes basats en la resolució d'equacions de Lyapunov. Les noves rutines desenvolupades s'incorporen a la llibreria de computació d'altes prestacions per a control PSLICOT. Apart de les funcions principals a càrrec de la reducció de models, s'han hagut de paral·le\-lit\-zar també totes aquelles operacions numèriques que apareixen en aquest problema i per a les que no es disposava de versions d'altes prestacions. D'aquestes operacions, destaquen rutines paral·leles per a la resolució de l'equació de Lyapunov en la seua forma estàndard obtenint directament el factor de Cholesky de la solució, que és el que es necessita per a la reducció de models. El mètode emprat és una versió paral·lela del mètode de Hammarling. Les rutines implementades resolen en paral·lel i per a matrius denses les quatre variants possibles de l'equació de Lyapunov: en la seua forma discreta i contínua, traspostes i sense trasposar. Totes les rutines paral·lelitzades ofereixen una interfaç com la de les rutines de la llibreria ScaLAPACK, per a que puguen ser usades fàcilment per l'usuari acostumat a treballar amb aquest tipus de llibreries. Es permeten les mateixes distribucions de dades que en aquesta llibreria: distribució cíclica 2D per blocs, que engloba moltes altres distribucions. Gràcies al treball desenvolupat, ara es disposa de versions paral·leles d'altes prestacions per a reduir sistemes lineals de control mitjançant diferents variants del mètode de balancejat i truncament de l'arrel quadrada (the Square-Root Balance & Truncate model reduction method): amb o sense balancejat i amb o sense usar les fórmules de perturbació singular. Son versions paral·leles dels mateixos algoritmes i mètodes que s'utilitzen en les versions sequencials de la llibreria SLICOT. Això permetrà reduir de forma eficient models de sistemes lineals de control de gran tamany. També s'ha mitjorat l'aplicabilitat del software existent en ScaLAPACK per al problema de valors propis cobrint casos que no es contemplaven. S'ha treballat en la solució del problema generalitzat (mitjançant la seua transformació a forma estàndard, cosa que no es pot fer sempre) i també en el càlcul dels vectors propis. Ambdues operacions s'han utilitzat en un problema real de simulació de fluxos oceànics. En aquesta aplicació es requereix el càlcul de tots els valors i vectors propis d'un problema generalitzat de gran dimensió. Com a conseqüència, ha sigut possible resoldre problemes de valors propis generalitzats molt grans (amb matrius de més de 400000 files i columnes) que no s'havien pogut resoldre anteriorment, permetent així un estudi més precís del comportament de les corrents oceàniques.Guerrero López, D. (2015). Algoritmos paralelos para la reducción de sistemas lineales de control estables [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/59415TESI