Random Multipliers Numerically Stabilize Gaussian and Block Gaussian Elimination: Proofs and an Extension to Low-rank Approximation

We study two applications of standard Gaussian random multipliers. At first we prove that with a probability close to 1 such a multiplier is expected to numerically stabilize Gaussian elimination with no pivoting as well as block Gaussian elimination. Then, by extending our analysis, we prove that such a multiplier is also expected to support low-rank approximation of a matrix without customary oversampling. Our test results are in good accordance with this formal study. The results remain similar when we replace Gaussian multipliers with random circulant or Toeplitz multipliers, which involve fewer random parameters and enable faster multiplication. We formally support the observed efficiency of random structured multipliers applied to approximation, but not to elimination. Moreover, we prove that with a probability close to 1 Gaussian random circulant multipliers do not fix numerical instability of the elimination algorithms for a specific narrow class of well-conditioned inputs. We know of no such hard input classes for various alternative choices of random structured multipliers, but for none of such multipliers we have a formal proof of its efficiency for numerical Gaussian elimination

Ένας τυχαιοποιημένος αλγόριθμος για την μέθοδο απαλοιφής του Gauss

Η παρούσα διπλωματική εργασία ασχολείται με την τροποποίηση της μεθόδου απαλοιφής του Gauss χρησιμοποιώντας την τυχαιότητα, έτσι ώστε να έχει μια μορφή κατάλληλη για να εφαρμοστεί σε υψηλής επίδοσης, παράλληλους υπολογιστές. Η μέθοδος απαλοιφής του Gauss είναι μια από τις πιο γνωστές μεθόδους για την επίλυση γραμμικών συστημάτων, η οποία όμως δεν μπορεί να εφαρμοστεί ανεξάρτητα για την επίλυση ενός προβλήματος. Για την παραγωγή ακριβών αποτελεσμάτων, απαιτείται επιπρόσθετα η χρήση της τεχνικής της οδήγησης (πχ. ολική, μερική). Σε παράλληλες αρχιτεκτονικές η οδήγηση δεν εισάγει μόνο επιπρόσθετο υπολογιστικό φόρτο, αλλά και σημαντική επιβάρυνση λόγω του κόστους επικοινωνίας που απαιτείται μεταξύ των επεξεργαστών. Η μέθοδος που περιγράφουμε στην εργασία αυτή ονομάζεται Τυχαίος Μετασχηματισμός Πεταλούδας (Random Butterfly Transformation (RBT)) είναι μια μέθοδος που με πιθανότητα σχεδόν 1 μπορεί να μετασχηματίσει ένα γραμμικό σύστημα σε μορφή στην οποία δεν είναι απαραίτητη η χρήση οδήγησης. Αυτό επιτυγχάνεται πολλαπλασιάζοντας κατάλληλα τους πίνακες του αρχικού γραμμικού συστήματος με «κατάλληλα τυχαίους» αναδρομικούς πίνακες πεταλούδας. Επιπρόσθετα, στην εργασία παρουσιάζεται η επίδραση της μεθόδου στον αριθμό συνθήκης (condition number) των πινάκων και ασχολούμαστε με ορισμένα θέματα επιλογής παραμέτρων (tuning) για την μέθοδο, όπως το εύρος των τυχαίων αριθμών και τα επίπεδα αναδρομής. Στη συνέχεια, παρουσιάζονται ορισμένα θέματα για την πιο αποτελεσματική υλοποίηση, όπως η αποδοτική αποθήκευση των αναδρομικών πινάκων πεταλούδας. Επίσης, υποδεικνύονται ορισμένα βασικά στοιχεία για την παράλληλη υλοποίηση της μεθόδου RBT σε κάρτες γραφικών (GPUs). Τέλος, για την πειραματική επαλήθευση της απόδοσης της μεθόδου, έχουν δημιουργηθεί ορισμένες δοκιμαστικές κλάσεις πινάκων στις οποίες εφαρμόζεται η μέθοδος RBT και προκύπτουν τα απαραίτητα αριθμητικά αποτελέσματα.This Master thesis presents a modification over Gaussian elimination method using randomness in order to be used in high performance parallel computers. Gauss elimination method is one of the most known and documented method for solving linear systems, but it cannot be applied directly for solving a problem. In order to produce accurate results, additional pivoting (eg. complete, partial) is required. In a parallel architecture, pivoting not only introduces additional computational cost, but also high communication overhead generated by data movement among the processors. The method proposed in this thesis is called Random Butterfly Transformation – RBT and with a probability near to 1 is able to transform a linear system to a new form, in which pivoting is not required. That can be managed with a procedure that involves the generation of “sufficient random” recursive matrices called “recursive butterfly matrices” and the multiplication of the linear system matrices with those recursive butterfly matrices. Additionally, we present the impact of the transformation to the condition number of the matrices and we discuss some issues about the fine tuning of the algorithm like the range of the random numbers or the recursion depth. Furthermore, additional implementation issues are examined like how to store in an efficient way the recursive butterfly matrices and implementing the method on GPU. In order to be able to confirm the performance of the method, we conducted some tests based on testing classes of matrices proposed in the literature. Comments on the arithmetic accuracy and overall performance of the method are provided too

Fast Algorithms on Random Matrices and Structured Matrices

Randomization of matrix computations has become a hot research area in the big data era. Sampling with randomly generated matrices has enabled fast algorithms to perform well for some most fundamental problems of numerical algebra with probability close to 1. The dissertation develops a set of algorithms with random and structured matrices for the following applications: 1) We prove that using random sparse and structured sampling enables rank-r approximation of the average input matrix having numerical rank r. 2) We prove that Gaussian elimination with no pivoting (GENP) is numerically safe for the average nonsingular and well-conditioned matrix preprocessed with a nonsingular and well-conditioned f-Circulant or another structured multiplier. This can be an attractive alternative to the customary Gaussian elimination with partial pivoting (GEPP). 3) By using structured matrices of a large family we compress large-scale neural networks while retaining high accuracy. The results of our extensive are in good accordance with those of our theoretical study

Reducing the Amount of Pivoting in Symmetric Indefinite Systems

Abstract. This paper illustrates how the communication due to pivoting in the solution of symmetric indefinite linear systems can be reduced by considering innovative approaches that are different from pivoting strategies implemented in current linear algebra libraries. First a tiled algorithm where pivoting is performed within a tile is described and then an alternative to pivoting is proposed. The latter considers a symmetric randomization of the original matrix using the so-called recursive butterfly matrices. In numerical experiments, the accuracy of tile-wise pivoting and of the randomization approach is compared with the accuracy of the Bunch-Kaufman algorithm