1,934 research outputs found
A GPU-based hyperbolic SVD algorithm
A one-sided Jacobi hyperbolic singular value decomposition (HSVD) algorithm,
using a massively parallel graphics processing unit (GPU), is developed. The
algorithm also serves as the final stage of solving a symmetric indefinite
eigenvalue problem. Numerical testing demonstrates the gains in speed and
accuracy over sequential and MPI-parallelized variants of similar Jacobi-type
HSVD algorithms. Finally, possibilities of hybrid CPU--GPU parallelism are
discussed.Comment: Accepted for publication in BIT Numerical Mathematic
A hierarchically blocked Jacobi SVD algorithm for single and multiple graphics processing units
We present a hierarchically blocked one-sided Jacobi algorithm for the
singular value decomposition (SVD), targeting both single and multiple graphics
processing units (GPUs). The blocking structure reflects the levels of GPU's
memory hierarchy. The algorithm may outperform MAGMA's dgesvd, while retaining
high relative accuracy. To this end, we developed a family of parallel pivot
strategies on GPU's shared address space, but applicable also to inter-GPU
communication. Unlike common hybrid approaches, our algorithm in a single GPU
setting needs a CPU for the controlling purposes only, while utilizing GPU's
resources to the fullest extent permitted by the hardware. When required by the
problem size, the algorithm, in principle, scales to an arbitrary number of GPU
nodes. The scalability is demonstrated by more than twofold speedup for
sufficiently large matrices on a Tesla S2050 system with four GPUs vs. a single
Fermi card.Comment: Accepted for publication in SIAM Journal on Scientific Computin
Novel Modifications of Parallel Jacobi Algorithms
We describe two main classes of one-sided trigonometric and hyperbolic
Jacobi-type algorithms for computing eigenvalues and eigenvectors of Hermitian
matrices. These types of algorithms exhibit significant advantages over many
other eigenvalue algorithms. If the matrices permit, both types of algorithms
compute the eigenvalues and eigenvectors with high relative accuracy.
We present novel parallelization techniques for both trigonometric and
hyperbolic classes of algorithms, as well as some new ideas on how pivoting in
each cycle of the algorithm can improve the speed of the parallel one-sided
algorithms. These parallelization approaches are applicable to both
distributed-memory and shared-memory machines.
The numerical testing performed indicates that the hyperbolic algorithms may
be superior to the trigonometric ones, although, in theory, the latter seem
more natural.Comment: Accepted for publication in Numerical Algorithm
Three-Level Parallel J-Jacobi Algorithms for Hermitian Matrices
The paper describes several efficient parallel implementations of the
one-sided hyperbolic Jacobi-type algorithm for computing eigenvalues and
eigenvectors of Hermitian matrices. By appropriate blocking of the algorithms
an almost ideal load balancing between all available processors/cores is
obtained. A similar blocking technique can be used to exploit local cache
memory of each processor to further speed up the process. Due to diversity of
modern computer architectures, each of the algorithms described here may be the
method of choice for a particular hardware and a given matrix size. All
proposed block algorithms compute the eigenvalues with relative accuracy
similar to the original non-blocked Jacobi algorithm.Comment: Submitted for publicatio
Paralelni algoritmi Jacobijeva tipa za singularnu i generaliziranu singularnu dekompoziciju
In this thesis, a hierarchically blocked one-sided Jacobi algorithm for the singular value decomposition (SVD) is presented. The algorithm targets both single and multiple graphics processing units (GPUs). The blocking structure reflects the levels of the GPUās memory hierarchy. To this end, a family of parallel pivot strategies on the GPUās shared address space has been developed, but the strategies are applicable to inter-node communication as well, with GPU nodes, CPU nodes, or, in general, any NUMA nodes. Unlike common hybrid approaches, the presented algorithm in a single-GPU setting needs a CPU for the controlling purposes only, while utilizing the GPUās resources to the fullest extent permitted by the hardware. When required by the problem size, the algorithm, in principle, scales to an arbitrary number of GPU nodes. The scalability is demonstrated by more than twofold speedup for sufficiently large matrices on a four-GPU system vs. a single GPU. The subsequent part of the thesis describes how to modify the two-sided HariāZimmermann algorithm for computation of the generalized eigendecomposition of a symmetric matrix pair (A; B), where B is positive definite, to an implicit algorithm that computes the generalized singular value decomposition (GSVD) of a pair (F; G). In addition, blocking and parallelization techniques for accelerating both the CPU and the GPU computation are presented, with the GPU approach following the Jacobi SVD algorithm from the first part of the thesis. For triangular matrix pairs of a moderate size, numerical tests show that the double precision sequential pointwise algorithm is several times faster than the established DTGSJA algorithm in LAPACK, while the accuracy is slightly better, especially for the small generalized singular values. Cache-aware blocking increases the performance even further. As with the one-sided Jacobi-type (G)SVD algorithms in general, the presented algorithm is almost perfectly parallelizable and scalable on the shared memory machines, where the speedup almost solely depends on the number of cores used. A distributed memory variant, intended for huge matrices that do not fit into a single NUMA node, as well as a GPU variant, are also sketched. The thesis concludes with the affirmative answer to a question whether the onesided Jacobi-type algorithms can be an efficient and scalable choice for computing the (G)SVD of dense matrices on the massively parallel CPU and GPU architectures. Unless otherwise noted by the inline citations or implied by the context, this thesis is an overview of the original research results, most of which has already been published in [55, 58]. The authorās contributions are the one-sided Jacobi-type GPU algorithms for the ordinary and the generalized SVD, of which the latter has not yet been published, as well as the parallelization technique and some implementation details of the one-sided HariāZimmermann CPU algorithm for the GSVD. The rest is joint work with Sanja and SaÅ”a Singer.Singularna dekompozicija, katkad zvana prema engleskom originalu i dekompozicija singularnih vrijednosti, ili kraÄe SVD, jedna je od najkorisnijih matriÄnih dekompozicija, kako za teorijske, tako i za praktiÄne svrhe. Svaka matrica (zbog jednostavnijeg zapisa, uobiÄajeno se smatra da je ; u protivnom, traži se SVD matrice ) može se rastaviti u produkt tri matrice gdje su i unitarne, a je 'dijagonalna' s nenegativnim dijagonalnim elementima. Osim ovog oblika dekompozicije, koristi se i skraÄeni oblik pri Äemu je matrica s ortonormiranim stupcima, a za , je sada stvarno dijagonalna. Izvan matematike, u 'stvarnom' životu, SVD se koristi u procesiranju slika (rekonstrukciji, sažimanju, izoÅ”travanju) i signala, s primjenama u medicini (CT, tj. kompjuterizirana tomografija; MR, tj. magnetna rezonancija), geoznanostima, znanosti o materijalima, kristalografiji, sigurnosti (prepoznavanje lica), izvlaÄenja informacija iz velike koliÄine podataka (na primjer, LSI, tj. latent semantic indexing), ali i drugdje. VeÄina primjena koristi svojstvo da se iz SVD-a lako Äita najbolja aproksimacija dane matrice matricom fiksnog (niskog) ranga. Äini se da je lakÅ”e reÄi gdje se SVD ne koristi, nego gdje se koristi, stoga se SVD Äesto naziva i "Å”vicarskim nožiÄem matriÄnih dekompozicija". Prvi poÄeci razvoja SVD-a sežu u 19. stoljeÄe, kad su poznati matematiÄari Eugenio Beltrami, Camille Jordan, James Joseph Sylvester, Erhard Schmidt i Herman Weyl pokazali njezinu egzistenciju i osnovna svojstva (za detalje pogledati [74]). Pioniri u numeriÄkom raÄunanju SVD-a su Ervand George Kogbetliantz, te Gene Golub i William Kahan, koji su razvili algoritam za raÄunanje (bidijagonalni QR), koji je dvadeset i pet godina vladao scenom numeriÄkog raÄunanja SVD-a. U to vrijeme, sveuÄiliÅ”te Stanford (gdje je Gene Golub radio) bilo je 'glavno sjediÅ”te' za razvoj primjena SVD-a. PoÄetkom devedesetih godina, 'sjediÅ”te SVD-a' preseljeno je u Europu, nakon objave Älanka [21] o relativnoj toÄnosti raÄunanja svojstvenih vrijednosti simetriÄnih pozitivno definitnih matrica koriÅ”tenjem Jacobijeve metode. Naime, problem raÄunanja svojstvene dekompozicije pozitivno definitne matrice i problem raÄunanja SVD-a usko su vezani. Ako je poznata dekompozicija singularnih vrijednosti matrice punog stupÄanog ranga, , pri Äemu je faktor matrice , , onda je simetriÄna i pozitivno definitna i vrijedi Matrica je matrica svojstvenih vektora, a svojstvene vrijednosti su kvadrati singularnih vrijednosti. Stoga se algoritmi za raÄunanje svojstvenih vrijednosti, kod kojih se transformacija vrÅ”i dvostranim (i slijeva i zdesna) djelovanjem na matricu , mogu napisati implicitno, tako da se transformacija vrÅ”i ili zdesna na faktor ili slijeva na faktor . U svojoj doktorskoj disertaciji DrmaÄ [24] je napravio daljnju analizu, ne samo singularne dekompozicije raÄunate Jacobijevim algoritmom, nego i generalizirane singularne dekompozicije (GSVD). Temeljem tih istraživanja, SVD baziran na Jacobijevim rotacijama uÅ”ao je i u numeriÄku biblioteku LAPACK. U meÄuvremenu, gotovo sva raÄunala postala su viÅ”ejezgrena, a moderni klasteri raÄunala za znanstveno raÄunanje sastoje se od nekoliko tisuÄa do nekoliko stotina tisuÄa viÅ”ejezgrenih procesora, pa standardni sekvencijalni algoritmi nipoÅ”to viÅ”e nisu primjereni za numeriÄko raÄunanje. Stoga se ubrzano razvijaju paralelni algoritmi koji poÅ”tuju i hijerarhijsku memorijsku strukturu odgovarajuÄih raÄunala, težeÄi iskoristiti brzu cache memoriju za procesiranje potproblema u blokovima, na koje je moguÄe primijeniti BLAS-3 operacije. Ideja blokiranja je u primjeni Å”to viÅ”e (tipiÄno, kubiÄno u dimenziji matrice) numeriÄkih operacija nad podacima u brzoj memoriji. Nadalje, pojavom grafiÄkih procesnih jedinica namijenjenih znanstvenom raÄunanju, kao i drugih visokoparalelnih numeriÄkih akceleratora (npr. Intel Xeon Phi), otvorio se novi segment istraživanja, koji poÅ”tuje njihov masivni paralelizam, s pojedinaÄno slabaÅ”nom snagom svake dretve u odnosu na srediÅ”nji procesor. Generaliziranu singularnu dekompoziciju (GSVD) uveli su Van Loan [77], te Paige i Saunders [62]. Definicija GSVD-a neÅ”to je manje poznata. Ako su zadane matrice i , za koje vrijedi tad postoje unitarne matrice , i matrica , takve da je Elementi matrica i su nula, osim dijagonalnih elemenata, koji su realni i nenegativni. Nadalje, i zadovoljavaju Omjeri su generalizirane singularne vrijednosti para . Ako je punog stupÄanog ranga, tada je i generalizirane singularne vrijednosti su konaÄni brojevi. Ako je par realan, onda su realne sve matrice u dekompoziciji. Odavde nadalje, zbog jednostavnoti pretpostavlja se da je par realan. Može se pokazati da, ako je , tada se relacija izmeÄu GSVD-a i reducirane forme CS (kosinus-sinus) dekompozicije (vidjeti, na primjer, [26]) može iskoristiti za njezino raÄunanje (pogledati, na primjer Älanke Stewarta [72, 73] i Suttona [75]). SliÄno kao i SVD, generalizirana singularna dekompozicija ima primjene u mnogim podruÄjima, kao Å”to je usporedna analiza podataka vezanih uz genome [1], nepotpuna singularna metoda rubnih elemeneata [47], ionosferna tomografija [9], ali i mnogo drugih. GSVD para matrica blisko je vezana s hermitskim generaliziranim svojstvenim problemom za par , tako da se metode za istovremenu dijagonalizaciju para mogu modificirati za raÄunanje GSVD-a para . U ovoj radnji razvijen je brzi i efikasan algoritam za raÄunanje generalizirane singularne dekompozicije realnog para . Metoda razvijena u radnji bazirana je na algoritmu za raÄunanje generalizirane svojstvene dekompozicije, gdje su i simetriÄne matrice, a par je definitan, tj. postoji realna konstanta takva da je matrica pozitivno definitna. Älanke s metodom objavili su 1960. Falk i Langemeyer [31, 32] u slabo poznatom priruÄniku. Kad je paralelna verzija metode testirana, pokazalo se da pati zbog problema rastuÄe skale stupaca matrice tijekom procesa ortogonalizacije. Treba joÅ” primijetiti da pozitivna definitnost matrice odmah znaÄi da je definitan i par . Gotovo desetljeÄe nakon Falka i Langemeyera, Katharina Zimmermann je u svojoj doktorskoj disertaciji [81] grubo skicirala metodu za rjeÅ”avanje generaliziranog svojstvenog problema (1) ako je B pozitivno definitna. Gose [34] je predložio optimalnu ne-cikliÄku pivotnu strategiju i dokazao globalnu konvergenciju originalne metode. Hari je u svojoj disertaciji [37], potaknut Zimmermanninom skicom metode, izveo algoritam i pokazao njegovu globalnu i kvadratiÄnu konvergenciju uz cikliÄke pivotne strategije. KvadratiÄnu konvergenciju originalne FalkāLangemeyerove metode dokazao je 1988. SlapniÄar u svojem magisteriju, Äetiri godine nakon dokaza konvergencije HariāZimmermann metode. Hari je u [37] pokazao kljuÄnu vezu izmeÄu HariāZimmermannine i FalkāLangemeyerove varijante algoritma. Ako je matrica obostrano skalirana dijagonalnom matricom , tako da su joj dijagonalni elementi jednaki 1 prije svakog koraka poniÅ”tavanja u FalkāLangemeyerovoj metodi, dobiva se HariāZimmermannina metoda. Dakle, nova metoda imala je kljuÄno svojstvo normiranosti stupaca barem jedne matrice, Å”to se pokazalo iznimno bitnim za uspjeh algoritma (izbjegavanje skaliranja matrica tijekom procesa ortogonalizacije). Treba reÄi da se GSVD može raÄunati i na druge naÄine. DrmaÄ je u [26] izveo algoritam za raÄunanje GSVD-a para , kad je punog stupÄanog ranga. Algoritam transformira problem na samo jednu matricu, a nakon toga primjenjuje jednostrani Jacobijev SVD algoritam. Taj algoritam raÄuna generalizirane singularne vrijednosti s malom relativnom greÅ”kom. Algoritam svoÄenja na jednu matricu sastoji se od tri koraka: skaliranje stupaca matrica i , QR faktorizacije sa stupÄanim pivotiranjem veÄ skalirane matrice , i konaÄno, rjeÅ”avanjem trokutastog linearnog sustava s desnih strana. Posljednja dva koraka su sekvencijalna i vrlo ih je teÅ”ko paralelizirati. Sama ideja koriÅ”tenja implicitne (tj. jednostrane) FalkāLangemeyerove metode za GSVD para , s punog stupÄanog ranga, sreÄe se u disertaciji Annette Deichmƶller [17], meÄutim, tamo se ne spominju usporedbe te metode s drugim metodama. S druge strane, algoritam za raÄunanje GSVD-a u biblioteci LAPACK (potprogram xGGSVD), je modificirani Kogbetliantzov algoritam (vidjeti Paige [61]) s obveznim pretprocesiranjem (vidjeti Bai i Demmel [5]). Algoritam pretprocesiranja [6] transformira zadani matriÄni par u par , takav da su i gornjetrokutaste, a je i nesingularna. Ako se unaprijed zna da je punog stupÄanog ranga, i implicitna FalkāLangemeyerova i implicitna HariāZimmermannina metoda Äe raditi i bez pretprocesiranja. Ako su i vitke (engl. "tall and skinny"), QR factorizacija obje matrice Äe ubrzati ortogonalizaciju. Ako nije punog ranga, onda treba koristiti isto pretprocesiranje kao u LAPACK-u, buduÄi da puni stupÄani rang matrice garantira pozitivnu definitnost matrice . U ovoj radnji razvijen je i hijerarhijski, blokirani jednostrani algoritam za raÄunanje SVD-a. Opisani algoritam može raditi na viÅ”eprocesorskom raÄunalu, raÄunalnim klasterima, jednoj ili viÅ”e grafiÄkih procesnih jedinica. Princip rada algoritma na svim arhitekturama je sliÄan. Posebno je opisan algoritam koji radi na grafiÄkim procesnim jedinicama. Struktura blokiranja reflektira razine memorijske strukture grafiÄke procesne jedninice. Da bi se to postiglo, razvijene su familije paralelnih pivotnih strategija za dijeljenu (engl. shared) memoriju grafiÄkih procesnih jedinica. Uz dodatak rasporeda po procesima, strategije se mogu koristiti i kao strategije za komuniciranje meÄu raÄunalnim Ävorovima (bili oni grafiÄke procesne jedinice, jezgre procesora ili tzv. NUMA Ävorovi). Razvijeni algoritam nije hibridni, tj. centralnu procesnu jedinicu koristi samo za kontrolne svrhe, a cjelokupno raÄunanje odvija se na grafiÄkoj procesnoj jedinici. Kad je zbog veliÄine problema potrebno, algoritam se može rasprostrijeti (skalirati) na proizvoljan broj grafiÄkih procesnih jedinica. Na dovoljno velikim matricama, skalabilnost je pokazana ubrzanjem od preko dva puta na Äetiri grafiÄke procesne jedinice, obzirom na jednu. U drugom dijelu radnje opisuje se jedan naÄin modifikacije dvostranog HariāZimmermanninog algoritma za raÄunanje generalizirane svojstvene dekompozicije matriÄnog para , gdje su obje matrice simetriÄne, a je pozitivno definitna. Implicitni algoritam raÄuna GSVD para , pri Äemu je . Nadalje, pokazuje se kako treba blokirati algoritam, te kako ga paralelizirati, i u sluÄaju standardnih, i u sluÄaju grafiÄkih procesora. Za trokutaste matriÄne parove srednje velikih dimenzija (približno 5 000), pokazano je da je veÄ sekvencijalni, neblokirani algoritam u dvostrukoj toÄnosti, predložen u radnji, nekoliko desetaka puta brži no Å”to je to LAPACK potprogram DTGSJA i pritom ima neÅ”to bolju toÄnost, posebno za male generalizirane singularne vrijednosti. Blokiranje algoritma koje odgovara cacheima znatno ubrzava algoritam. Pokazuje se da je i ovaj algoritam, sliÄno kao jednostrani Jacobijev algoritam za SVD, gotovo idealno paralelizabilan i skalabilan na raÄunalima s dijeljenom memorijom, te da njegovo ubrzanje gotovo iskljuÄivo ovisi o broju koriÅ”tenih jezgara. U vrijeme testiranja, pokazalo se da je paralelizirani i blokirani HariāZimmermannin algoritam preko sto puta brži od LAPACK potprograma DTGESJA s viÅ”edretvenim BLAS potprogramima. Varijanta algoritma za razdijeljenu (engl. distributed) memoriju namijenjena je ogromnim matricama koje ne stanu u jedan NUMA Ävor. TakoÄer, skicirana je i GPU varijanta algoritma, koja je vrlo sliÄna jednostranom Jacobijevom algoritmu za SVD. Disertacija zavrÅ”ava zakljuÄkom da su ovi algoritmi Jacobijevog tipa efikasni i skalabilni i izvrstan su izbor za raÄunanje (G)SVD-a punih matrica na masivno paralelnim standardnim arhitekturama i na grafiÄkim procesnim jedinicama. Ova doktorska disertacija bazirana je na originalnim znanstvenim radovima [55, 58], te proÅ”irena nekim novim rezultatima. Autorov doprinos u ovoj disertaciji su novi paralelni algoritmi za (G)SVD za grafiÄke procesne jedinice, tehnike paralelizacije, te detalji implementacije jednostranog HariāZimmermannina algoritma. Ostatak je zajedniÄki rad sa Sanjom Singer i SaÅ”om Singerom. Diane OāLeary, 2006. https://www.top500.or
Paralelni algoritmi Jacobijeva tipa za singularnu i generaliziranu singularnu dekompoziciju
In this thesis, a hierarchically blocked one-sided Jacobi algorithm for the singular value decomposition (SVD) is presented. The algorithm targets both single and multiple graphics processing units (GPUs). The blocking structure reflects the levels of the GPUās memory hierarchy. To this end, a family of parallel pivot strategies on the GPUās shared address space has been developed, but the strategies are applicable to inter-node communication as well, with GPU nodes, CPU nodes, or, in general, any NUMA nodes. Unlike common hybrid approaches, the presented algorithm in a single-GPU setting needs a CPU for the controlling purposes only, while utilizing the GPUās resources to the fullest extent permitted by the hardware. When required by the problem size, the algorithm, in principle, scales to an arbitrary number of GPU nodes. The scalability is demonstrated by more than twofold speedup for sufficiently large matrices on a four-GPU system vs. a single GPU. The subsequent part of the thesis describes how to modify the two-sided HariāZimmermann algorithm for computation of the generalized eigendecomposition of a symmetric matrix pair (A; B), where B is positive definite, to an implicit algorithm that computes the generalized singular value decomposition (GSVD) of a pair (F; G). In addition, blocking and parallelization techniques for accelerating both the CPU and the GPU computation are presented, with the GPU approach following the Jacobi SVD algorithm from the first part of the thesis. For triangular matrix pairs of a moderate size, numerical tests show that the double precision sequential pointwise algorithm is several times faster than the established DTGSJA algorithm in LAPACK, while the accuracy is slightly better, especially for the small generalized singular values. Cache-aware blocking increases the performance even further. As with the one-sided Jacobi-type (G)SVD algorithms in general, the presented algorithm is almost perfectly parallelizable and scalable on the shared memory machines, where the speedup almost solely depends on the number of cores used. A distributed memory variant, intended for huge matrices that do not fit into a single NUMA node, as well as a GPU variant, are also sketched. The thesis concludes with the affirmative answer to a question whether the onesided Jacobi-type algorithms can be an efficient and scalable choice for computing the (G)SVD of dense matrices on the massively parallel CPU and GPU architectures. Unless otherwise noted by the inline citations or implied by the context, this thesis is an overview of the original research results, most of which has already been published in [55, 58]. The authorās contributions are the one-sided Jacobi-type GPU algorithms for the ordinary and the generalized SVD, of which the latter has not yet been published, as well as the parallelization technique and some implementation details of the one-sided HariāZimmermann CPU algorithm for the GSVD. The rest is joint work with Sanja and SaÅ”a Singer.Singularna dekompozicija, katkad zvana prema engleskom originalu i dekompozicija singularnih vrijednosti, ili kraÄe SVD, jedna je od najkorisnijih matriÄnih dekompozicija, kako za teorijske, tako i za praktiÄne svrhe. Svaka matrica (zbog jednostavnijeg zapisa, uobiÄajeno se smatra da je ; u protivnom, traži se SVD matrice ) može se rastaviti u produkt tri matrice gdje su i unitarne, a je 'dijagonalna' s nenegativnim dijagonalnim elementima. Osim ovog oblika dekompozicije, koristi se i skraÄeni oblik pri Äemu je matrica s ortonormiranim stupcima, a za , je sada stvarno dijagonalna. Izvan matematike, u 'stvarnom' životu, SVD se koristi u procesiranju slika (rekonstrukciji, sažimanju, izoÅ”travanju) i signala, s primjenama u medicini (CT, tj. kompjuterizirana tomografija; MR, tj. magnetna rezonancija), geoznanostima, znanosti o materijalima, kristalografiji, sigurnosti (prepoznavanje lica), izvlaÄenja informacija iz velike koliÄine podataka (na primjer, LSI, tj. latent semantic indexing), ali i drugdje. VeÄina primjena koristi svojstvo da se iz SVD-a lako Äita najbolja aproksimacija dane matrice matricom fiksnog (niskog) ranga. Äini se da je lakÅ”e reÄi gdje se SVD ne koristi, nego gdje se koristi, stoga se SVD Äesto naziva i "Å”vicarskim nožiÄem matriÄnih dekompozicija". Prvi poÄeci razvoja SVD-a sežu u 19. stoljeÄe, kad su poznati matematiÄari Eugenio Beltrami, Camille Jordan, James Joseph Sylvester, Erhard Schmidt i Herman Weyl pokazali njezinu egzistenciju i osnovna svojstva (za detalje pogledati [74]). Pioniri u numeriÄkom raÄunanju SVD-a su Ervand George Kogbetliantz, te Gene Golub i William Kahan, koji su razvili algoritam za raÄunanje (bidijagonalni QR), koji je dvadeset i pet godina vladao scenom numeriÄkog raÄunanja SVD-a. U to vrijeme, sveuÄiliÅ”te Stanford (gdje je Gene Golub radio) bilo je 'glavno sjediÅ”te' za razvoj primjena SVD-a. PoÄetkom devedesetih godina, 'sjediÅ”te SVD-a' preseljeno je u Europu, nakon objave Älanka [21] o relativnoj toÄnosti raÄunanja svojstvenih vrijednosti simetriÄnih pozitivno definitnih matrica koriÅ”tenjem Jacobijeve metode. Naime, problem raÄunanja svojstvene dekompozicije pozitivno definitne matrice i problem raÄunanja SVD-a usko su vezani. Ako je poznata dekompozicija singularnih vrijednosti matrice punog stupÄanog ranga, , pri Äemu je faktor matrice , , onda je simetriÄna i pozitivno definitna i vrijedi Matrica je matrica svojstvenih vektora, a svojstvene vrijednosti su kvadrati singularnih vrijednosti. Stoga se algoritmi za raÄunanje svojstvenih vrijednosti, kod kojih se transformacija vrÅ”i dvostranim (i slijeva i zdesna) djelovanjem na matricu , mogu napisati implicitno, tako da se transformacija vrÅ”i ili zdesna na faktor ili slijeva na faktor . U svojoj doktorskoj disertaciji DrmaÄ [24] je napravio daljnju analizu, ne samo singularne dekompozicije raÄunate Jacobijevim algoritmom, nego i generalizirane singularne dekompozicije (GSVD). Temeljem tih istraživanja, SVD baziran na Jacobijevim rotacijama uÅ”ao je i u numeriÄku biblioteku LAPACK. U meÄuvremenu, gotovo sva raÄunala postala su viÅ”ejezgrena, a moderni klasteri raÄunala za znanstveno raÄunanje sastoje se od nekoliko tisuÄa do nekoliko stotina tisuÄa viÅ”ejezgrenih procesora, pa standardni sekvencijalni algoritmi nipoÅ”to viÅ”e nisu primjereni za numeriÄko raÄunanje. Stoga se ubrzano razvijaju paralelni algoritmi koji poÅ”tuju i hijerarhijsku memorijsku strukturu odgovarajuÄih raÄunala, težeÄi iskoristiti brzu cache memoriju za procesiranje potproblema u blokovima, na koje je moguÄe primijeniti BLAS-3 operacije. Ideja blokiranja je u primjeni Å”to viÅ”e (tipiÄno, kubiÄno u dimenziji matrice) numeriÄkih operacija nad podacima u brzoj memoriji. Nadalje, pojavom grafiÄkih procesnih jedinica namijenjenih znanstvenom raÄunanju, kao i drugih visokoparalelnih numeriÄkih akceleratora (npr. Intel Xeon Phi), otvorio se novi segment istraživanja, koji poÅ”tuje njihov masivni paralelizam, s pojedinaÄno slabaÅ”nom snagom svake dretve u odnosu na srediÅ”nji procesor. Generaliziranu singularnu dekompoziciju (GSVD) uveli su Van Loan [77], te Paige i Saunders [62]. Definicija GSVD-a neÅ”to je manje poznata. Ako su zadane matrice i , za koje vrijedi tad postoje unitarne matrice , i matrica , takve da je Elementi matrica i su nula, osim dijagonalnih elemenata, koji su realni i nenegativni. Nadalje, i zadovoljavaju Omjeri su generalizirane singularne vrijednosti para . Ako je punog stupÄanog ranga, tada je i generalizirane singularne vrijednosti su konaÄni brojevi. Ako je par realan, onda su realne sve matrice u dekompoziciji. Odavde nadalje, zbog jednostavnoti pretpostavlja se da je par realan. Može se pokazati da, ako je , tada se relacija izmeÄu GSVD-a i reducirane forme CS (kosinus-sinus) dekompozicije (vidjeti, na primjer, [26]) može iskoristiti za njezino raÄunanje (pogledati, na primjer Älanke Stewarta [72, 73] i Suttona [75]). SliÄno kao i SVD, generalizirana singularna dekompozicija ima primjene u mnogim podruÄjima, kao Å”to je usporedna analiza podataka vezanih uz genome [1], nepotpuna singularna metoda rubnih elemeneata [47], ionosferna tomografija [9], ali i mnogo drugih. GSVD para matrica blisko je vezana s hermitskim generaliziranim svojstvenim problemom za par , tako da se metode za istovremenu dijagonalizaciju para mogu modificirati za raÄunanje GSVD-a para . U ovoj radnji razvijen je brzi i efikasan algoritam za raÄunanje generalizirane singularne dekompozicije realnog para . Metoda razvijena u radnji bazirana je na algoritmu za raÄunanje generalizirane svojstvene dekompozicije, gdje su i simetriÄne matrice, a par je definitan, tj. postoji realna konstanta takva da je matrica pozitivno definitna. Älanke s metodom objavili su 1960. Falk i Langemeyer [31, 32] u slabo poznatom priruÄniku. Kad je paralelna verzija metode testirana, pokazalo se da pati zbog problema rastuÄe skale stupaca matrice tijekom procesa ortogonalizacije. Treba joÅ” primijetiti da pozitivna definitnost matrice odmah znaÄi da je definitan i par . Gotovo desetljeÄe nakon Falka i Langemeyera, Katharina Zimmermann je u svojoj doktorskoj disertaciji [81] grubo skicirala metodu za rjeÅ”avanje generaliziranog svojstvenog problema (1) ako je B pozitivno definitna. Gose [34] je predložio optimalnu ne-cikliÄku pivotnu strategiju i dokazao globalnu konvergenciju originalne metode. Hari je u svojoj disertaciji [37], potaknut Zimmermanninom skicom metode, izveo algoritam i pokazao njegovu globalnu i kvadratiÄnu konvergenciju uz cikliÄke pivotne strategije. KvadratiÄnu konvergenciju originalne FalkāLangemeyerove metode dokazao je 1988. SlapniÄar u svojem magisteriju, Äetiri godine nakon dokaza konvergencije HariāZimmermann metode. Hari je u [37] pokazao kljuÄnu vezu izmeÄu HariāZimmermannine i FalkāLangemeyerove varijante algoritma. Ako je matrica obostrano skalirana dijagonalnom matricom , tako da su joj dijagonalni elementi jednaki 1 prije svakog koraka poniÅ”tavanja u FalkāLangemeyerovoj metodi, dobiva se HariāZimmermannina metoda. Dakle, nova metoda imala je kljuÄno svojstvo normiranosti stupaca barem jedne matrice, Å”to se pokazalo iznimno bitnim za uspjeh algoritma (izbjegavanje skaliranja matrica tijekom procesa ortogonalizacije). Treba reÄi da se GSVD može raÄunati i na druge naÄine. DrmaÄ je u [26] izveo algoritam za raÄunanje GSVD-a para , kad je punog stupÄanog ranga. Algoritam transformira problem na samo jednu matricu, a nakon toga primjenjuje jednostrani Jacobijev SVD algoritam. Taj algoritam raÄuna generalizirane singularne vrijednosti s malom relativnom greÅ”kom. Algoritam svoÄenja na jednu matricu sastoji se od tri koraka: skaliranje stupaca matrica i , QR faktorizacije sa stupÄanim pivotiranjem veÄ skalirane matrice , i konaÄno, rjeÅ”avanjem trokutastog linearnog sustava s desnih strana. Posljednja dva koraka su sekvencijalna i vrlo ih je teÅ”ko paralelizirati. Sama ideja koriÅ”tenja implicitne (tj. jednostrane) FalkāLangemeyerove metode za GSVD para , s punog stupÄanog ranga, sreÄe se u disertaciji Annette Deichmƶller [17], meÄutim, tamo se ne spominju usporedbe te metode s drugim metodama. S druge strane, algoritam za raÄunanje GSVD-a u biblioteci LAPACK (potprogram xGGSVD), je modificirani Kogbetliantzov algoritam (vidjeti Paige [61]) s obveznim pretprocesiranjem (vidjeti Bai i Demmel [5]). Algoritam pretprocesiranja [6] transformira zadani matriÄni par u par , takav da su i gornjetrokutaste, a je i nesingularna. Ako se unaprijed zna da je punog stupÄanog ranga, i implicitna FalkāLangemeyerova i implicitna HariāZimmermannina metoda Äe raditi i bez pretprocesiranja. Ako su i vitke (engl. "tall and skinny"), QR factorizacija obje matrice Äe ubrzati ortogonalizaciju. Ako nije punog ranga, onda treba koristiti isto pretprocesiranje kao u LAPACK-u, buduÄi da puni stupÄani rang matrice garantira pozitivnu definitnost matrice . U ovoj radnji razvijen je i hijerarhijski, blokirani jednostrani algoritam za raÄunanje SVD-a. Opisani algoritam može raditi na viÅ”eprocesorskom raÄunalu, raÄunalnim klasterima, jednoj ili viÅ”e grafiÄkih procesnih jedinica. Princip rada algoritma na svim arhitekturama je sliÄan. Posebno je opisan algoritam koji radi na grafiÄkim procesnim jedinicama. Struktura blokiranja reflektira razine memorijske strukture grafiÄke procesne jedninice. Da bi se to postiglo, razvijene su familije paralelnih pivotnih strategija za dijeljenu (engl. shared) memoriju grafiÄkih procesnih jedinica. Uz dodatak rasporeda po procesima, strategije se mogu koristiti i kao strategije za komuniciranje meÄu raÄunalnim Ävorovima (bili oni grafiÄke procesne jedinice, jezgre procesora ili tzv. NUMA Ävorovi). Razvijeni algoritam nije hibridni, tj. centralnu procesnu jedinicu koristi samo za kontrolne svrhe, a cjelokupno raÄunanje odvija se na grafiÄkoj procesnoj jedinici. Kad je zbog veliÄine problema potrebno, algoritam se može rasprostrijeti (skalirati) na proizvoljan broj grafiÄkih procesnih jedinica. Na dovoljno velikim matricama, skalabilnost je pokazana ubrzanjem od preko dva puta na Äetiri grafiÄke procesne jedinice, obzirom na jednu. U drugom dijelu radnje opisuje se jedan naÄin modifikacije dvostranog HariāZimmermanninog algoritma za raÄunanje generalizirane svojstvene dekompozicije matriÄnog para , gdje su obje matrice simetriÄne, a je pozitivno definitna. Implicitni algoritam raÄuna GSVD para , pri Äemu je . Nadalje, pokazuje se kako treba blokirati algoritam, te kako ga paralelizirati, i u sluÄaju standardnih, i u sluÄaju grafiÄkih procesora. Za trokutaste matriÄne parove srednje velikih dimenzija (približno 5 000), pokazano je da je veÄ sekvencijalni, neblokirani algoritam u dvostrukoj toÄnosti, predložen u radnji, nekoliko desetaka puta brži no Å”to je to LAPACK potprogram DTGSJA i pritom ima neÅ”to bolju toÄnost, posebno za male generalizirane singularne vrijednosti. Blokiranje algoritma koje odgovara cacheima znatno ubrzava algoritam. Pokazuje se da je i ovaj algoritam, sliÄno kao jednostrani Jacobijev algoritam za SVD, gotovo idealno paralelizabilan i skalabilan na raÄunalima s dijeljenom memorijom, te da njegovo ubrzanje gotovo iskljuÄivo ovisi o broju koriÅ”tenih jezgara. U vrijeme testiranja, pokazalo se da je paralelizirani i blokirani HariāZimmermannin algoritam preko sto puta brži od LAPACK potprograma DTGESJA s viÅ”edretvenim BLAS potprogramima. Varijanta algoritma za razdijeljenu (engl. distributed) memoriju namijenjena je ogromnim matricama koje ne stanu u jedan NUMA Ävor. TakoÄer, skicirana je i GPU varijanta algoritma, koja je vrlo sliÄna jednostranom Jacobijevom algoritmu za SVD. Disertacija zavrÅ”ava zakljuÄkom da su ovi algoritmi Jacobijevog tipa efikasni i skalabilni i izvrstan su izbor za raÄunanje (G)SVD-a punih matrica na masivno paralelnim standardnim arhitekturama i na grafiÄkim procesnim jedinicama. Ova doktorska disertacija bazirana je na originalnim znanstvenim radovima [55, 58], te proÅ”irena nekim novim rezultatima. Autorov doprinos u ovoj disertaciji su novi paralelni algoritmi za (G)SVD za grafiÄke procesne jedinice, tehnike paralelizacije, te detalji implementacije jednostranog HariāZimmermannina algoritma. Ostatak je zajedniÄki rad sa Sanjom Singer i SaÅ”om Singerom. Diane OāLeary, 2006. https://www.top500.or
Solution of the Schrodinger equation for quasi-one-dimensional materials using helical waves
We formulate and implement a spectral method for solving the Schrodinger
equation, as it applies to quasi-one-dimensional materials and structures. This
allows for computation of the electronic structure of important technological
materials such as nanotubes (of arbitrary chirality), nanowires, nanoribbons,
chiral nanoassemblies, nanosprings and nanocoils, in an accurate, efficient and
systematic manner. Our work is motivated by the observation that one of the
most successful methods for carrying out electronic structure calculations of
bulk/crystalline systems -- the plane-wave method -- is a spectral method based
on eigenfunction expansion. Our scheme avoids computationally onerous
approximations involving periodic supercells often employed in conventional
plane-wave calculations of quasi-one-dimensional materials, and also overcomes
several limitations of other discretization strategies, e.g., those based on
finite differences and atomic orbitals. We describe the setup of fast
transforms to carry out discretization of the governing equations using our
basis set, and the use of matrix-free iterative diagonalization to obtain the
electronic eigenstates. Miscellaneous computational details, including the
choice of eigensolvers, use of a preconditioning scheme, evaluation of
oscillatory radial integrals and the imposition of a kinetic energy cutoff are
discussed. We have implemented these strategies into a computational package
called HelicES (Helical Electronic Structure). We demonstrate the utility of
our method in carrying out systematic electronic structure calculations of
various quasi-one-dimensional materials through numerous examples involving
nanotubes, nanoribbons and nanowires. We also explore the convergence, accuracy
and efficiency of our method. We anticipate that our method will find numerous
applications in computational nanomechanics and materials science
The LAPW method with eigendecomposition based on the Hari--Zimmermann generalized hyperbolic SVD
In this paper we propose an accurate, highly parallel algorithm for the
generalized eigendecomposition of a matrix pair , given in a factored
form . Matrices and are generally complex
and Hermitian, and is positive definite. This type of matrices emerges from
the representation of the Hamiltonian of a quantum mechanical system in terms
of an overcomplete set of basis functions. This expansion is part of a class of
models within the broad field of Density Functional Theory, which is considered
the golden standard in condensed matter physics. The overall algorithm consists
of four phases, the second and the fourth being optional, where the two last
phases are computation of the generalized hyperbolic SVD of a complex matrix
pair , according to a given matrix defining the hyperbolic scalar
product. If , then these two phases compute the GSVD in parallel very
accurately and efficiently.Comment: The supplementary material is available at
https://web.math.pmf.unizg.hr/mfbda/papers/sm-SISC.pdf due to its size. This
revised manuscript is currently being considered for publicatio
- ā¦