Preconditioned Chebyshev BiCG for parameterized linear systems

We consider the problem of approximating the solution to $A(\mu) x(\mu) = b$ for many different values of the parameter $\mu$. Here we assume $A(\mu)$ is large, sparse, and nonsingular with a nonlinear dependence on $\mu$. Our method is based on a companion linearization derived from an accurate Chebyshev interpolation of $A(\mu)$ on the interval $[-a,a]$, $a \in \mathbb{R}$. The solution to the linearization is approximated in a preconditioned BiCG setting for shifted systems, where the Krylov basis matrix is formed once. This process leads to a short-term recurrence method, where one execution of the algorithm produces the approximation to $x(\mu)$ for many different values of the parameter $\mu \in [-a,a]$ simultaneously. In particular, this work proposes one algorithm which applies a shift-and-invert preconditioner exactly as well as an algorithm which applies the preconditioner inexactly. The competitiveness of the algorithms are illustrated with large-scale problems arising from a finite element discretization of a Helmholtz equation with parameterized material coefficient. The software used in the simulations is publicly available online, and thus all our experiments are reproducible

Sparse grid based Chebyshev HOPGD for parameterized linear systems

We consider approximating solutions to parameterized linear systems of the form $A(\mu_1,\mu_2) x(\mu_1,\mu_2) = b$, where $(\mu_1, \mu_2) \in \mathbb{R}^2$. Here the matrix $A(\mu_1,\mu_2) \in \mathbb{R}^{n \times n}$ is nonsingular, large, and sparse and depends nonlinearly on the parameters $\mu_1$ and $\mu_2$. Specifically, the system arises from a discretization of a partial differential equation and $x(\mu_1,\mu_2) \in \mathbb{R}^n$, $b \in \mathbb{R}^n$. This work combines companion linearization with the Krylov subspace method preconditioned bi-conjugate gradient (BiCG) and a decomposition of a tensor matrix of precomputed solutions, called snapshots. As a result, a reduced order model of $x(\mu_1,\mu_2)$ is constructed, and this model can be evaluated in a cheap way for many values of the parameters. The decomposition is performed efficiently using the sparse grid based higher-order proper generalized decomposition (HOPGD), and the snapshots are generated as one variable functions of $\mu_1$ or of $\mu_2$. Tensor decompositions performed on a set of snapshots can fail to reach a certain level of accuracy, and it is not possible to know a priori if the decomposition will be successful. This method offers a way to generate a new set of solutions on the same parameter space at little additional cost. An interpolation of the model is used to produce approximations on the entire parameter space, and this method can be used to solve a parameter estimation problem. Numerical examples of a parameterized Helmholtz equation show the competitiveness of our approach. The simulations are reproducible, and the software is available online

Numerical methods for parameterized linear systems

Solving linear systems of equations is a fundamental problem in engineering. Moreover, applications involving the solution to linear systems arise in the social sciences, business, and economics. Specifically, the research conducted in this dissertation explores solutions to linear systems where the system matrix depends nonlinearly on a parameter. The parameter can be a scalar or a vector, and a change in the parameter results in a change in the solution. Such a setting arises in the study of partial differential equations and time-delay systems, and we are interested in obtaining solutions corresponding to many values of the parameter simultaneously. The methods developed in this thesis can also be used to solve parameter estimation problems. Furthermore, software has been developed and is available online.  This thesis consists of four papers and presents both algorithms and theoretical analysis. In Paper A, a linearization based on an infinite Taylor series expansion is considered. Specifically, the linearized system is a shifted parameterized system, and the parameter is a scalar. The GMRES method is used to solve the systems corresponding to many values of the parameter, and only one Krylov subspace basis matrix is required. Convergence analysis is based on solutions to a nonlinear eigenvalue problem and the magnitude of the parameter. Notably, the algorithm is carried out in a finite number of computations.  The approach in Paper B is based on a preconditioned linearized system solved using the inexact GMRES method. In this setting, the linearization incorporates all terms in an infinite Taylor series expansion, and the preconditioner is applied approximately using iterative methods. Solutions corresponding to many values of the scalar parameter are generated from one subspace, and this is done in a finite number of linear algebra operations. Theoretical analysis, based on the error in the application of the preconditioner and the magnitude of the parameter, leads to a bound on the residual.  Paper C proposes a short recurrence Krylov subspace method for solving linear systems that depend on a scalar parameter. In particular, a Chebyshev approximation is used to construct a linearization, and the linearized system is solved in a Bi-CG setting. Additionally, shift-and-invert preconditioning leads to fast convergence of the Krylov method for many different values of the parameter. An inexact variant of the method is also derived and analyzed.  In Paper D, a reduced order model is constructed from snapshots to solve parameterized linear systems. Specifically, the parameter is a vector of dimension 2, and the sampling is performed on a sparse grid using the method proposed in Paper C. A tensor decomposition is utilized to build the model. Approaches of this kind are not always successful, and it is not known a priori if a decomposition will converge on a given set of snapshots. This work offers a novel way to generate a new set of snapshots in the same parameter space, to be used if the decomposition does not converge, with little extra computation. Att lösa linjära ekvationssystem är ett grundläggande tekniskt problem. Dessutom uppstår tillämpningar som involverar lösningen av linjära system inom samhällsvetenskap och ekonomi. Specifikt utforskar denna avhandling lösningar till linjära system där systemmatrisen beror olinjärt på en parameter. Parametern kan vara en skalär eller en vektor, och en förändring i parametern resulterar i en förändring i lösningen. En sådant scenario uppstår vid studiet av partiella differentialekvationer och tidsfördröjningssystem, och vi är intresserade av att erhålla lösningar som motsvarar många värden på parametern samtidigt. De metoder som utvecklats i denna avhandling kan också användas för att lösa problem med parameteruppskattning. Ytterligare har programvara utvecklats och är tillgänglig online. Denna avhandling består av fyra artiklar och presenterar både algoritmer och teoretisk analys. I artikel A behandlas en linjärisering baserad på en oändlig Taylor-serieexpansion. Specifikt är det linjäriserade systemet ett skiftat parametriserat system, och parametern är en skalär. Systemet löses med GMRES-metoden, och endast en Krylov-basmatris krävs. Konvergensanalys baseras på lösningar till ett olinjärt egenvärdesproblem och parameterns storlek. Noterbart är att algoritmen utförs i ett ändligt antal beräkningar. Tillvägagångssättet i artikel B är baserat på ett förkonditionerat linjäriserat system löst med den inexakta GMRES-metoden. I den här kontexten innehåller linjäriseringen alla termer i en oändlig Taylor-serieexpansion, och förkonditioneringen appliceras på ett approximativt sätt med iterativa metoder. Lösningar som motsvarar många värden på den skalära parametern genereras från ett delrum, och detta görs i ett ändligt antal linjära algebraoperationer. Teoretisk analys, baserad på felet i appliceringen av förkonditioneraren och storleken på parametern, leder till en övre begränsning på residualens storlek. Artikel C föreslår en Krylovbaserad rekursionsmetod med få termer för att lösa linjära system som är beroende av en skalär parameter. Specifikt används en Chebyshev-approximation för att konstruera en linjärisering, och det linjäriserade systemet löses med den bikonjugerade gradient-metoden. Dessutom leder förkonditionering med skifte och invertering till snabb konvergens av Krylov-metoden för många olika värden på parametern. En inexakt variant av metoden härleds och analyseras också. I artikel D konstrueras en reducerad ordningsmodell från sampel av modellen för att lösa parametriserade linjära system. Specifikt är parametern en vektor med dimensionen 2, och samplingen utförs på ett glest rutnät med den metod som föreslås i artikel C. En tensorfaktorisering används för att bygga modellen. Tillvägagångssätt av denna typ är inte alltid framgångsrika, och det är inte känt på förhand om en tensorfaktorisering kommer att konvergera för en given uppsättning av sampel. Detta arbete presenterar ett nytt sätt att generera en ny uppsättning sampel i samma parameterrum till en låg extra kostnad. De nya lösningar kan användas om tensorfaktoriseringen misslyckas. QC 2024-04-08</p

Numerical methods for parameterized linear systems

Solving linear systems of equations is a fundamental problem in engineering. Moreover, applications involving the solution to linear systems arise in the social sciences, business, and economics. Specifically, the research conducted in this dissertation explores solutions to linear systems where the system matrix depends nonlinearly on a parameter. The parameter can be a scalar or a vector, and a change in the parameter results in a change in the solution. Such a setting arises in the study of partial differential equations and time-delay systems, and we are interested in obtaining solutions corresponding to many values of the parameter simultaneously. The methods developed in this thesis can also be used to solve parameter estimation problems. Furthermore, software has been developed and is available online.  This thesis consists of four papers and presents both algorithms and theoretical analysis. In Paper A, a linearization based on an infinite Taylor series expansion is considered. Specifically, the linearized system is a shifted parameterized system, and the parameter is a scalar. The GMRES method is used to solve the systems corresponding to many values of the parameter, and only one Krylov subspace basis matrix is required. Convergence analysis is based on solutions to a nonlinear eigenvalue problem and the magnitude of the parameter. Notably, the algorithm is carried out in a finite number of computations.  The approach in Paper B is based on a preconditioned linearized system solved using the inexact GMRES method. In this setting, the linearization incorporates all terms in an infinite Taylor series expansion, and the preconditioner is applied approximately using iterative methods. Solutions corresponding to many values of the scalar parameter are generated from one subspace, and this is done in a finite number of linear algebra operations. Theoretical analysis, based on the error in the application of the preconditioner and the magnitude of the parameter, leads to a bound on the residual.  Paper C proposes a short recurrence Krylov subspace method for solving linear systems that depend on a scalar parameter. In particular, a Chebyshev approximation is used to construct a linearization, and the linearized system is solved in a Bi-CG setting. Additionally, shift-and-invert preconditioning leads to fast convergence of the Krylov method for many different values of the parameter. An inexact variant of the method is also derived and analyzed.  In Paper D, a reduced order model is constructed from snapshots to solve parameterized linear systems. Specifically, the parameter is a vector of dimension 2, and the sampling is performed on a sparse grid using the method proposed in Paper C. A tensor decomposition is utilized to build the model. Approaches of this kind are not always successful, and it is not known a priori if a decomposition will converge on a given set of snapshots. This work offers a novel way to generate a new set of snapshots in the same parameter space, to be used if the decomposition does not converge, with little extra computation. Att lösa linjära ekvationssystem är ett grundläggande tekniskt problem. Dessutom uppstår tillämpningar som involverar lösningen av linjära system inom samhällsvetenskap och ekonomi. Specifikt utforskar denna avhandling lösningar till linjära system där systemmatrisen beror olinjärt på en parameter. Parametern kan vara en skalär eller en vektor, och en förändring i parametern resulterar i en förändring i lösningen. En sådant scenario uppstår vid studiet av partiella differentialekvationer och tidsfördröjningssystem, och vi är intresserade av att erhålla lösningar som motsvarar många värden på parametern samtidigt. De metoder som utvecklats i denna avhandling kan också användas för att lösa problem med parameteruppskattning. Ytterligare har programvara utvecklats och är tillgänglig online. Denna avhandling består av fyra artiklar och presenterar både algoritmer och teoretisk analys. I artikel A behandlas en linjärisering baserad på en oändlig Taylor-serieexpansion. Specifikt är det linjäriserade systemet ett skiftat parametriserat system, och parametern är en skalär. Systemet löses med GMRES-metoden, och endast en Krylov-basmatris krävs. Konvergensanalys baseras på lösningar till ett olinjärt egenvärdesproblem och parameterns storlek. Noterbart är att algoritmen utförs i ett ändligt antal beräkningar. Tillvägagångssättet i artikel B är baserat på ett förkonditionerat linjäriserat system löst med den inexakta GMRES-metoden. I den här kontexten innehåller linjäriseringen alla termer i en oändlig Taylor-serieexpansion, och förkonditioneringen appliceras på ett approximativt sätt med iterativa metoder. Lösningar som motsvarar många värden på den skalära parametern genereras från ett delrum, och detta görs i ett ändligt antal linjära algebraoperationer. Teoretisk analys, baserad på felet i appliceringen av förkonditioneraren och storleken på parametern, leder till en övre begränsning på residualens storlek. Artikel C föreslår en Krylovbaserad rekursionsmetod med få termer för att lösa linjära system som är beroende av en skalär parameter. Specifikt används en Chebyshev-approximation för att konstruera en linjärisering, och det linjäriserade systemet löses med den bikonjugerade gradient-metoden. Dessutom leder förkonditionering med skifte och invertering till snabb konvergens av Krylov-metoden för många olika värden på parametern. En inexakt variant av metoden härleds och analyseras också. I artikel D konstrueras en reducerad ordningsmodell från sampel av modellen för att lösa parametriserade linjära system. Specifikt är parametern en vektor med dimensionen 2, och samplingen utförs på ett glest rutnät med den metod som föreslås i artikel C. En tensorfaktorisering används för att bygga modellen. Tillvägagångssätt av denna typ är inte alltid framgångsrika, och det är inte känt på förhand om en tensorfaktorisering kommer att konvergera för en given uppsättning av sampel. Detta arbete presenterar ett nytt sätt att generera en ny uppsättning sampel i samma parameterrum till en låg extra kostnad. De nya lösningar kan användas om tensorfaktoriseringen misslyckas. QC 2024-04-08</p

Preconditioned infinite GMRES for parameterized linear systems

We are interested in obtaining approximate solutions to parameterized linear systems of the form $A(\mu) x(\mu) = b$ for many values of the parameter $\mu$. Here $A(\mu)$ is large, sparse, and nonsingular, with a nonlinear analytic dependence on $\mu$. Our approach is based on a companion linearization for parameterized linear systems. The companion matrix is similar to the operator in the infinite Arnoldi method, and we use this to adapt the flexible GMRES setting. In this way, our method returns a function $\tilde{x}(\mu)$ which is cheap to evaluate for different $\mu$, and the preconditioner is applied only approximately. This novel approach leads to increased freedom to carry out the action of the operation inexactly, which provides performance improvement over the method infinite GMRES, without a loss of accuracy in general. We show that the error of our method is estimated based on the magnitude of the parameter $\mu$, the inexactness of the preconditioning, and the spectrum of the linear companion matrix. Numerical examples from a finite element discretization of a Helmholtz equation with a parameterized material coefficient illustrate the competitiveness of our approach. The simulations are reproducible and publicly available online

Preconditioned Infinite GMRES for Parameterized Linear Systems

We are interested in obtaining solutions to parameterized linear systems of the form A(mu)x(mu) = b for many values of the parameter mu. Here A(mu) is large, sparse, and nonsingular with a nonlinear, analytic dependence on mu. Our approach approximates the solution to a linearized system in a flexible GMRES setting [Y. Saad, SIAM J. Sci. Comput., 14 (1993), pp. 461-469], where the linearization is based on a companion matrix similar to the operator in the infinite Arnoldi method [E. Jarlebring, W. Michiels, and K. Meerbergen, Numer. Math., 122 (2012), pp. 169-195]. This novel approach applies the action of a preconditioner inexactly, providing performance improvement over the method infinite GMRES [Jarlebring and Correnty, SIAM J. Matrix Anal. Appl., 43 (2022), pp. 1382-1405] without a loss of accuracy in general. The method returns a function (x) over tilde(mu) which is cheap to evaluate for different mu. We show that the error of our method is estimated based on the magnitude of the parameter mu, the inexactness of the preconditioning, and the spectrum of the companion matrix. Numerical examples from a finite element discretization of a Helmholtz equation with a parameterized material coefficient illustrate the competitiveness of our approach. The software used in the simulations is publicly available online, and all the experiments are reproducible. QC 20240409</p

Chebyshev HOPGD with sparse grid sampling for parameterized linear systems

We consider approximating solutions to parameterized linear systems of the form A(μ1, μ2)x(μ1, μ2) = b, where (μ1, μ2) ∈ R2. Here the matrix A(μ1, μ2) ∈ Rnxn is nonsingular, large, and sparse and depends nonlinearly on the parameters μ1 and μ2. Specifically, the system arises from a discretization of a partial differential equation and x(μ1,μ2) ∈ Rn, b ∈ Rn. This work combines companion linearization with the Krylov subspace method preconditioned bi-conjugate gradient (BiCG) and a decomposition of a tensor matrix of precomputed solutions, called snapshots. As a result, a reduced order model of x(μ1,μ2) is constructed, and this model can be evaluated in a cheap way for many values of the parameters. Tensor decompositions performed on a set of snapshots can fail to reach a certain level of accuracy, and it is not known a priori if a decomposition will be successful. Moreover, the selection of snapshots can affect both the quality of the produced model and the computation time required for its construction. This new method offers a way to generate a new set of solutions on the same parameter space at little additional cost. An interpolation of the model is used to produce approximations on the entire parameter space, and this method can be used to solve a parameter estimation problem. Numerical examples of a parameterized Helmholtz equation show the competitiveness of our approach. The simulations are reproducible, and the software is available online. QC 20240409</p

Chebyshev HOPGD with sparse grid sampling for parameterized linear systems

We consider approximating solutions to parameterized linear systems of the form A(μ1, μ2)x(μ1, μ2) = b, where (μ1, μ2) ∈ R2. Here the matrix A(μ1, μ2) ∈ Rnxn is nonsingular, large, and sparse and depends nonlinearly on the parameters μ1 and μ2. Specifically, the system arises from a discretization of a partial differential equation and x(μ1,μ2) ∈ Rn, b ∈ Rn. This work combines companion linearization with the Krylov subspace method preconditioned bi-conjugate gradient (BiCG) and a decomposition of a tensor matrix of precomputed solutions, called snapshots. As a result, a reduced order model of x(μ1,μ2) is constructed, and this model can be evaluated in a cheap way for many values of the parameters. Tensor decompositions performed on a set of snapshots can fail to reach a certain level of accuracy, and it is not known a priori if a decomposition will be successful. Moreover, the selection of snapshots can affect both the quality of the produced model and the computation time required for its construction. This new method offers a way to generate a new set of solutions on the same parameter space at little additional cost. An interpolation of the model is used to produce approximations on the entire parameter space, and this method can be used to solve a parameter estimation problem. Numerical examples of a parameterized Helmholtz equation show the competitiveness of our approach. The simulations are reproducible, and the software is available online. QC 20240409</p