Gade-Nielsen, Nicolai Fog

Målet for denne afhandling er at undersøge anvendelsen af indrepunktsmetoder til at løse dynamiske optimeringsproblemer ved brug af graphical processing unit (GPU), med fokus på problemer som opstår i model prædiktiv kontrol (MPC). Multi-core processorer har været til rådighed i over ti år nu, og many-core processorer, såsom GPU’er, er også blevet et standard komponent i computere. GPU’en byder på hurtigere beregninger og båndbredde end CPU’en, men kræver at algoritmer bliver omformuleret og implementeret, så de udnytter den underliggende arkitektur.Mange forskellige optimeringsalgoritmer kan benyttes til at løse optimeringsproblemer. De mest gængse metoder er simpleks- og indrepunktsmetoderne. I denne afhandling fokuserer vi på indrepunktsmetoder, da den har polynomisk kompleksitet, mens simpleksmetoder har exponentiel kompleksitet. Desuden er brugen af en GPU til simpleksmetoder allerede blevet undersøgt af flere forfattere. Den tungeste beregningsmæssige opgave i indrepunktsmetoder er løsningen af et lineært ligningssystem for at beregne Newton retningen i hver indrepunktsiteration.Direkte indrepunktsmetoder benytter sig af en direkte metode, såsom Cholesky faktorisering, til at løse ligningssystemet. Brugen af en GPU til Cholesky faktorisering af dense matricer er meget effektivt, og numeriske bibliotekter,som benytter sig af en GPU til Cholesky faktorisering, er blevet udgivet i løbet af de sidste tre år. Vi har udviklet en direkte indrepunktsmetode, som benytter sig af GPU’en, og vist at vores implementering kan reducere beregningstiden væsenligt for dense systemer. Der er mange forskellige software pakker til rådighed for at løse optimeringsproblemer med indrepunktsmetoder, såsom GLPK, IPOPT, MOSEK, og mange flere. Ingen af disse pakker benytter sig på nuværende tidpunkt af GPU’en. Med denne afhandling udgiver vi en software pakke kaldet GPUOPT under en open-source licens. GPUOPT indeholder en implementering af en primal-dual indrepunktsmetode, som kan udnytte både en CPU og en GPU. Den er implementeret som komponenter, hvor matrixberegningerne og den linære løser er adskilt fra selve indrepunktsmetoden. Dette gør det muligt at erstatte implementeringen af matrixberegningerne og den linære løser med alternative, og eventuelt problem-specifikke, implementeringer.I denne afhandling inkluderer vi forskellige implementeringer af matrixberegningerne for generelle dense og generelle sparse formatter, samt en problemspecifikke implementering for et test problem fra model prædiktiv kontrol. Flere forskellige lineære løsere er også implementeret, inklusiv en direkte løser baseret på CHOLMOD, og en iterativ løser som benytter sig af preconditioned conjugate gradient. Den iterative løser er baseret på en matrix-fri iterativ indrepunktsmetode.The goal of this thesis is to investigate the application of interior point methods to solve dynamical optimization problems, using a graphical processing unit (GPU) with a focus on problems arising in Model Predictice Control (MPC). Multi-core processors have been available for over ten years now, and manycore processors, such as GPUs, have also become a standard component in any consumer computer. The GPU offers faster floating point operations and higher memory bandwidth than the CPU, but requires algorithms to be redesigned and implemented, to match the underlying architecture. A large number of different optimization algorithms are available for solving optimization problems. Some of the most common method are the simplex method and interior point methods. We focus on interior point methods in this thesis, due to its polynomial complexity, and since the use of the simplex method with GPUs have been investigated by several other authors already. The main computational task in interior point methods is the solution of a linear system to compute the Newton direction in each iteration. Direct interior point methods use a direct method such as Cholesky factorization to factorize the normal equations of the Hessian matrix. The use of a GPU has been shown to be very efficient in the factorization of dense matrices, and several numeric libraries, which utilize the GPU, have become available during the course of this thesis. We have developed a direct interior point method, which utilizes the GPU, and demonstrate that our implementation can reduce the solution time substantially.There are multiple software packages available for solving optimization problems with interior point methods, such as GLPK, IPOPT, MOSEK and many more. However, none of these support the GPU yet. With this thesis, we include a new software package called GPUOPT, available under the non-restrictive MIT license. GPUOPT includes includes a primal-dual interior-point method, which supports both the CPU and the GPU. It is implemented as multiple components, where the matrix operations and solver for the Newton directions is separated from the core interior point method. This makes it possible to replace the matrix operations and solver with alternative, and potentially problem-specific, implementations.In this thesis, we include different implementations of the matrix operations, including general dense, general sparse and problem-specific implementation of a test problem from model predictive control. Multiple solvers are implemented as well, including a direct solver based on CHOLMOD, and an iterative solver which uses preconditioned conjugate gradient. The iterative solver is based on the matrix-free iterative interior point method<br/

Online Research Database In Technology

Interior Point Methods on GPU with application to Model Predictive Control

http://orbit.dtu.dk/ws/files/103047513/phd338_Gade_Nielsen_NF.pdf

Interior Point Methods on GPU with application to Model Predictive Control

Abstract

Similar works

Full text

Available Versions

Online Research Database In Technology