Formulas for Data-driven Control: Stabilization, Optimality and Robustness

In a paper by Willems and coauthors it was shown that persistently exciting data can be used to represent the input-output behavior of a linear system. Based on this fundamental result, we derive a parametrization of linear feedback systems that paves the way to solve important control problems using data-dependent Linear Matrix Inequalities only. The result is remarkable in that no explicit system's matrices identification is required. The examples of control problems we solve include the state and output feedback stabilization, and the linear quadratic regulation problem. We also discuss robustness to noise-corrupted measurements and show how the approach can be used to stabilize unstable equilibria of nonlinear systems.Comment: Revised version of the paper "On Persistency of Excitation and Formulas for Data-driven Control". Abridged version to appear in the 58th IEEE Conference on Decision and Control, Nice, France, 2019. First submitted on 15 March 201

Projeto de controladores LPV pelo método VRFT

Gain scheduling é uma técnica muito popular para o controle de sistemas não lineares em situações nas quais a aproximação por um modelo linear não é válida. Ela consiste em projetar controladores lineares para diferentes pontos de operação do sistema e em interpolar os seus parâmetros, de maneira a gerar uma lei de controle capaz de fornecer um desempenho satisfatório para toda a faixa de operação de interesse. O modelo matemático de um controlador desse tipo é conhecido como linear a parâmetros variantes (LPV). Devido à dificuldade de se obter modelos suficientemente precisos para muitos processos não lineares, esse problema é particularmente interessante de ser tratado pelo paradigma de controle baseado em dados. Métodos dessa categoria buscam projetar um controlador unicamente a partir de dados experimentais, sem se basear em um modelo matemático do sistema que se deseja controlar. O objetivo deste trabalho é estudar a aplicação do método de controle baseado em dados Virtual Reference Feedback Tuning (VRFT) – originalmente proposto para o projeto de controladores lineares – para projetar controladores LPV para processos não lineares. São desenvolvidos dois estudos de caso para ilustrar a sua aplicação, nos quais os controladores LPV projetados pelo método VRFT são comparados aos controladores gain scheduling projetados a partir da metodologia mais tradicional de interpolação dos parâmetros de diversos controladores lineares. Os resultados mostram que o método proposto funciona, além de ser mais simples de ser aplicado. Os controladores desenvolvidos apresentaram um desempenho similar ao dos controladores projetados pelo procedimento de interpolação.Gain scheduling is a very popular technique for the control of nonlinear systems in situations in which a linear model approximation is not valid. It consists of designing linear controllers for different operating points of the system and interpolating its parameters to generate a control law capable of providing satisfactory performance for the entire operating range of interest. The mathematical model of such a controller is known as linear parameter-varying (LPV). Due to the difficulty of obtaining sufficiently accurate models for many nonlinear processes, this problem is particularly compelling to be addressed by the data-driven control paradigm. Methods in this category seek to design a controller based solely on experimental data, without relying on a mathematical model of the system to be controlled. The aim of this work is to study the application of the Virtual Reference Feedback Tuning (VRFT) data-driven control method - originally proposed for the design of linear controllers - to design LPV controllers for nonlinear processes. Two case studies are developed to illustrate its application, in which the LPV controllers designed by the VRFT method are compared with gain scheduling controllers designed following the more traditional methodology of interpolating the parameters of several linear controllers. The results show that the proposed method works, appart from being of simpler application. The developed controllers presented a performance similar to the controllers designed by the interpolation procedure

Design of nonlinear controllers through the virtual reference method and regularization

This work proposes a new extension for the nonlinear formulation of the data-driven control method known as the Nonlinear Virtual Reference Feedback Tuning. When the process to be controlled contains a significant quantity of noise, the standard Nonlinear VRFT approach – that uses the Least Squares method – yield estimates with poor statistical properties. These properties may lead the control system to undesirable closed loop performances and even instability. With the intention to improve these statistical properties and controller sparsity and hence, the system’s closed loop performance, this work proposes the use of ℓ1 regularization on the nonlinear formulation of the VRFT method. Regularization is a component that has been extensively employed and researched in the Machine Learning and System Identification communities lately. Furthermore, this technique is appropriate to reduce the variance in the estimates. A detailed analysis of the noise effect on the estimate is made for the Nonlinear VRFT method. Finally, three different regularization methods, the third one proposed in this work, are compared to the standard Nonlinear VRFT.Este trabalho propõe uma nova extensão para a formulação não linear do método de controle orientado por dados conhecido como Método da Referência Virtual Não Linear, ou Nonlinear Virtual Reference Feedback Tuning – denominado aqui somente como VRFT. Quando o processo a ser controlado contém uma quantidade significativa de ruído, a abordagem padrão do VRFT – que usa o método dos Mínimos Quadrados – fornece estimativas com propriedades estatísticas pobres. Essas propriedades podem levar o sistema de controle a desempenhos indesejáveis em malha fechada. Com a intenção de melhorar essas propriedades estatística, identificar um controlador simples em quantidade de parâmetros e melhorar o desempenho em malha fechada do sistema, este trabalho propõe o uso da regularização ℓ1 na formulação não linear do método VRFT. A regularização é uma técnica que tem sido amplamente empregada e pesquisada nas comunidades de Aprendizagem de Máquina e Identificação de Sistemas ultimamente. Além disso, esta técnica é apropriada para reduzir a variância das estimativas. Uma análise detalhada do efeito do ruído na estimativa é feita para o método VRFT não linear. Finalmente, três diferentes métodos de regularização, o terceiro proposto neste trabalho, são comparados com o VRFT

Aplicação do método VRFT em sistemas com atraso dominante

Métodos de projeto de controladores baseado em dados são muito interessantes para controle de processos pois permitem a sintonia de controladores sem a obtenção de um modelo, a partir de dados coletados do sistema. Dentre estes métodos, os chamados não iterativos permitem que se utilize apenas um conjunto de dados que pode, inclusive, ser obtido da operação em malha fechada do processo. Entretanto, pouco se fala da aplicação desses métodos em sistemas com atraso. Nesse trabalho, estuda-se como minimizar a influência destas perturbações com atraso e se propõe um algoritmo para a sintonia dos controladores destes sistemas multivariáveis que reduza as alterações necessárias às configurações do sistemas de controle presentes na indústria. São propostos ainda parâmetros indicadores que auxiliem na avaliação correta do método. Por fim, estudos de caso onde o algoritmo proposto é aplicado são mostrados e comparados com outras técnicas de controle.Data-based control design methods are appealing to process control as they allow controller tuning without obtaining a model, from data collected from the system. Among these methods, the so called non-iterative allow for the use of a single data set that may even be collected from the processes closed-loop operation.However, little is said about the application of these methods in delayed systems. In this work, it is studied how to minimize the influence of these delayed disturbances and an algorithm is proposed for the tuning of the controllers of these multivariable systems that reduces the necessary changes to the control system configurations present in the industry. Indicator parameters are also proposed to assist in the correct evaluation of the method. Finally, case studies where the proposed algorithm is applied are shown and compared with other control techniques

Contribuições para o método Virtual Reference Feedback Tuning

Em métodos de controle baseados em dados o ajuste dos parâmetros do controlador é realizado diretamente a partir dos dados coletados, sem a necessidade de estimar um modelo para o processo. Dentre os métodos propostos na literatura, o Virtual Reference Feedback Tuning (VRFT) talvez seja o método não iterativo mais empregado para realizar o ajuste dos parâmetros de um controlador de modo a atingir um desempenho em malha fechada predeterminado. Contudo, a qualidade da estimativa dos parâmetros com este método é afetada quando: há presença de ruído nos sinais coletados, empregam-se controladores de ordem reduzida, ou os dados são coletados de um experimento pouco informativo. Assim, o presente trabalho propõe soluções para esses três problemas. Para o caso ruidoso, o problema do VRFT é formulado com as soluções de mínimos quadrados Data Least Squares (DLS) e Constrained Total Least Squares (CTLS). Na solução CTLS considerouse não apenas controladores com parametrização linear, mas também controladores com polos e zeros livres, permitindo mais flexibilidade na escolha da estrutura do controlador. Para o caso de controladores de ordem reduzida, são propostos filtros para a solução CTLS, permitindo sua aplicação nesse caso. No caso em que os dados são coletados de um experimento pouco informativo, como dados de operação, por exemplo, a utilização de todo o conjunto de dados não necessariamente melhora a estimativa dos parâmetros, nem o desempenho em malha fechada. Portanto, no presente trabalho foram adaptados para o método VRFT dois critérios de seleção de subconjuntos muito informativos de dados, presentes na literatura de identificação de sistemas. No contexto do presente trabalho, subconjuntos muito informativos de dados são segmentos do conjunto de dados original que contêm informação relevante para identificação dos parâmetros do controlador. Todas as contribuições propostas são ilustradas através de simulações.In the data-driven (DD) control framework, the task of tuning the controller’s parameters is carried out directly from the collected data, without the knowledge of the process model. Among the DD methods proposed in the literature, the Virtual Reference Feedback Tuning (VRFT) is perhaps the non-iterative method most commonly employed to tune a controller’s parameters aiming to achieve a prescribed closed-loop performance. However, the parameters estimate’s quality with this method is compromised: when the collected data is affected by noise, in the reduced-order controllers case, and when the data is little informative. Therefore, the present work proposes solutions to these three problems. For the noisy case, the VRFT problem is formulated using the least squares solutions known as Data Least Squares (DLS) and Constrained Total Least Squares (CTLS). The CTLS solution is formulated not only using linearly parametrized controllers but also controllers with free poles and zeros, allowing more flexibility to the choice of the controller’s structure. For the reduced-order controllers case, filters are proposed for the CTLS solution, allowing its application in this case. For the case of little informative data, such as routine operating data, for example, more data does not necessarily mean a better estimate or a better closed-loop performance. Therefore, in the present work, two data selection criteria to select strongly informative subsets, applied in the system identification framework, were adapted to the VRFT problem. In the present work, strongly informative subsets are defined as sections of the original dataset containing the information relevant to identify the controller’s parameters. All the proposed contributions are illustrated through simulations

Identificação do controlador ótimo para rejeição a perturbação

No projeto de sistemas de controle, uma característica usualmente buscada no sistema em malha fechada diz respeito à capacidade de seguimento de referência com erro nulo em regime permanente. No contexto de controle baseado em dados, por sua vez, não é diferente, sendo a literatura voltada ao problema do seguimento de referência muito mais explorada do que o problema da rejeição a distúrbios na entrada do sistema. Levando em consideração que em inúmeras aplicações industriais o problema da rejeição a perturba- ção é tão ou mais relevante que o problema de seguimento de referência, este trabalho apresenta um novo método direto de controle baseado em dados dedicado ao problema da rejeição a perturbação. Inspirado pela solução trazida pelo método Optimal Controller Identification (OCI), que permite a identificação dos parâmetros do controlador para o caso do seguimento de referência, o método aqui estruturado também utiliza uma abordagem por erro de predição, que visa proporcionar propriedades estatísticas mais vantajosas se comparadas a outros métodos encontrados na literatura quando os dados utilizados são afetados por ruído. Devido à complexidade da função objetivo estruturada pelo problema, um algoritmo de otimização dedicado também é desenvolvido permitindo a identificação do modelo de referência simultaneamente à identificação dos parâmetros do controlador. Através de exemplos de aplicação, os resultados do método aqui denominado Optimal Controller Identification for Disturbance rejection (OCI-D) mostram que as propriedades estatísticas obtidas de fato são melhores que as presentes em métodos que utilizam mínimos quadrados e variável instrumental para a solução do problema de otimização.Regarding control systems design, a behavior usually desired in the closed-loop system is related to reference tracking without steady-state error. This also stands in the subject of data-driven control, being the literature on the field of reference tracking way richer than the load disturbance rejection problem, for instance. Considering that in several industrial applications the disturbance rejection is even more relevant than reference tracking, this work presents a new direct data-driven control method for the load disturbance problem. Inspired on the solution given by the method Optimal Controller Identification (OCI), which allows the identification of the controller parameters for the reference tracking problem, the method developed in this work consists of embedding the controller’s design under a prediction error approach, aiming to enhance the statistical properties of the obtained estimates if compared to other methods available in the literature when the system is affected by noise. Due to the complexity of the proposed approach, a dedicated iterative optimization algorithm is developed to properly solve the problem, allowing the identification of the reference model along with the controller parameters. The results of the method named Optimal Controller Identification for Disturbance rejection (OCI-D) are then explored through simulation examples, where the enhancement obtained in the statistical properties through the proposed methodology is compared to least-squares and instrumental variables solutions