Uma abordagem evolutiva para o problema de custo médio a longo prazo com saltos não-observados

Neste artigo propomos uma adaptação de um algoritmo baseado na evolução biológica para a obtenção do controle ótimo do problema do custo médio a longo prazo para sistemas lineares com saltos markovianos. Não há na literatura um método que forneça, comprovadamente, o controle ótimo do problema, nem estudos comparativos de diferentes métodos. O algoritmo empregado diferencia-se dos algoritmos genéticos básicos por substituir os operadores evolutivos por um sorteio de acordo com uma distribuição probabilística. Comparamos o algoritmo proposto com um método bastante utilizado para esta classe de problema, levando em consideração a relação entre os custos obtidos, o tempo de CPU e a quantidade de problemas em que o critério de parada estabelecido foi atingido

Gradient-based optimization techniques for the design of static controllers for Markov jump linear systems with unobservable modes

The paper formulates the static control problem of Markov jump linear systems, assuming that the controller does not have access to the jump variable. We derive the expression of the gradient for the cost motivated by the evaluation of 10 gradient-based optimization techniques. The numerical efficiency of these techniques is verified by using the data obtained from practical experiments. The corresponding solution is used to design a scheme to control the velocity of a real-time DC motor device subject to abrupt power failuresFAPESP (03 / 06736-7, 04 / 06947-0)CNPq (471557 / 2009-9, 304.856 / 2007-0, 304.429 / 2007-4, 306.466 / 2010-4)Fundación Carolina (Fundación Carolina - Programa "Movilidad de Professores e Investigadores Brasil-España. C.2010 "

Recursive robust regulators for Markovian jump linear systems with uncertain transition matrices

Esta tese aborda o problema de regulação para sistemas lineares sujeitos a saltos Markovianos de tempo discreto com matrizes de transição incertas. Considera-se que as incertezas são limitadas em norma e os estados da cadeia de Markov podem não ser completamente observados pelo controlador. No cenário com observação completa dos estados, a solução é deduzida com base em um funcional quadrático dado em termos das probabilidades de transição incertas. Enquanto que no cenário sem observação, a solução é obtida por meio da reformulação do sistema Markoviano como um sistema determinístico, independente da cadeia de Markov. Três modelos são propostos para essa reformulação: um modelo é baseado no primeiro momento do sistema Markoviano, o segundo é obtido a partir da medida de Dirac e resulta em um sistema aumentado, e o terceiro fornece um sistema aumentado singular. Os reguladores recursivos robustos são projetados a partir de critérios de custo quadrático, dados em termos de problemas de otimização restritos. A solução é derivada da técnica de mínimos quadrados regularizados robustos e apresentada em uma estrutura matricial. A recursividade é estabelecida por equações de Riccati, que se assemelham às soluções dos reguladores clássicos, para essa classe de sistemas, quando não estão sujeitos a incertezas.This thesis deals with regulation problem for discrete-time Markovian jump linear systems with uncertain transition matrix. The uncertainties are assumed to be normbounded type. The states of the Markov chain can not be completely observed by the controller. In the scenario with complete observation of the states, the solution is deduced based on a quadratic functional given in terms of uncertain transition probabilities. While in the scenario without observation, the solution is obtained from reformulation of the Markovian system as a deterministic system, independent of the Markov chain. Three models are proposed for the reformulation process: a model is based on the first moment of the Markovian system, the second is obtained from Dirac measure which results in an augmented system, and the third provides a singular augmented system. Recursive robust regulators are designed from quadratic cost criteria given in terms of constrained optimization problems. The solution is derived from the robust regularized least-square approach, whose framework is given in terms of a matrix structure. The recursiveness is established by Riccati equations which resemble the solutions of standard regulators for this class of systems, when they are not subject to uncertainties

Numerical methods for linear quadratic control with partial observation jump and state

Este trabalho consiste no estudo de métodos de otimização aplicados em um problema de controle para sistemas lineares com saltos markovianos (SLSM). SLSM formam uma importante classe de sistemas que têm sido muito úteis em aplicações envolvendo sistemas sujeitos a falhas e outras alterações abruptas de comportamento. Este estudo enfoca diferentes métodos para resolução deste problema. Comparamos o método variacional com o de Newton, sob o ponto de vista do número de problemas resolvidos e pelo nível de sub-otimalidade obtido (relação entre os custos obtidos por estes métodos). Também propomos um novo método, o qual pode ser inicializado com soluções de equações de Riccati acopladas, e o comparamos com o método variacional. Além disso, para a comparação dos métodos, propomos um algoritmo que gerou dez mil exemplosThis work addresses optimizations methods applied to a control problem for linear systems with markovian jumps, which form an important class of systems that have been very useful in applications involving systems subject to failures and other abrupt changes. This study focuses on different methods for solving this problem. We compare the variational approach with the Newton method, in terms of the number of solved problems and the level of sub-optimality (ratio between the costs obtained by these approaches). We also propose a new method, which can be initialized with solutions of coupled Riccati equations, and we compare it with the variational approach. We have proposed an algorithm for creating ten thousand examples for the comparison

Recursive robust regulators for Markovian jump linear systems with uncertain transition matrices

Esta tese aborda o problema de regulação para sistemas lineares sujeitos a saltos Markovianos de tempo discreto com matrizes de transição incertas. Considera-se que as incertezas são limitadas em norma e os estados da cadeia de Markov podem não ser completamente observados pelo controlador. No cenário com observação completa dos estados, a solução é deduzida com base em um funcional quadrático dado em termos das probabilidades de transição incertas. Enquanto que no cenário sem observação, a solução é obtida por meio da reformulação do sistema Markoviano como um sistema determinístico, independente da cadeia de Markov. Três modelos são propostos para essa reformulação: um modelo é baseado no primeiro momento do sistema Markoviano, o segundo é obtido a partir da medida de Dirac e resulta em um sistema aumentado, e o terceiro fornece um sistema aumentado singular. Os reguladores recursivos robustos são projetados a partir de critérios de custo quadrático, dados em termos de problemas de otimização restritos. A solução é derivada da técnica de mínimos quadrados regularizados robustos e apresentada em uma estrutura matricial. A recursividade é estabelecida por equações de Riccati, que se assemelham às soluções dos reguladores clássicos, para essa classe de sistemas, quando não estão sujeitos a incertezas.This thesis deals with regulation problem for discrete-time Markovian jump linear systems with uncertain transition matrix. The uncertainties are assumed to be normbounded type. The states of the Markov chain can not be completely observed by the controller. In the scenario with complete observation of the states, the solution is deduced based on a quadratic functional given in terms of uncertain transition probabilities. While in the scenario without observation, the solution is obtained from reformulation of the Markovian system as a deterministic system, independent of the Markov chain. Three models are proposed for the reformulation process: a model is based on the first moment of the Markovian system, the second is obtained from Dirac measure which results in an augmented system, and the third provides a singular augmented system. Recursive robust regulators are designed from quadratic cost criteria given in terms of constrained optimization problems. The solution is derived from the robust regularized least-square approach, whose framework is given in terms of a matrix structure. The recursiveness is established by Riccati equations which resemble the solutions of standard regulators for this class of systems, when they are not subject to uncertainties