Approximate Kalman-Bucy filter for continuous-time semi-Markov jump linear systems

The aim of this paper is to propose a new numerical approximation of the Kalman-Bucy filter for semi-Markov jump linear systems. This approximation is based on the selection of typical trajectories of the driving semi-Markov chain of the process by using an optimal quantization technique. The main advantage of this approach is that it makes pre-computations possible. We derive a Lipschitz property for the solution of the Riccati equation and a general result on the convergence of perturbed solutions of semi-Markov switching Riccati equations when the perturbation comes from the driving semi-Markov chain. Based on these results, we prove the convergence of our approximation scheme in a general infinite countable state space framework and derive an error bound in terms of the quantization error and time discretization step. We employ the proposed filter in a magnetic levitation example with markovian failures and compare its performance with both the Kalman-Bucy filter and the Markovian linear minimum mean squares estimator

Gradient-based optimization techniques for the design of static controllers for Markov jump linear systems with unobservable modes

The paper formulates the static control problem of Markov jump linear systems, assuming that the controller does not have access to the jump variable. We derive the expression of the gradient for the cost motivated by the evaluation of 10 gradient-based optimization techniques. The numerical efficiency of these techniques is verified by using the data obtained from practical experiments. The corresponding solution is used to design a scheme to control the velocity of a real-time DC motor device subject to abrupt power failuresFAPESP (03 / 06736-7, 04 / 06947-0)CNPq (471557 / 2009-9, 304.856 / 2007-0, 304.429 / 2007-4, 306.466 / 2010-4)Fundación Carolina (Fundación Carolina - Programa "Movilidad de Professores e Investigadores Brasil-España. C.2010 "

Appying Markovian jump linear system solutions in the Vehicle-following problem

Orientador: Alim Pedro de Castro GonçalvesDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: Este trabalho tem como objetivo apresentar soluções de controle para o problema de seguimento de veículos. Foram apresentadas três principais soluções de controle, todas utilizando teoria de controle de sistemas sujeitos a saltos markovianos. A primeira e a segunda soluções propostas utilizam controladores por realimentação de saída de ordem completa e a terceira solução é uma estrutura que utiliza filtros observadores de estado e controladores por realimentação de estado simultaneamente. A diferença entre a primeira e a segunda soluções é a maneira como controlador lida com a ocorrência de falha de transmissão de medidas através da rede. A terceira solução foi proposta com o objetivo de adicionar robustez a incertezas paramétricas ao projetos de controle, visto que isso não pode ser realizado com os controladores por realimentação de saída utilizados na primeira e segunda soluções. Todos os projetos são obtidos por meio de desigualdades matriciais lineares e todos os controladores e filtros são da classe H1. E por fim é apresentada uma análise em relação à sensibilidade ao atraso fixo. Com os resultados obtidos pela análise dos testes de comportamento da norma H1 e simulações Monte Carlo, podemos afirmar que para os casos de estudo os controladores projetados com teoria de controle de sistemas sujeitos à saltos markovianos são superiores ao controlador clássico H1. A comparação entre a primeira e a segunda soluções mostra que, para um ruído específico, a segunda abordagem é mais confiável para o caso sem adição do atraso fixo, para o caso com atraso o inverso ocorre. A terceira abordagem apresenta resultados superiores à primeira e à segunda para o caso sem atraso, entretanto, ela é mais sensível ao atraso fixoAbstract: This work has as objective to propose controller solutions for the vehicle following problem. Three distinct control solutions were introduced, all of them use the Markovian Jump Linear Systems framework. The first and the second solution are based on a dynamic output feedback controller and the third solution is composed by a filter and state feedback controller. The primary difference between the first and second solution is the controller behavior when a network failure occurs. The third solution was proposed on order to add robustness to parametric uncertanties in the control design. All the controllers were obtained through optimization programs constrainedby Linear Matrix Inequalities and also all the controllers are within the H1 class. The sensibility of the proposed solution to the addition of fixed delay was also analysed. With the results obtained through H1 norm test and the Monte Carlo simulation, we can state that, for our case of study, the controllers designed using the Networked Control System always have an greater or equal performance when compared to those that do not take the transmission packet losses into consideration. The comparison between the first and the second solution has shown that the second solution is more reliable without the fixed delay. On the other handn for the case where the fixed delay in included the opposite occurs. The third solution had a better performance when compared to the other two is the case without the fixed delay, however, when the delay in added the performance is drastically affected, since the third solution has a higher sensibility to the fixed delayMestradoAutomaçãoMestre em Engenharia ElétricaCAPE

Dynamic output feedback for discrete-time Markov jump linear systems

Orientador: Jose Claudio GeromelTese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de ComputaçãoResumo: Este trabalho tem por objetivo o estudo do projeto de controladores dinâmicos H2 e H? por realimentação de saída para sistemas discretos com parâmetros sujeitos a saltos markovianos. Inicialmente, estudamos o caso de filtragem e propomos diferentes técnicas de projeto para casos especiais relacionados à disponibilidade do estado da cadeia de Markov, também chamado modo, ou a matriz de probabilidades de transição parcialmente conhecida. O resultado principal é a caracterização de todos os controladores dinâmicos lineares tais que a norma da saída controlada é limitada, levando a solução do problema de projeto do controlador linear ótimo H2 ou H?, sob a hipótese de conhecimento do modo por parte do controlador. Todos os projetos são expressos em termos de desigualdades matriciais lineares. Para ilustrar possíveis aplicações dos resultados teóricos, consideramos o projeto de um controlador cuja entrada é transmitida por um canal markoviano, além da modelagem estatística de falhas em sensores/atuadoresAbstract: This work addresses the H2 and H? output feedback design problem for discrete-time Markov jump linear systems. Initially, we study the filtering problem and propose different design techniques to deal with the Markov parameter, often called mode, availability and/or partly known transition probability. The main result is the characterization of all linear controllers such that the controlled output norm remains bounded by a given level, yielding the complete solution of the mode-dependent H2 and H? linear control design problem. All controllers are designed by solving linear matrix inequalities. The theory is illustrated by means of practical examples, consisting of control over data communication through a markovian channel and of statistical modelling of sensors/actuators failuresDoutoradoAutomaçãoDoutor em Engenharia Elétric

Stochastic Control for Cooperative Cyber-Physical Networking

Die stetig fortschreitende Digitalisierung erlaubt einen immer autonomeren und intelligenteren Betrieb von Produktions- und Fertigungslinien, was zu einer stärker werdenden Verzahnung der physikalischen Prozesse und der Software-Komponenten zum Überwachen, Steuern und Messen führt. Cyber-physische Systeme (CPS) spielen hierbei eine Schlüsselrolle, indem sie sowohl die physikalischen als auch die Software-Komponenten zu einem verteilten System zusammenfassen, innerhalb dessen Umgebungszustände, Messwerte und Steuerbefehle über ein Kommunikationsnetzwerk ausgetauscht werden. Die Verfügbarkeit von kostengünstigen Geräten und die Möglichkeit bereits existierende Infrastruktur zu nutzen sorgen dafür, dass auch innerhalb von CPS zunehmend auf den Einsatz von Standard-Netzen auf Basis von IEEE 802.3 (Ethernet) und IEEE 802.11 (WLAN) gesetzt wird. Nachteilig bei der Nutzung von Standard-Netzen sind jedoch auftretende Dienstgüte-Schwankungen, welche aus der gemeinsamen Nutzung der vorhandenen Infrastruktur resultieren und für die Endsysteme in Form von sich ändernden Latenzen und Daten- und Paketverlustraten sichtbar werden. Regelkreise sind besonders anfällig für Dienstgüte-Schwankungen, da sie typischerweise isochrone Datenübertragungen mit festen Latenzen benötigen, um die gewünschte Regelgüte zu garantieren. Für die Vernetzung der einzelnen Komponenten, das heißt von Sensorik, Aktorik und Regler, setzt man daher klassischerweise auf Lösungen, die diese Anforderungen erfüllen. Diese Lösungen sind jedoch relativ teuer und unflexibel, da sie den Einsatz von spezialisierten Netzwerken wie z.B. Feldbussen benötigen oder über komplexe, speziell entwickelte Kommunikationsprotokolle realisiert werden wie sie beispielsweise die Time-Sensitive Networking (TSN) Standards definieren. Die vorliegende Arbeit präsentiert Ergebnisse des interdisziplinären Forschungsprojekts CoCPN:Cooperative Cyber-Physical Networking, das ein anderes Konzept verfolgt und explizit auf CPS abzielt, die Standard-Netze einsetzen. CoCPN benutzt einen neuartigen, kooperativen Ansatz um i) die Elastizität von Regelkreisen innerhalb solcher CPS zu erhöhen, das heißt sie in die Lage zu versetzen, mit den auftretenden Dienstgüte-Schwankungen umzugehen, und ii) das Netzwerk über die Anforderungen der einzelnen Regler in Kenntnis zu setzen. Kern von CoCPN ist eine verteilte Architektur für CPS, welche es den einzelnen Regelkreisen ermöglicht, die verfügbare Kommunikations-Infrastruktur gemeinsam zu nutzen. Im Gegensatz zu den oben genannten Lösungen benötigt CoCPN dafür keine zentrale Instanz mit globaler Sicht auf das Kommunikationssystem, sodass eine enge Kopplung an die Anwendungen vermieden wird. Stattdessen setzt CoCPN auf eine lose Kopplung zwischen Netzwerk und Regelkreisen, realisiert in Form eines Austauschs von Meta-Daten über den sog. CoCPN-Translator. CoCPN implementiert ein Staukontrollverfahren, welches den typischen Zusammenhang zwischen erreichbarer Regelgüte und Senderate ausnutzt: die erreichbare Regelgüte steigt mit der Senderate und umgekehrt. Durch Variieren der zu erreichenden Regelgüte kann das Sendeverhalten der Regler so eingestellt werden, dass die vorhandenen Kommunikations-Ressourcen optimal ausgenutzt und gleichzeitig Stausituationen vermieden werden. In dieser Arbeit beschäftigen wir uns mit den regelungstechnischen Fragestellungen innerhalb von CoCPN. Der Schwerpunkt liegt hierbei auf dem Entwurf und der Analyse von Algorithmen, die auf Basis der über den CoCPN-Translator ausgetauschten Meta-Daten die notwendige Elastizität liefern und es dadurch den Reglern ermöglichen, schnell auf Änderungen der Netzwerk-Dienstgüte zu reagieren. Dazu ist es notwendig, dass den Reglern ein Modell zur Verfügung gestellt wird, dass die Auswirkungen von Verzögerungen und Paketverlusten auf die Regelgüte erfasst. Im ersten Teil der Arbeit wird eine Erweiterung eines existierenden Modellierungs-Ansatzes vorgestellt, dessen Grundidee es ist, sowohl die Dynamik der Regelstrecke als auch den Einfluss von Verzögerungen und Paketverlusten durch ein hybrides System darzustellen. Hybride Systeme zeichnen sich dadurch aus, dass sie sowohl kontinuierlich- als auch diskretwertige Zustandsvariablen besitzen. Unsere vorgestellte Erweiterung ist in der Lage, Änderungen der Netzwerk-Dienstgüte abzubilden und ist nicht auf eine bestimmte probabilistische Darstellung der auftretenden Verzögerungen und Paketverluste beschränkt. Zusätzlich verzichtet unsere Erweiterung auf die in der Literatur übliche Annahme, dass Quittungen für empfangene Datenpakete stets fehlerfrei und mit vernachlässigbarer Latenz übertragen werden. Verglichen mit einem Großteil der verwandten Arbeiten, ermöglichen uns die genannten Eigenschaften daher eine realistischere Berücksichtigung der Netzwerk-Einflüsse auf die Regelgüte. Mit dem entwickelten Modell kann der Einfluss von Verzögerungen und Paketverlusten auf die Regelgüte prädiziert werden. Auf Basis dieser Prädiktion können Stellgrößen dann mit Methoden der stochastischen modellprädiktiven Regelung (stochastic model predictive control) berechnet werden. Unsere realistischere Betrachtung der Netzwerk-Einflüsse auf die Regelgüte führt hierbei zu einer gegenseitigen Abhängigkeit von Regelung und Schätzung. Zur Berechnung der Stellgrößen muss der Regler den Zustand der Strecke aus den empfangenen Messungen schätzen. Die Qualität dieser Schätzungen hängt von den berechneten Stellgrößen und deren Auswirkung auf die Regelstrecke ab. Umgekehrt beeinflusst die Qualität der Schätzungen aber maßgeblich die Qualität der Stellgrößen: Ist der Schätzfehler gering, kann der Regler bessere Entscheidungen treffen. Diese gegenseitige Abhängigkeit macht die Berechnung von optimalen Stellgrößen unmöglich und bedingt daher die Fokussierung auf das Erforschen von approximativen Ansätzen. Im zweiten Teil dieser Arbeit stellen wir zwei neuartige Verfahren für die stochastische modellprädiktive Regelung über Netzwerke vor. Im ersten Verfahren nutzen wir aus, dass bei hybriden System oft sogenannte multiple model-Algorithmen zur Zustandsschätzung verwendet werden, welche den geschätzten Zustand in Form einer Gaußmischdichte repräsentieren. Auf Basis dieses Zusammenhangs und einer globalen Approximation der Kostenfunktion leiten wir einen Algorithmus mit geringer Komplexität zur Berechnung eines (suboptimalen) Regelgesetzes her. Dieses Regelgesetz ist nichtlinear und ergibt sich aus der gewichteten Kombination mehrerer unterlagerter Regelgesetze. Jedes dieser unterlagerten Regelgesetze lässt sich dabei als lineare Funktion genau einer der Komponenten der Gaußmischdichte darstellen. Unser zweites vorgestelltes Verfahren besitzt gegensätzliche Eigenschaften. Das resultierende Regelgesetz ist linear und basiert auf einer Approximation der Kostenfunktion, welche wir nur lokal, das heißt nur in der Umgebung einer erwarteten Trajektorie des geregelten Systems, berechnen. Diese Trajektorie wird hierbei durch die Prädiktion einer initialen Zustandsschätzung über den Optimierungshorizont gewonnen. Zur Berechnung des Regelgesetzes schlagen wir dann einen iterativen Algorithmus vor, welcher diese Approximation durch wiederholtes Optimieren der System-Trajektorie verbessert. Simulationsergebnisse zeigen, dass unsere neuartigen Verfahren eine signifikant höhere Regelgüte erzielen können als verwandte Ansätze aus der Literatur. Der dritte Teil der vorliegenden Arbeit beschäftigt sich erneut mit dem hybriden System aus dem ersten Teil. Die im Rahmen dieser Arbeit verwendeten Netzwerk-Modelle, das heißt die verwendeten probabilistischen Beschreibungen der Verzögerungen und Paketverluste, werden vom CoCPN-Translator auf Grundlage von im Netzwerk gesammelten Status-Informationen erzeugt. Diese Status-Informationen bilden jedoch stets nur Ausschnitte ab und können nie exakt den "Zustand” des Netzwerks repräsentieren. Dementsprechend können die resultierenden Netzwerk-Modelle nicht als fehlerfrei erachtet werden. In diesem Teil der Arbeit untersuchen wir daher den Einfluss möglicher Fehler in den Netzwerk-Modellen auf die zu erwartende Regelgüte. Weiterhin gehen wir der Frage nach der Existenz von Reglern, die robust gegenüber solchen Fehlern und Unsicherheiten sind, nach. Dazu zeigen wir zunächst, dass sich Fehler in den Netzwerk-Modellen immer als eine polytopische Parameter-Unsicherheit im hybriden System aus dem ersten Teil manifestieren. Für solche polytopischen hybride System leiten wir dann eine sowohl notwendige als auch hinreichende Stabilitätsbedingung her, was einen signifikanten Beitrag zur Theorie der hybriden Systeme darstellt. Die Auswertung dieser Bedingung erfordert es zu bestimmen, ob der gemeinsame Spektralradius (joint spectral radius) einer Menge von Matrizen kleiner als eins ist. Dieses Entscheidungsproblem ist bekanntermaßen NP-schwer, was die Anwendbarkeit der Stabilitätsbedingung stark limitiert. Daher präsentieren wir eine hinreichende Stabilitätsbedingung, die in polynomieller Zeit überprüft werden kann, da sie auf der Erfüllbarkeit von linearen Matrixungleichungen basiert. Schließlich zeigen wir, dass die Existenz eines Reglers, der die Stabilität des betrachteten polytopischen hybriden Systems garantiert, von der Erfüllbarkeit einer ähnlichen Menge von Matrixungleichungen bestimmt wird. Diese Ungleichungen sind weniger restriktiv als die bisher in der Literatur bekannten, was die Synthese von weniger konservativen Reglern erlaubt. Schließlich zeigen wir im letzten Teil dieser Arbeit die Anwendbarkeit des kooperativen Konzepts von CoCPN in Simulations-Szenarien, in denen stark ausgelastete Netzwerk-Ressourcen mit anderen Anwendungen geteilt werden müssen. Wir demonstrieren, dass insbesondere das Zusammenspiel unserer modellprädiktiven Verfahren mit dem Staukontrollverfahren von CoCPN einen zuverlässigen Betrieb der Regelkreise ohne unerwünschte Einbußen der Regelgüte auch dann ermöglicht, wenn sich die Kommunikationsbedingungen plötzlich und unvorhergesehen ändern. Insgesamt stellt unsere Arbeit somit einen wichtigen Baustein auf dem Weg zu einem flächendeckenden Einsatz von Standard-Netzen als flexible und adaptive Basis für industrielle CPS dar

Vehicle Stability Control Considering the Driver-in-the-Loop

A driver‐in‐the‐loop modeling framework is essential for a full analysis of vehicle stability systems. In theory, knowing the vehicle’s desired path (driver’s intention), the problem is reduced to a standard control system in which one can use different methods to produce a (sub) optimal solution. In practice, however, estimation of a driver’s desired path is a challenging – if not impossible – task. In this thesis, a new formulation of the problem that integrates the driver and the vehicle model is proposed to improve vehicle performance without using additional information from the future intention of the driver. The driver’s handling technique is modeled as a general function of the road preview information as well as the dynamic states of the vehicle. In order to cover a variety of driving styles, the time‐ varying cumulative driver's delay and model uncertainties are included in the formulation. Given that for practical implementations, the driver’s future road preview data is not accessible, this information is modeled as bounded uncertainties. Subsequently, a state feedback controller is designed to counteract the negative effects of a driver’s lag while makes the system robust to modeling and process uncertainties. The vehicle’s performance is improved by redesigning the controller to consider a parameter varying model of the driver‐vehicle system. An LPV controller robust to unknown time‐varying delay is designed and the disturbance attenuation of the closed loop system is estimated. An approach is constructed to identify the time‐varying parameters of the driver model using past driving information. The obtained gains are clustered into several modes and the transition probability of switching between different driving‐styles (modes) is calculated. Based on this analysis, the driver‐vehicle system is modeled as a Markovian jump dynamical system. Moreover, a complementary analysis is performed on the convergence properties of the mode‐dependent controller and a tighter estimation for the maximum level of disturbance rejection of the LPV controller is obtained. In addition, the effect of a driver’s skills in controlling the vehicle while the tires are saturated is analyzed. A guideline for analysis of the nonlinear system performance with consideration to the driver’s skills is suggested. Nonlinear controller design techniques are employed to attenuate the undesirable effects of both model uncertainties and tire saturation

H2 And H∞ State-feedback Control Of Continuous-time Mjls With Uncertain Transition Rates?

This paper addresses the H2 and the H∞ state-feedback control of Markov Jump Linear Systems (MJLS) in continuous-time through LinearMatrix Inequalities (LMIs).We derive new necessary and sufficient LMI conditions for the case with completely known transition rates which are affine with respect to these parameters. Then, we treat the case where transition rates are considered uncertain, but belong to a given convex set. We illustrate the quality of our results through a numerical example.22372241Alsace Region,et al.,Groupement de Recherche - Modeling, Analysis and Control of Dynamical Systems (GdR MACS),MathWorks,Siemens,Strasbourg.euBoukas, E.-K., (2006) Stochastic Switching Systems, , BirkhäuserCosta, O.L.V., Do Val, J.B.R., Geromel, J.C., Continuous time state-feedback h2-control of markovian jump linear systems via convex analysis (1999) Automatica, 35, pp. 259-268Costa, O.V.L., Fragoso, M.D., Todorov, M.G., (2013) Continuous- Time Markov Jump Linear Systems. Probability and its Applications, , SpringerDe Farias, D.P., Geromel, J.C., Do Val, J.B.R., A note on robust control of markov jump linear uncertain systems (2002) Optimal Control Applications and Methods, 23, pp. 105-112De Farias, D.P., Geromel, J.C., Do Val, J.B.R., Costa, O.L.V., Output feedback control of markov jump linear system in continuous-time (2000) IEEE Transaction on Automatic Control, 45, pp. 944-949Fioravanti, A.R., Geromel, J.C., Gonçalves, A.P.C., Dynamic output feedback control of discrete-time markov jump linear systems through linear matrix inequalities (2009) SIAM Journal on Control and Optimization, 48, pp. 573-593Fioravanti, A.R., Geromel;alves, Gonçalves, A.P.C., H1 robust and networked control of discrete-time mjls through lmis (2012) Journal of the Franklin Institute, 349, pp. 2171-2181Ji, Y., Chizeck, H.J., Controlability, stabilizability, and continuoustime markovian jump linear quadratic control (1990) IEEE Transactions on Automatic Control, 35, pp. 777-788Leon-Garcia, A., (2007) Probability, Statistics, and Random Processes for Electrical Engineering, , PearsonShen, M., Yang, G.-H., New analysis and synthesis conditions for continuous markov jump linear systems with partly known transition probabilities (2012) IET Control Theory and Applications, 6, pp. 2318-2325Zhang, L., Boukas, E.K., H1 control of a class of extended markov jump linear systems (2009) IET Control Theory and Applications, 3 (7), pp. 834-842Zhang, L., Boukas, E.K., Stability and stabilization of markovian jump linear systems with partly unknown transition probabilities (2009) Automatica, 45, pp. 463-468Zhang, L., Lam, J., Necessary and sufficient conditions for analysis and synthesis of markov jump linear systems with incomplete transition descriptions (2010) IEEE Transactions on Automatic Control, 55 (7), pp. 1695-170