The role of population games in the design of optimization-based controllers: a large-scale insight

Cotutela Universitat Politècnica de Catalunya i Universidad de los AndesPremi CEA Springer Award 2017, a la millor tesi d'enginyeria de control a EspanyaEuropean PhD Award on Control for Complex and Heterogeneous Systems, atorgat pel European Embedded Control InstituteThis thesis is mainly devoted to the study of the role of evolutionary-game theory in the design of distributed optimization-based controllers. Game theoretical approaches have been used in several engineering fields, e.g., drainage wastewater systems, bandwidth allocation, wireless networks, cyber security, congestion games, wind turbines, temperature control, among others. On the other hand, a specific class of games, known as population games, have been mainly used in the design of controllers to manage a limited resource. This game approach is suitable for resource allocation problems since, under the framework of full-potential games, the population games can satisfy a unique coupled constraint while maximizing a potential function. First, this thesis discusses how the classical approach of the population games can contribute and complement the design of optimization-based controllers. Therefore, this dissertation assigns special interest on how the features of the population-game approach can be exploited extending their capabilities in the solution of distributed optimization problems. In addition, density games are studied in order to consider multiple coupled constraints and preserving the non-centralized information requirements. Furthermore, it is established a close relationship between the possible interactions among agents in a population with the constrained information sharing among different local controllers. On the other hand, coalitional games are discussed focusing on the Shapley power index. This power index has been used to assign an appropriate rewarding to players in function of their contributions to all possible coalitions. Even though this power index is quite useful in the engineering context, since it involves notions of fairness and/or relevance (how important players are), the main difficulty of the implementation of the Shapley value in engineering applications is related to the high computational burden. Therefore, this dissertation studies the Shapley value in order to propose an alternative manner to compute it reducing computational time, and a different way to find it by using distributed communication structures is presented. The studied game theoretical approaches are suitable for the modeling of rational agents involved in a strategic constrained interaction, following local rules and making local decisions in order to achieve a global objective. Making an analogy, distributed optimization-based controllers are composed of local controllers that compute optimal inputs based on local information (constrained interactions with other local controllers) in order to achieve a global control objective. In addition to this analogy, the features that relate the Nash equilibrium with the Karush-Kuhn-Tucker conditions for a constrained optimization problem are exploited for the design of optimization-based controllers, more specifically, for the design of model predictive controller. Moreover, the design of non-centralized controllers is directly related to the partitioning of a system, i.e., it is necessary to represent the whole system as the composition of multiple sub-systems. This task is not a trivial procedure since several considerations should be taken into account, e.g., availability of information, dynamical coupling in the system, regularity in the amount of variables for each sub-system, among others. Then, this doctoral dissertation also discusses the partitioning problem for large-scale systems and the role that this procedure plays in the design of distributed optimization-based controllers. Finally, dynamical partitioning strategies are presented with distributed population-games-based controllers. Some engineering applications are presented to illustrate and test the performance of all the proposed control strategies, e.g., the Barcelona water supply network, multiple continuous stirred tank reactors, system of multiple unmanned aerial vehicles.Esta tesis doctoral consiste principalmente en el estudio del rol que desempeña la teoría de juegos evolutiva en el diseño de controladores distribuidos basados en optimización. Diversos enfoques de la teoría de juegos han sido usados en múltiples campos de la ingeniera, por ejemplo, en sistemas de drenaje urbano, para la asignación de anchos de banda, en redes inalámbricas, en ciber-seguridad, en juegos de congestión, turbinas eólicas, control de temperatura, entre otros. Por otra parte, una clase especifica de juegos, conocidos como juegos poblacionales, se han usado principalmente en el diseño de controladores encargados de determinar la apropiada asignación de recursos. Esta clase de juegos es apropiada para problemas de distribución dinámica de recursos dado que, en el contexto de juegos poblacionales, los juegos poblacionales pueden ser usados para maximizar una función potencial mientras se satisface una restricción acoplada. Primero, esta tesis doctoral presenta como el enfoque clásico de los juegos poblacionales pueden contribuir y complementar en el diseño de controladores basados en optimización. Posteriormente, esta disertación concentra su atención en cómo las características de los juegos poblacionales pueden ser aprovechadas y extendidas para dar solución a problemas de optimización de forma distribuida. Adicionalmente, los juegos con dependencia de densidad son estudiados con el fin de considerar múltiples restricciones mientras se preservan las características no centralizadas de los requerimientos de información. Finalmente, se establece una estrecha relación entre las posibles interacciones de los agentes en una población y las restricciones de intercambio de información entre diversos controladores locales. También, se desarrolla una discusión sobre los juegos cooperativos y el índice de poder conocido como el valor de Shapley. Este índice de poder ha sido usado para la apropiada asignación de beneficios para un jugador en función de sus contribuciones a todas las posibles coaliciones que pueden formarse. Aunque este índice de poder es de gran utilidad en el contexto ingenieril, ya que involucra nociones de justicia y/o relevancia, la principal dificultad para implementar el valor de Shapley en aplicaciones de ingeniería está asociado a los altos costos computacionales para encontrarlo. En consecuencia, esta disertación doctoral estudia el valor de Shapley con el fin de ofrecer una alternativa para calcular este índice de poder reduciendo los costos computacionales e incluso contemplando estructuras distribuidas de comunicación. Los enfoques de la teoría de juegos estudiados son apropiados para el modelamiento de agentes racionales involucrados en una interacción estratégica con restricciones, siguiendo reglas locales y tomando decisiones locales para alcanzar un objetivo global. Realizando una analogía, los controladores distribuidos basados en optimización están compuestos por controladores locales que calculan acciones óptimas basados en información local (considerando interacciones restringidas con otros controladores locales) con el fin de alcanzar un objetivo global. Adicional a esta analogía, las características que relacionan el equilibrio de Nash con las condiciones de Karush-Kuhn-Tucker en un problema de optimizaciones con restricciones son aprovechadas para el diseño de controladores basados en optimización, más específicamente, para el diseño de controladores predictivos. Por otra parte, el diseño de controladores no centralizados está directamente relacionado con el particionado de un sistema, es decir, es necesario representar el sistema en su totalidad por medio del conjunto de varios sub-sistemas. Esta tarea no es un procedimiento trivial puesto que es necesario tener en cuenta varias consideraciones, por ejemplo, la disponibilidad de información, el acople dinámico en el sistema, la regularidad en cuanto a la cantidad de variables en cada sub-sistema, entre otras. Por lo tanto, esta disertación doctoral también desarrolla una discusión alrededor del problema de particionado para sistemas de gran escala y respecto al rol que este procedimiento de particionado juega en el diseño de controladores distribuidos basados en optimización. Finalmente, se presentan estrategias de particionado dinámico junto con controladores basados en juegos poblacionales. Algunas aplicaciones en ingeniería son usadas para ilustrar y probar los controladores diseñados por medio de las contribuciones novedosas basadas en teoría de juegos, estas son, la red de agua potable de Barcelona, múltiples reactores, sistema compuesto por varios vehículos aéreos no tripulados y un sistema de distribución de agua.Aquesta tesi doctoral consisteix principalment en l'estudi del paper que exerceix la teoria de jocs evolutiva en el disseny de controladors distribuïts basats en optimització. Diversos enfocaments de la teoria de jocs han estat usats en múltiples camps de l'enginyeria, per exemple, en sistemes de drenatge urbà, per a l’assignació d'amples de banda, en xarxes sense fils, a ciber-seguretat, en jocs de congestió, turbines eòliques, control de temperatura, entre altres. D'altra banda, una classe especifica de jocs, coneguts com jocs poblacionals, s'han fet servir principalment en el disseny de controladors encarregats de determinar l'apropiada assignació de recursos. Aquesta classe de jocs és apropiada per a problemes de distribució dinàmica de recursos atès que, en el context de jocs poblacionals, aquests poden ser usats per a maximitzar una funció potencial mentre es satisfà una restricció acoblada. Primer, aquesta tesi doctoral presenta com l'enfocament clàssic dels jocs poblacionals poden contribuir i complementar en el disseny de controladors basats en optimització. Posteriorment, aquesta dissertació concentra la seva atenció en com les característiques dels jocs poblacionals poden ser aprofitades i esteses per donar solució a problemes d’optimització de forma distribuïda. Addicionalment, els jocs amb dependència de densitat són estudiats amb la _finalitat de considerar múltiples restriccions mentre es preserven les característiques no centralitzades dels requeriments d’informació. Finalment, s'estableix una estreta relació entre les possibles interaccions dels agents en una població i les restriccions d'intercanvi d’informació entre diversos controladors locals. També, es desenvolupa una discussió sobre els jocs cooperatius i l’índex de poder conegut com el valor de Shapley. Aquest índex de poder ha estat usat per l'apropiada assignació de beneficis per a un jugador en funció de les seves contribucions a totes les possibles coalicions que poden formar-se. Encara que aquest índex de poder es de gran utilitat en el context de l'enginyeria, ja que involucra nocions de justícia i/o rellevància, la principal dificultat per implementar el valor de Shapley en aplicacions d'enginyeria està associat als alts costos computacionals per trobar-lo. En conseqüència, aquesta dissertació doctoral estudia el valor de Shapley per tal d'oferir una alternativa per calcular aquest índex de poder reduint els costos computacionals i fins i tot contemplant estructures distribuïdes de comunicació. Els enfocaments de la teoria de jocs estudiats són apropiats per al modelatge d'agents racionals involucrats en una interacció estratègica amb restriccions, seguint regles locals i prenent decisions locals per assolir un objectiu global. Realitzant una analogia, els controladors distribuïts basats en optimització estan compostos per controladors locals que calculen accions optimes basats en informació local (considerant interaccions restringides amb altres controladors locals) per tal d'assolir un objectiu global. Addicional a aquesta analogia, les característiques que relacionen l'equilibri de Nash amb les condicions de Karush-Kuhn-Tucker en un problema d’optimització amb restriccions són aprofitades per al disseny de controladors basats en optimització, més específicament, per al disseny de controladors predictius. D'altra banda, el disseny de controladors no centralitzats està directament relacionat amb la partició d'un sistema, és a dir, cal representar el sistema en la seva totalitat per mitjà del conjunt de diversos sub-sistemes. Aquesta tasca no és un procés trivial, ja que cal tenir en compte diverses consideracions, per exemple, la disponibilitat d’informació, l'acoblament dinàmic en el sistema, i la regularitat pel que fa a la quantitat de variables en cada sub-sistema, entre d'altres. Per tant, aquesta dissertació doctoral també desenvolupa una discussió al voltant del problema de partició per a sistemes de gran escala i respecte al paper que aquest procediment de partició juga en el disseny de controladors distribuïts basats en optimització. Finalment, es presenten estratègies de partició dinàmic juntament amb controladors basats en jocs poblacionals. Algunes aplicacions en enginyeria són usades per il·lustrar i provar els controladors dissenyats per mitjà de les contribucions noves basades en teoria de jocs, aquestes són: la xarxa d'aigua potable de Barcelona, múltiples reactors, sistema compost per diversos vehicles aeris no tripulats i un sistema de distribució d'aigua.Award-winningPostprint (published version

The role of population games in the design of optimization-based controllers: a large-scale insight

Cotutela Universitat Politècnica de Catalunya i Universidad de los AndesPremi CEA Springer Award 2017, a la millor tesi d'enginyeria de control a EspanyaEuropean PhD Award on Control for Complex and Heterogeneous Systems, atorgat pel European Embedded Control InstituteThis thesis is mainly devoted to the study of the role of evolutionary-game theory in the design of distributed optimization-based controllers. Game theoretical approaches have been used in several engineering fields, e.g., drainage wastewater systems, bandwidth allocation, wireless networks, cyber security, congestion games, wind turbines, temperature control, among others. On the other hand, a specific class of games, known as population games, have been mainly used in the design of controllers to manage a limited resource. This game approach is suitable for resource allocation problems since, under the framework of full-potential games, the population games can satisfy a unique coupled constraint while maximizing a potential function. First, this thesis discusses how the classical approach of the population games can contribute and complement the design of optimization-based controllers. Therefore, this dissertation assigns special interest on how the features of the population-game approach can be exploited extending their capabilities in the solution of distributed optimization problems. In addition, density games are studied in order to consider multiple coupled constraints and preserving the non-centralized information requirements. Furthermore, it is established a close relationship between the possible interactions among agents in a population with the constrained information sharing among different local controllers. On the other hand, coalitional games are discussed focusing on the Shapley power index. This power index has been used to assign an appropriate rewarding to players in function of their contributions to all possible coalitions. Even though this power index is quite useful in the engineering context, since it involves notions of fairness and/or relevance (how important players are), the main difficulty of the implementation of the Shapley value in engineering applications is related to the high computational burden. Therefore, this dissertation studies the Shapley value in order to propose an alternative manner to compute it reducing computational time, and a different way to find it by using distributed communication structures is presented. The studied game theoretical approaches are suitable for the modeling of rational agents involved in a strategic constrained interaction, following local rules and making local decisions in order to achieve a global objective. Making an analogy, distributed optimization-based controllers are composed of local controllers that compute optimal inputs based on local information (constrained interactions with other local controllers) in order to achieve a global control objective. In addition to this analogy, the features that relate the Nash equilibrium with the Karush-Kuhn-Tucker conditions for a constrained optimization problem are exploited for the design of optimization-based controllers, more specifically, for the design of model predictive controller. Moreover, the design of non-centralized controllers is directly related to the partitioning of a system, i.e., it is necessary to represent the whole system as the composition of multiple sub-systems. This task is not a trivial procedure since several considerations should be taken into account, e.g., availability of information, dynamical coupling in the system, regularity in the amount of variables for each sub-system, among others. Then, this doctoral dissertation also discusses the partitioning problem for large-scale systems and the role that this procedure plays in the design of distributed optimization-based controllers. Finally, dynamical partitioning strategies are presented with distributed population-games-based controllers. Some engineering applications are presented to illustrate and test the performance of all the proposed control strategies, e.g., the Barcelona water supply network, multiple continuous stirred tank reactors, system of multiple unmanned aerial vehicles.Esta tesis doctoral consiste principalmente en el estudio del rol que desempeña la teoría de juegos evolutiva en el diseño de controladores distribuidos basados en optimización. Diversos enfoques de la teoría de juegos han sido usados en múltiples campos de la ingeniera, por ejemplo, en sistemas de drenaje urbano, para la asignación de anchos de banda, en redes inalámbricas, en ciber-seguridad, en juegos de congestión, turbinas eólicas, control de temperatura, entre otros. Por otra parte, una clase especifica de juegos, conocidos como juegos poblacionales, se han usado principalmente en el diseño de controladores encargados de determinar la apropiada asignación de recursos. Esta clase de juegos es apropiada para problemas de distribución dinámica de recursos dado que, en el contexto de juegos poblacionales, los juegos poblacionales pueden ser usados para maximizar una función potencial mientras se satisface una restricción acoplada. Primero, esta tesis doctoral presenta como el enfoque clásico de los juegos poblacionales pueden contribuir y complementar en el diseño de controladores basados en optimización. Posteriormente, esta disertación concentra su atención en cómo las características de los juegos poblacionales pueden ser aprovechadas y extendidas para dar solución a problemas de optimización de forma distribuida. Adicionalmente, los juegos con dependencia de densidad son estudiados con el fin de considerar múltiples restricciones mientras se preservan las características no centralizadas de los requerimientos de información. Finalmente, se establece una estrecha relación entre las posibles interacciones de los agentes en una población y las restricciones de intercambio de información entre diversos controladores locales. También, se desarrolla una discusión sobre los juegos cooperativos y el índice de poder conocido como el valor de Shapley. Este índice de poder ha sido usado para la apropiada asignación de beneficios para un jugador en función de sus contribuciones a todas las posibles coaliciones que pueden formarse. Aunque este índice de poder es de gran utilidad en el contexto ingenieril, ya que involucra nociones de justicia y/o relevancia, la principal dificultad para implementar el valor de Shapley en aplicaciones de ingeniería está asociado a los altos costos computacionales para encontrarlo. En consecuencia, esta disertación doctoral estudia el valor de Shapley con el fin de ofrecer una alternativa para calcular este índice de poder reduciendo los costos computacionales e incluso contemplando estructuras distribuidas de comunicación. Los enfoques de la teoría de juegos estudiados son apropiados para el modelamiento de agentes racionales involucrados en una interacción estratégica con restricciones, siguiendo reglas locales y tomando decisiones locales para alcanzar un objetivo global. Realizando una analogía, los controladores distribuidos basados en optimización están compuestos por controladores locales que calculan acciones óptimas basados en información local (considerando interacciones restringidas con otros controladores locales) con el fin de alcanzar un objetivo global. Adicional a esta analogía, las características que relacionan el equilibrio de Nash con las condiciones de Karush-Kuhn-Tucker en un problema de optimizaciones con restricciones son aprovechadas para el diseño de controladores basados en optimización, más específicamente, para el diseño de controladores predictivos. Por otra parte, el diseño de controladores no centralizados está directamente relacionado con el particionado de un sistema, es decir, es necesario representar el sistema en su totalidad por medio del conjunto de varios sub-sistemas. Esta tarea no es un procedimiento trivial puesto que es necesario tener en cuenta varias consideraciones, por ejemplo, la disponibilidad de información, el acople dinámico en el sistema, la regularidad en cuanto a la cantidad de variables en cada sub-sistema, entre otras. Por lo tanto, esta disertación doctoral también desarrolla una discusión alrededor del problema de particionado para sistemas de gran escala y respecto al rol que este procedimiento de particionado juega en el diseño de controladores distribuidos basados en optimización. Finalmente, se presentan estrategias de particionado dinámico junto con controladores basados en juegos poblacionales. Algunas aplicaciones en ingeniería son usadas para ilustrar y probar los controladores diseñados por medio de las contribuciones novedosas basadas en teoría de juegos, estas son, la red de agua potable de Barcelona, múltiples reactores, sistema compuesto por varios vehículos aéreos no tripulados y un sistema de distribución de agua.Aquesta tesi doctoral consisteix principalment en l'estudi del paper que exerceix la teoria de jocs evolutiva en el disseny de controladors distribuïts basats en optimització. Diversos enfocaments de la teoria de jocs han estat usats en múltiples camps de l'enginyeria, per exemple, en sistemes de drenatge urbà, per a l’assignació d'amples de banda, en xarxes sense fils, a ciber-seguretat, en jocs de congestió, turbines eòliques, control de temperatura, entre altres. D'altra banda, una classe especifica de jocs, coneguts com jocs poblacionals, s'han fet servir principalment en el disseny de controladors encarregats de determinar l'apropiada assignació de recursos. Aquesta classe de jocs és apropiada per a problemes de distribució dinàmica de recursos atès que, en el context de jocs poblacionals, aquests poden ser usats per a maximitzar una funció potencial mentre es satisfà una restricció acoblada. Primer, aquesta tesi doctoral presenta com l'enfocament clàssic dels jocs poblacionals poden contribuir i complementar en el disseny de controladors basats en optimització. Posteriorment, aquesta dissertació concentra la seva atenció en com les característiques dels jocs poblacionals poden ser aprofitades i esteses per donar solució a problemes d’optimització de forma distribuïda. Addicionalment, els jocs amb dependència de densitat són estudiats amb la _finalitat de considerar múltiples restriccions mentre es preserven les característiques no centralitzades dels requeriments d’informació. Finalment, s'estableix una estreta relació entre les possibles interaccions dels agents en una població i les restriccions d'intercanvi d’informació entre diversos controladors locals. També, es desenvolupa una discussió sobre els jocs cooperatius i l’índex de poder conegut com el valor de Shapley. Aquest índex de poder ha estat usat per l'apropiada assignació de beneficis per a un jugador en funció de les seves contribucions a totes les possibles coalicions que poden formar-se. Encara que aquest índex de poder es de gran utilitat en el context de l'enginyeria, ja que involucra nocions de justícia i/o rellevància, la principal dificultat per implementar el valor de Shapley en aplicacions d'enginyeria està associat als alts costos computacionals per trobar-lo. En conseqüència, aquesta dissertació doctoral estudia el valor de Shapley per tal d'oferir una alternativa per calcular aquest índex de poder reduint els costos computacionals i fins i tot contemplant estructures distribuïdes de comunicació. Els enfocaments de la teoria de jocs estudiats són apropiats per al modelatge d'agents racionals involucrats en una interacció estratègica amb restriccions, seguint regles locals i prenent decisions locals per assolir un objectiu global. Realitzant una analogia, els controladors distribuïts basats en optimització estan compostos per controladors locals que calculen accions optimes basats en informació local (considerant interaccions restringides amb altres controladors locals) per tal d'assolir un objectiu global. Addicional a aquesta analogia, les característiques que relacionen l'equilibri de Nash amb les condicions de Karush-Kuhn-Tucker en un problema d’optimització amb restriccions són aprofitades per al disseny de controladors basats en optimització, més específicament, per al disseny de controladors predictius. D'altra banda, el disseny de controladors no centralitzats està directament relacionat amb la partició d'un sistema, és a dir, cal representar el sistema en la seva totalitat per mitjà del conjunt de diversos sub-sistemes. Aquesta tasca no és un procés trivial, ja que cal tenir en compte diverses consideracions, per exemple, la disponibilitat d’informació, l'acoblament dinàmic en el sistema, i la regularitat pel que fa a la quantitat de variables en cada sub-sistema, entre d'altres. Per tant, aquesta dissertació doctoral també desenvolupa una discussió al voltant del problema de partició per a sistemes de gran escala i respecte al paper que aquest procediment de partició juga en el disseny de controladors distribuïts basats en optimització. Finalment, es presenten estratègies de partició dinàmic juntament amb controladors basats en jocs poblacionals. Algunes aplicacions en enginyeria són usades per il·lustrar i provar els controladors dissenyats per mitjà de les contribucions noves basades en teoria de jocs, aquestes són: la xarxa d'aigua potable de Barcelona, múltiples reactors, sistema compost per diversos vehicles aeris no tripulats i un sistema de distribució d'aigua.Award-winningPostprint (published version

Distributed MPC with time-varying communication network: A density-dependent population games approach

© 2016 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works.This work addresses distributed control design by using density-dependent population dynamics. Furthermore, stability of the equilibrium point under this proposed class of population dynamics is studied, and the relationship between the equilibrium point of density-dependent population games (DDPG) and the solution of constrained optimization problems is shown. Finally, a distributed predictive control is designed with the proposed density-dependent dynamics, and contemplating a time-varying communication network.Peer ReviewedPostprint (author's final draft

Constrained distributed optimization : A population dynamics approach

Large-scale network systems involve a large number of states, which makes the design of real-time controllers a challenging task. A distributed controller design allows to reduce computational requirements since tasks are divided into different systems, allowing real-time processing. This paper proposes a novel methodology for solving constrained optimization problems in a distributed way inspired by population dynamics. This methodology consists of an extension of a population dynamics equation and the introduction of a mass dynamics equation. The proposed methodology divides the problem into smaller sub-problems, whose feasible regions vary over time achieving an agreement to solve the global problem. The methodology also guarantees attraction to the feasible region and allows to have few changes in the decision-making design when a network suffers the addition/removal of nodes/edges. Then, distributed controllers are designed with the proposed methodology and applied to the large-scale Barcelona Drinking Water Network (BDWN). Some simulations are presented and discussed in order to illustrate the control performance.Peer ReviewedPostprint (author's final draft

Time-varying partitioning for predictive control design: density-games approach

The design of distributed optimization-based controllers for large-scale systems (LSSs) implies every time new challenges. The fact that LSSs are generally located throughout large geographical areas makes dicult the recollection of measurements and their transmission. In this regard, the communication network that is required for a centralized control approach might have high associated economic costs. Furthermore, the computation of a large amount of data implies a high computational burden to manage, process and use them in order to make decisions over the system operation. A plausible solution to mitigate the aforementioned issues associated with the control of LSSs consists in dividing this type of systems into smaller sub-systems able to be handled by independent local controllers. This paper studies two fundamental components of the design of distributed optimization-based controllers for LSSs, i.e., the system partitioning and distributed optimization algorithms. The design of distributed model predictive control (DMPC) strategies with a system partitioning and by using density-dependent population games (DDPG) is presented.Peer ReviewedPostprint (author's final draft

The role of population games in the design of optimization-based controllers: a large-scale insight

This thesis is mainly devoted to the study of the role of evolutionary-game theory in the design of distributed optimization-based controllers. Game theoretical approaches have been used in several engineering fields, e.g., drainage wastewater systems, bandwidth allocation, wireless networks, cyber security, congestion games, wind turbines, temperature control, among others. On the other hand, a specific class of games, known as population games, have been mainly used in the design of controllers to manage a limited resource. This game approach is suitable for resource allocation problems since, under the framework of full-potential games, the population games can satisfy a unique coupled constraint while maximizing a potential function. First, this thesis discusses how the classical approach of the population games can contribute and complement the design of optimization-based controllers. Therefore, this dissertation assigns special interest on how the features of the population-game approach can be exploited extending their capabilities in the solution of distributed optimization problems. In addition, density games are studied in order to consider multiple coupled constraints and preserving the non-centralized information requirements. Furthermore, it is established a close relationship between the possible interactions among agents in a population with the constrained information sharing among different local controllers. On the other hand, coalitional games are discussed focusing on the Shapley power index. This power index has been used to assign an appropriate rewarding to players in function of their contributions to all possible coalitions. Even though this power index is quite useful in the engineering context, since it involves notions of fairness and/or relevance (how important players are), the main difficulty of the implementation of the Shapley value in engineering applications is related to the high computational burden. Therefore, this dissertation studies the Shapley value in order to propose an alternative manner to compute it reducing computational time, and a different way to find it by using distributed communication structures is presented. The studied game theoretical approaches are suitable for the modeling of rational agents involved in a strategic constrained interaction, following local rules and making local decisions in order to achieve a global objective. Making an analogy, distributed optimization-based controllers are composed of local controllers that compute optimal inputs based on local information (constrained interactions with other local controllers) in order to achieve a global control objective. In addition to this analogy, the features that relate the Nash equilibrium with the Karush-Kuhn-Tucker conditions for a constrained optimization problem are exploited for the design of optimization-based controllers, more specifically, for the design of model predictive controller. Moreover, the design of non-centralized controllers is directly related to the partitioning of a system, i.e., it is necessary to represent the whole system as the composition of multiple sub-systems. This task is not a trivial procedure since several considerations should be taken into account, e.g., availability of information, dynamical coupling in the system, regularity in the amount of variables for each sub-system, among others. Then, this doctoral dissertation also discusses the partitioning problem for large-scale systems and the role that this procedure plays in the design of distributed optimization-based controllers. Finally, dynamical partitioning strategies are presented with distributed population-games-based controllers. Some engineering applications are presented to illustrate and test the performance of all the proposed control strategies, e.g., the Barcelona water supply network, multiple continuous stirred tank reactors, system of multiple unmanned aerial vehicles.Esta tesis doctoral consiste principalmente en el estudio del rol que desempeña la teoría de juegos evolutiva en el diseño de controladores distribuidos basados en optimización. Diversos enfoques de la teoría de juegos han sido usados en múltiples campos de la ingeniera, por ejemplo, en sistemas de drenaje urbano, para la asignación de anchos de banda, en redes inalámbricas, en ciber-seguridad, en juegos de congestión, turbinas eólicas, control de temperatura, entre otros. Por otra parte, una clase especifica de juegos, conocidos como juegos poblacionales, se han usado principalmente en el diseño de controladores encargados de determinar la apropiada asignación de recursos. Esta clase de juegos es apropiada para problemas de distribución dinámica de recursos dado que, en el contexto de juegos poblacionales, los juegos poblacionales pueden ser usados para maximizar una función potencial mientras se satisface una restricción acoplada. Primero, esta tesis doctoral presenta como el enfoque clásico de los juegos poblacionales pueden contribuir y complementar en el diseño de controladores basados en optimización. Posteriormente, esta disertación concentra su atención en cómo las características de los juegos poblacionales pueden ser aprovechadas y extendidas para dar solución a problemas de optimización de forma distribuida. Adicionalmente, los juegos con dependencia de densidad son estudiados con el fin de considerar múltiples restricciones mientras se preservan las características no centralizadas de los requerimientos de información. Finalmente, se establece una estrecha relación entre las posibles interacciones de los agentes en una población y las restricciones de intercambio de información entre diversos controladores locales. También, se desarrolla una discusión sobre los juegos cooperativos y el índice de poder conocido como el valor de Shapley. Este índice de poder ha sido usado para la apropiada asignación de beneficios para un jugador en función de sus contribuciones a todas las posibles coaliciones que pueden formarse. Aunque este índice de poder es de gran utilidad en el contexto ingenieril, ya que involucra nociones de justicia y/o relevancia, la principal dificultad para implementar el valor de Shapley en aplicaciones de ingeniería está asociado a los altos costos computacionales para encontrarlo. En consecuencia, esta disertación doctoral estudia el valor de Shapley con el fin de ofrecer una alternativa para calcular este índice de poder reduciendo los costos computacionales e incluso contemplando estructuras distribuidas de comunicación. Los enfoques de la teoría de juegos estudiados son apropiados para el modelamiento de agentes racionales involucrados en una interacción estratégica con restricciones, siguiendo reglas locales y tomando decisiones locales para alcanzar un objetivo global. Realizando una analogía, los controladores distribuidos basados en optimización están compuestos por controladores locales que calculan acciones óptimas basados en información local (considerando interacciones restringidas con otros controladores locales) con el fin de alcanzar un objetivo global. Adicional a esta analogía, las características que relacionan el equilibrio de Nash con las condiciones de Karush-Kuhn-Tucker en un problema de optimizaciones con restricciones son aprovechadas para el diseño de controladores basados en optimización, más específicamente, para el diseño de controladores predictivos. Por otra parte, el diseño de controladores no centralizados está directamente relacionado con el particionado de un sistema, es decir, es necesario representar el sistema en su totalidad por medio del conjunto de varios sub-sistemas. Esta tarea no es un procedimiento trivial puesto que es necesario tener en cuenta varias consideraciones, por ejemplo, la disponibilidad de información, el acople dinámico en el sistema, la regularidad en cuanto a la cantidad de variables en cada sub-sistema, entre otras. Por lo tanto, esta disertación doctoral también desarrolla una discusión alrededor del problema de particionado para sistemas de gran escala y respecto al rol que este procedimiento de particionado juega en el diseño de controladores distribuidos basados en optimización. Finalmente, se presentan estrategias de particionado dinámico junto con controladores basados en juegos poblacionales. Algunas aplicaciones en ingeniería son usadas para ilustrar y probar los controladores diseñados por medio de las contribuciones novedosas basadas en teoría de juegos, estas son, la red de agua potable de Barcelona, múltiples reactores, sistema compuesto por varios vehículos aéreos no tripulados y un sistema de distribución de agua.Aquesta tesi doctoral consisteix principalment en l'estudi del paper que exerceix la teoria de jocs evolutiva en el disseny de controladors distribuïts basats en optimització. Diversos enfocaments de la teoria de jocs han estat usats en múltiples camps de l'enginyeria, per exemple, en sistemes de drenatge urbà, per a l’assignació d'amples de banda, en xarxes sense fils, a ciber-seguretat, en jocs de congestió, turbines eòliques, control de temperatura, entre altres. D'altra banda, una classe especifica de jocs, coneguts com jocs poblacionals, s'han fet servir principalment en el disseny de controladors encarregats de determinar l'apropiada assignació de recursos. Aquesta classe de jocs és apropiada per a problemes de distribució dinàmica de recursos atès que, en el context de jocs poblacionals, aquests poden ser usats per a maximitzar una funció potencial mentre es satisfà una restricció acoblada. Primer, aquesta tesi doctoral presenta com l'enfocament clàssic dels jocs poblacionals poden contribuir i complementar en el disseny de controladors basats en optimització. Posteriorment, aquesta dissertació concentra la seva atenció en com les característiques dels jocs poblacionals poden ser aprofitades i esteses per donar solució a problemes d’optimització de forma distribuïda. Addicionalment, els jocs amb dependència de densitat són estudiats amb la _finalitat de considerar múltiples restriccions mentre es preserven les característiques no centralitzades dels requeriments d’informació. Finalment, s'estableix una estreta relació entre les possibles interaccions dels agents en una població i les restriccions d'intercanvi d’informació entre diversos controladors locals. També, es desenvolupa una discussió sobre els jocs cooperatius i l’índex de poder conegut com el valor de Shapley. Aquest índex de poder ha estat usat per l'apropiada assignació de beneficis per a un jugador en funció de les seves contribucions a totes les possibles coalicions que poden formar-se. Encara que aquest índex de poder es de gran utilitat en el context de l'enginyeria, ja que involucra nocions de justícia i/o rellevància, la principal dificultat per implementar el valor de Shapley en aplicacions d'enginyeria està associat als alts costos computacionals per trobar-lo. En conseqüència, aquesta dissertació doctoral estudia el valor de Shapley per tal d'oferir una alternativa per calcular aquest índex de poder reduint els costos computacionals i fins i tot contemplant estructures distribuïdes de comunicació. Els enfocaments de la teoria de jocs estudiats són apropiats per al modelatge d'agents racionals involucrats en una interacció estratègica amb restriccions, seguint regles locals i prenent decisions locals per assolir un objectiu global. Realitzant una analogia, els controladors distribuïts basats en optimització estan compostos per controladors locals que calculen accions optimes basats en informació local (considerant interaccions restringides amb altres controladors locals) per tal d'assolir un objectiu global. Addicional a aquesta analogia, les característiques que relacionen l'equilibri de Nash amb les condicions de Karush-Kuhn-Tucker en un problema d’optimització amb restriccions són aprofitades per al disseny de controladors basats en optimització, més específicament, per al disseny de controladors predictius. D'altra banda, el disseny de controladors no centralitzats està directament relacionat amb la partició d'un sistema, és a dir, cal representar el sistema en la seva totalitat per mitjà del conjunt de diversos sub-sistemes. Aquesta tasca no és un procés trivial, ja que cal tenir en compte diverses consideracions, per exemple, la disponibilitat d’informació, l'acoblament dinàmic en el sistema, i la regularitat pel que fa a la quantitat de variables en cada sub-sistema, entre d'altres. Per tant, aquesta dissertació doctoral també desenvolupa una discussió al voltant del problema de partició per a sistemes de gran escala i respecte al paper que aquest procediment de partició juga en el disseny de controladors distribuïts basats en optimització. Finalment, es presenten estratègies de partició dinàmic juntament amb controladors basats en jocs poblacionals. Algunes aplicacions en enginyeria són usades per il·lustrar i provar els controladors dissenyats per mitjà de les contribucions noves basades en teoria de jocs, aquestes són: la xarxa d'aigua potable de Barcelona, múltiples reactors, sistema compost per diversos vehicles aeris no tripulats i un sistema de distribució d'aigua

Distributed population dynamics : optimization and control applications

© 2017 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works.Population dynamics have been widely used in the design of learning and control systems for networked engineering applications, where the information dependency among elements of the network has become a relevant issue. Classic population dynamics (e.g., replicator, logit choice, Smith, and projection) require full information to evolve to the solution (Nash equilibrium). The main reason is that classic population dynamics are deduced by assuming well-mixed populations, which limits the applications where this theory can be implemented. In this paper, we extend the concept of population dynamics for nonwell-mixed populations in order to deal with distributed information structures that are characterized by noncomplete graphs. Although the distributed population dynamics proposed in this paper use partial information, they preserve similar characteristics and properties of their classic counterpart. Specifically, we prove mass conservation and convergence to Nash equilibrium. To illustrate the performance of the proposed dynamics, we show some applications in the solution of optimization problems, classic games, and the design of distributed controllers.Peer ReviewedPostprint (author's final draft

A class of population dynamics for reaching epsilon-equilibria : engineering applications

© 2016 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other worksThis document proposes a novel class of population dynamics that are parameterized by a nonnegative scalar . We show that any rest point of the proposed dynamics corresponds to an -equilibrium of the underlying population game. In order to derive this class of population dynamics, our approach is twofold. First, we use an extension of the pairwise comparison revision protocol and the classic mean dynamics for well-mixed populations. This approach requires full-information. Second, we employ the same revision protocol and a version of the mean dynamics for non-well-mixed populations that uses only local information. Furthermore, invariance properties of the set of allowed population states are analyzed, and stability of the -equilibria is formally proven. Finally, two engineering examples based on the -dynamics are presented: A control scenario in which noisy measurements should be mitigated, and a humanitarian engineering application related to wealth distribution in poor societies. © 2016 American Automatic Control Council (AACC).Peer ReviewedPostprint (author's final draft

Dynamical tuning for MPC using population games: a water supply network application

ISA Transactions Best Paper Award 2018Model predictive control (MPC) is a suitable strategy for the control of large-scale systems that have multiple design requirements, e.g., multiple physical and operational constraints. Besides, an MPC controller is able to deal with multiple control objectives considering them within the cost function, which implies to determine a proper prioritization for each of the objectives. Furthermore, when the system has time-varying parameters and/or disturbances, the appropriate prioritization might vary along the time as well. This situation leads to the need of a dynamical tuning methodology. This paper addresses the dynamical tuning issue by using evolutionary game theory. The advantages of the proposed method are highlighted and tested over a large-scale water supply network with periodic time-varying disturbances. Finally, results are analyzed with respect to a multi-objective MPC controller that uses static tuning.Peer ReviewedAward-winningPostprint (author's final draft

On the communication discussion of two distributed population-game approaches for optimization purposes

© . This manuscript version is made available under the CC-BY-NC-ND 4.0 license http://creativecommons.org/licenses/by-nc-nd/4.0/Population games have become a powerful tool for solving resource-allocation problems in a distributed manner, and for the design of non-centralized optimization-based controllers. The aim of this paper is to illustrate the advantages of two recently introduced population-game approaches in comparison to other classical optimization methods. More specically, the discussion is mainly devoted to the communication requirements. Finally, an illustrative example shows with more detail the advantages highlighted throughout the comparative discussion, i.e., fewer communications links are required for resource allocation problems, and there is not need of additional computation stages to solve the problem in a distributed manner.Peer ReviewedPostprint (author's final draft