Evolutionary games on graphs

Game theory is one of the key paradigms behind many scientific disciplines from biology to behavioral sciences to economics. In its evolutionary form and especially when the interacting agents are linked in a specific social network the underlying solution concepts and methods are very similar to those applied in non-equilibrium statistical physics. This review gives a tutorial-type overview of the field for physicists. The first three sections introduce the necessary background in classical and evolutionary game theory from the basic definitions to the most important results. The fourth section surveys the topological complications implied by non-mean-field-type social network structures in general. The last three sections discuss in detail the dynamic behavior of three prominent classes of models: the Prisoner's Dilemma, the Rock-Scissors-Paper game, and Competing Associations. The major theme of the review is in what sense and how the graph structure of interactions can modify and enrich the picture of long term behavioral patterns emerging in evolutionary games.Comment: Review, final version, 133 pages, 65 figure

Modeling human-coupled common pool resource systems with techniques in evolutionary game theory and reinforcement learning

Shared resource extraction among profit-seeking individuals involves a tension between individual benefit and the collective well-being represented by the persistence of the resource. In these systems, the decisions of rational agents have been modeled from a game theoretic, and more recently, a reinforcement learning approach. Within game theoretic models, the mechanisms used for learning dynamics are often assumed, and the influence of the type of learning dynamics are not systematically compared under identical models. Models using reinforcement learning techniques are a relatively recent addition to this field, and the literature on multi-agent systems with spatial structure is very sparse. This thesis presents two common pool resource models, each using one of these two different approaches. In the second chapter, an evolutionary common pool resource game is simulated on a social network with payoff functions that depend on the state of the resource. Model predictions under two types of learning, best response and imitation dynamics are compared and it is shown that best response dynamics lead to an increase in sustainability of the system, the persistence of cooperation while decreasing inequality and debt. Given the strikingly different outcomes for best response versus imitation dynamics for common-pool resource systems, our results suggest that modellers should choose strategy update rules that best represent decision-making in their study systems. In the third chapter, an analogous model to the one above is presented, however it uses reinforcement learning techniques to inform the agents' harvesting decisions. Here, the harvesting strategies of the agents are learned, rather than prescribed a priori, and the payoff function is the weighted sum of a profit goal and a social conforming goal. Preliminary results show that an increased cost of harvesting has a positive effect on the resource level and sustainability of the system, however, a high cost parameter brings the system to an unprofitable state where agents harvest above the analytically derived optimal level. Additionally, the effect of the weight of the conforming goal shows contradictory outcomes, which are highly dependent on the profitability of the system. These different outcomes are posited to be due to strong social conformity amplifying existing trends in the social dynamics. Results from both chapters demonstrate the profound effect human learning models can have on common-pool resource systems, as well as the potential for sustainable outcomes to emerge among a non-hierarchical system of self-interested agents

Dynamics and collective phenomena of social systems

Esta tesis aborda el estudio de sistemas sociales utilizando los procedimientos teóricos de la física. Para abordar estos problemas existen evidentemente métodos de análisis y predictivos en la sociología, pero la aportación de la física proporciona tanto nuevas perspectivas complementarias como potentes herramientas. Este enfoque resulta especialmente útil en los problemas que involucran aspectos estocásticos y de dinámica no lineal. Los procedimientos utilizados pertenecen a la física de sistemas complejos e incluyen, además de los métodos matemáticos tradicionales de la física, los tomados de distintas disciplinas matemáticas como las redes complejas, la teoría de juegos o la percolación. La aportación no consiste únicamente en los procedimientos de cálculo y predictivos, sino sobre todo en el estudio de las propiedades emergentes que surgen de los planteamientos holísticos. CONTENIDOS Se estudian sistemas particulares (no exclusivamente sociales) mediante la introducción de diferentes modelos basados en el agente (ABM), a través de redes de autómatas. Cuando es posible, los modelos son analizados siguiendo métodos matemáticos de la física, con el fin de alcanzar soluciones analíticas. Complementariamente al desarrollo teórico, se realiza el tratamiento experimental mediante simulaciones numéricas, tanto con métodos de Monte Carlo como determinísticos o mixtos. Este método de trabajo se ha revelado muy fructífero para el estudio de diferentes problemas abiertos, a los que se pretende contribuir en su comprensión. PRIMERA PARTE: Cooperación. La emergencia de la cooperación en escenarios hostiles, donde la acción egoísta es más beneficiosa en primera instancia, constituye un objeto de estudio en diferentes campos de la ciencia. Por ejemplo, la aparición de organismos multicelulares, el comportamiento gregario en animales o la formación de sociedades humanas son estudiados mediante este enfoque. En primera aproximación la cooperación no se ve favorecida: Un organismo, animal o persona al cooperar gasta unos recursos que puede necesitar para subsistir, mientras que el agente egoísta sale beneficiado arriesgando menos su superviviencia. De acuerdo con este argumento, la evolución conllevaría una progresiva disminución de los individuos cooperadores, para terminar con poblaciones formadas exclusivamente por agentes egoístas. Como respuesta a este interrogante evolutivo (ya planteado por Charles Darwin) se han ido introduciendo diferentes mecanismos. La selección de parentesco, introducida por William Hamilton, consiste en una estrategia que permite conservar el genoma mediante el sacrificio de un individuo en favor de la supervivencia de seres con los que comparte una alta proporción de genes. No obstante, este mecanismo no explica la cooperación entre individuos sin relación de parentesco, para la que se han ido postulando diferentes mecanismos en los ultimos treinta años. Por un lado, la reciprocidad directa, propuesta por Robert Trivers, se basa en el beneficio que obtienen al cooperar dos agentes cuando interaccionan entre ellos repetidas veces, pese a que en una única interacción un agente egoísta se viera favorecido frente a un cooperador. Por otro lado, según el mecanismo de reciprocidad de red propuesta por Robert Alxerod en 1983 y formalizada posteriormente por Martin A. Nowak y Lord Robert May, cuando la población está dotada de una estructura subyacente, de manera que un individuo interacciona sólo con ciertos agentes, la cooperación puede verse favorecida en agrupaciones (clusters) de elementos cooperadores que se ayuden mutuamente, consiguiendo una ventaja evolutiva frente a los egoístas. La metodología seguida en los trabajos presentados consiste en implementar en diferentes topologías de red los procesos de toma de decisiones de la teoría evolutiva de juegos. Este método ha resultado ser muy fructífero en las últimas décadas para abordar diferentes problemas. Los resultados muestran cómo, para algunas dinámicas evolutivas, la estructura subyacente favorece la cooperación a través de la reciprocidad de red. En particular, en el modelo dipolo introducido en el capítulo 2, la formulación termodinámica permite interpretar los indicadores sociales macroscópicos como observables físicos, para posteriormente poder inferir resultados analíticos. Este modelo permite, a través de la distribución de Boltzmann, un análisis riguroso de un sistema consistente en una población influenciada por dos conjuntos opuestos. La interpretación del modelo en términos sociales dota de significado matemático al concepto de temperatura social. Llevando más lejos este paralelismo, se estudia como se comportan dos poblaciones en contacto desde la perspectiva de la transmisión de calor entre dos sistemas termodinámicos bajo la influencia de respectivos baños térmicos. A pesar de que, al igual que la mayoría de los modelos sociales, el modelo no es conservativo, se muestra como la entropía en términos de información es un punto de inicio sólido para el estudio de dichos modelos. En en el capítulo 3 se profundiza en el estudio de la teoría evolutiva de juegos en redes complejas: Partiendo de investigaciones previas sobre la robustez a las condiciones iniciales, se toma un modelo característico (dilema del prisionero en diferentes redes aleatorias) con el fin de estudiar la reversibilidad del proceso. Una vez que el sistema alcanza el equilibrio, se varía adiabáticamente un parámetro de la matriz de pagos. Los resultados muestran un comportamiento reversible del modelo dentro de un amplio rango de valores del parámetro. No obstante, se demuestra le existencia de un punto de no retorno a partir del cual el sistema exhibe un comportamiento no reversible, dando lugar a un ciclo de histéresis. Esto es, existe un estado límite tal que, una vez sobrepasado, la población no recupera los valores anteriores de cooperación al reestablecer el estímulo. Este resultado puede ser de utilidad en diferentes ámbitos como el ecológico (punto límite de degradación de un habitat, por ejemplo), económico (situaciones desesperadas), etcétera. A pesar de los diferentes mecanismos para explicar la persistencia de la cooperación en entornos hostiles, un problema de difícil solución es aquel en el que la población está bien mezclada, esto es, cuando todos los agentes están relacionados entre sí. En el capítulo 4 se estudia una dinámica evolutiva de la teoría de juegos, la dinámica replicador aplicada al dilema del prisionero, implementada en dos redes totalmente conectadas acopladas entre sí. El modelo consiste en dos poblaciones que interaccionan internamente mediante el dilema del prisionero evolutivo, acopladas -no evolutivamente- a través de un incentivo menos gravoso para la cooperación (halcón-paloma). En el caso de poblaciones bien mezcladas, en el límite termodinámico, los resultados analíticos obtenidos muestran que, para determinados valores de los parámetros, la cooperación no decae a cero; de hecho, evoluciona a estados polarizados y casi-polarizados. Además del caso anterior con solución analítica, se estudia numéricamente el comportamiento del modelo en redes finitas aleatorias, donde se reproducen cualitativamente los resultados anteriores. En el caso de las redes aleatorias, la cooperación está influída por dos mecanismos superpuestos: la polarización y la reciprocidad de red. Por un lado, para valores pequeños del parámetro que penaliza la cooperación, la polarización se opone a la reciprocidad de red. Por otro lado, para valores mayores del parámetro los dos mecanismos promocionan la cooperación, viéndose ésta doblemente potenciada. Los resultados del estudio aportan nuevos mecanismos de control aplicables a diferentes campos. En cualquier caso, las soluciones al problema general de la emergencia de la cooperación dependen del ámbito específico considerado. En lo concerniente a las interacciones humanas, durante los últimos veinte años ha habido una gran controversia sobre la dependencia del nivel de cooperación respecto a la estructura de la red de contactos. Pese a los múltiples estudios teóricos realizados, los resultados no son concluyentes, puesto que una de las hipótesis de partida es la manera en la que las personas actualizan su acción, esto es, sus estrategias. Estas estrategias habitualmente dependen del beneficio obtenido por los agentes del entorno y sus respectivas acciones. No obstante, recientes experimentos indican que las estrategias en las interacciones entre personas no tienen en cuenta el beneficio de los agentes con los que interaccionan, sino el nivel de cooperación en la vecindad. Estos trabajos experimentales están realizados sobre conjuntos de pequeño o mediano tamaño. En el estudio presentado en el capítulo 5, se introducen las estrategias propuestas en estos trabajos y se estudia teóricamente el comportamiento bajo diferentes redes subyacentes de creciente complejidad: totalmente conectadas, regulares y heterogéneas, siendo estas últimas las que se encuentran en los sistemas sociales. Aunque el primer supuesto se puede resolver analíticamente, los restantes se resuelven mediante simulaciones numéricas. Los resultados muestran que, cuando las estrategias son independientes de la matriz de pagos, el nivel de cooperación es independiente de la topología de la red. Las consecuencias del resultado suponen que, en el ámbito de las interacciones humanas y ante un problema que pueda ser descrito mediante el dilema del prisionero, el mecanismo de reciprocidad de red no juega un papel determinante en la emergencia de la cooperación. Verificar esta predicción implica la realización de experimentos a gran escala, requisito necesario para reproducir las redes de conectividad heterogéneas presentes en las sociedades. En el capítulo 6 se muestra el ensayo realizado para confirmar la anterior hipótesis: En primer lugar, se realiza un experimento con una red regular de 625 individuos. Por otro lado, se realiza simultáneamente otro experimento en una red heterogénea, en la que la conectividad varía para cada individuo. Cada uno de estos experimentos consta a su vez de dos fases: el experimento propiamente dicho y una fase de control en la que se elimina el efecto de la red mediante una reconexión aleatoria de los contactos en cada ronda. La interacción se realiza a través del dilema del prisionero, donde el mayor beneficio colectivo se obtiene mediante la mutua colaboración, pero la acción egoísta frente a un cooperador proporciona mayor ganancia individual. Los resultados del experimento confirman las predicciones teóricas del capítulo 5, no apareciendo diferencia en los niveles de cooperación para las dos redes estudiadas dentro del margen de error del experimento. SEGUNDA PARTE: La tolerancia como variable en la dinámica cultural. Mientras la dinámica de opinión estudia las probabilidades que tiene un grupo social de alcanzar consenso respecto a una materia, la dinámica cultural surge como una generalización en la que la cultura se modela a través de un vector de opiniones. El modelo más representativo de dinámica cultural es el propuesto por Robert Axelrod en 1997, donde se explora la idea de homofilia, esto es, la tendencia de las personas a relacionarse con similares. Esta similitud puede referirse a diferentes atributos (como idioma, clase social, religión, política, etcétera) que constituyen las componentes del vector cultural. El número de posibles valores que pueden tomar estos atributos es una variable independiente que representa la diversidad cultural inicial. El sistema proporciona dos fases diferenciadas: una multicultural caracterizada por la falta de consenso y otra de globablización en la que los individuos comparten opinión sobre los diferentes atributos. Desde entonces, se han estudiado múltiples modificacionesal modelo original, así como otros nuevos, siendo un campo multidisciplinar muy activo actualmente. En esta segunda parte de la tesis se aborda el concepto de tolerancia, esto es, el grado de aceptación frente a un elemento de diferente opinión, introduciéndolo como una variable de la dinámica cultural. En el capítulo 7, partiendo de los modelos de segregación urbana de Schelling y cultural de Axelrod, diseñamos un nuevo modelo (Axelrod-Schelling) en el que los agentes se mueven en función de la desavenencia con los nodos de su entorno, caracterizada por un umbral de intolerancia. Al dotar de movilidad al modelo de Axelrod, por un lado se favorece la fase de globalización cultural, hasta el punto de que, incluso para pequeñas densidades de huecos, el parámetro de orden escala con el número total de agentes. Por otro lado, cuando los huecos superan el umbral de percolación, además de las dos fases características del modelo de Axelrod aparece una nueva fase fragmentada multicultural para valores pequeños de la diversidad cultural inicial. Junto con el estudio de los estados de equilibrio, la movilidad introducida proporciona interesantes procesos de clusterización, erosión y adhesión. ¿Puede la intolerancia considerarse una característica cultural susceptible de imitación y difusión? De ser así: ¿En qué circustancias tiene una cultura tolerante más posibilidades de difundirse respecto a una intolerante? A diferencia del modelo anterior, donde la tolerancia es una constante del sistema, en la modificación introducida en el capítulo 8 se considera la intolerancia como un carácter cultural del individuo y, al igual que a los otros caracteres propios del modelo Axelrod original, se le permite variar por imitación cultural. El desarrollo de este refinamiento permite estudiar los casos en los que hay, o no, ventaja selectiva de las culturas respecto a la tolerancia. Mientras en los capítulos [7,8] se introduce la tolerancia en el modelo original de Axelrod a través de la movilidad, en el capítulo 9 introducimos una probabilidad de reconexión, permitiendo a los agentes eliminar los enlaces con sus vecinos dispares si su similaridad cultural es inferior a un parámetro de tolerancia. La principal diferencia de este modelo con el Axelrod-Schelling anterior es que, además de estar dispuestos los agentes en una red no regular, ésta es dinámica, con una evolución dada por la propia dinámica cultural, lo que le confiere mayor representatividad. Tal y como muestran los resultados, en sociedades tolerantes el mecanismo de reconexión promueve el consenso cultural respecto a las redes estáticas. No obstante, valores intermedios de la tolerancia evitan la reconexión una vez que la red está fragmentada, lo que determina una sociedad multicultural para valores de la diversidad inicial que en el modelo original de Axelrod implican globalización. Por último, en sociedades intolerantes, aunque transitoriamente se forman grupos culturales aislados, la reconexión inducida por la baja tolerancia facilita la transmisión cultural entre los diferentes grupos, resultando sociedades globalizadas incluso para valores muy altos de la diversidad cultural inicial. En definitiva, valores intermedios de la tolerancia favorecen el multiculturalismo, mientras que valores extremos favorecen la globalización

Characterization of self-organization processes in complex networks

Programa Doutoral em Física (MAP-fis)A estrutura de interações sociais numa população é muitas vezes modelada através de uma rede complexa que representa os indivíduos e respetivas relações sociais. Estas estruturas são conhecidas por afetarem de forma fundamental os processos dinâmicos que suportam. A caracterização desse efeito é, no entanto, uma tarefa complicada pois o tratamento matemático destes sistemas requer o estudo de um espaço de estados de grande dimensão, limitando a aplicabilidade de abordagens analíticas e numéricas. Esta tese teve como objetivo desenvolver métodos, inspirados na Física Estatística dos Sistemas Fora do Equilíbrio, com o fim de caracterizar processos dinâmicos em redes complexas. Nesta tese demonstramos que a estrutura de uma população naturalmente induz a emergência de padrões de correlações entre indivíduos que partilham traços semelhantes, um fenómeno também identificado em estudos empíricos. Estes padrões de correlações são independentes do tipo de processo dinâmico considerado, do tipo de informação que se propaga sendo observados numa classe alargada de redes complexas. Mostramos também que propriedades como o clustering e a densidade de ligações da rede têm um papel fundamental nos padrões de correlações emergentes. Outra questão fundamental diz respeito à relação entre as dinâmicas local e a global em redes sociais. De facto, as redes sociais afetam de forma tão fundamental os processos dinâmicos que suportam que em muitas situações o comportamento coletivo observado não tem qualquer relação aparente com a dinâmica local na sua génese. Este é um problema comum a muitos sistemas complexos e tipicamente associado a fenómenos emergentes e de auto-organização. Neste trabalho esta questão é explorada no contexto do problema da Cooperação e no âmbito da Teoria de Jogos Evolutiva. Para esse fim introduzimos uma quantidade que é estimada numericamente e a que damos o nome de Average Gradient of Selection (AGOS). Esta quantidade, relaciona de forma efetiva as dinâmicas local e global, possibilitando a descrição do processo de auto-organização em populações estruturadas. Através do AGOS mostramos que quando as interações entre indivíduos são descritas através do Dilema do Prisioneiro, uma metáfora popular no estudo da cooperação, a dinâmica coletiva emergente é sensível à forma da rede de interações entre os indivíduos. Em particular, demonstramos que quando a rede é homogénea (heterogénea) no que respeita à distribuição de grau o Dilema do Prisioneiro é transformado numa dinâmica coletiva de coexistência (coordenação). Mostramos ainda que esta transformação depende da pressão de seleção (associada ao grau de determinismo no processo de decisão dos indivíduos) e de taxa de mutações (a adoção espontânea de um novo comportamento por parte de um individuo) consideradas. A relação entre estas duas varáveis pode também resultar em alterações de regimes dinâmicos cujo o resultado pode, em casos particulares, resultar no desfecho drástico para a evolução da cooperação. Finalmente, fazemos uso do AGOS para caracterizar a dinâmica evolutiva da cooperação no caso em que a estrutura co-evolve. Demonstramos que na presença de uma estrutura social a dinâmica global é semelhante à de um jogo de coordenação entre N-pessoas, cujas características dependem de forma sensível das escalas de tempo relativas entre a evolução de comportamentos e a evolução da estrutura. Uma vez mais, a dinâmica global emergente contrasta com o Dilema do Prisioneiro que caracteriza as interações locais entre os indivíduos. Acreditamos que o AGOS, que pode ser facilmente aplicado no estudo de outros processos dinâmicos, proporciona uma contribuição significativa para o melhor entendimento de Sistemas Complexos, em particular aqueles em que as interações entre os elementos constituintes são bem definidos através uma rede complexa.The structure of social interactions in a population is often modeled by means of a complex network representing individuals and their social ties. These structures are known to fundamentally impact the processes they support. However, the characterization of how structure impacts a dynamical process is by no means an easy task. Indeed, the large configuration space spanned tends to limit the systematic applicability of numerical methods, while analytical treatments have failed to provide a good description of the system dynamics. The aim of this thesis was to develop methods inspired in the Statistical Physics of Systems far from equilibrium to characterize dynamical processes on complex networks. In this thesis we show how the structure of a population naturally induces the emergence of correlations between individuals that share similar traits, which is in accordance empirical evidence. These, so called, ’peer-influence” correlation patterns are independent of the type of dynamical process under consideration, the type of information being spread while being ubiquitous among a wide variety of network topologies. We have also find evidence that central to the ’peer-influence” patterns are topological features such as the clustering and the sparsity of the underlying network of interactions. Another fundamental problem concerns the relationship between local and global dynamics in social networks. Indeed, social networks affect in such a fundamental way the dynamics of the population they support that the collective, population-wide behavior that one observes often bears no relation to the individual processes it stems from. This is in fact a common problem among many Complex Systems typically associated with self-organization and emerging phenomena. Here we study this issue in the context of the problem of Cooperation and in the realm of Evolutionary Game Theory. To that end we introduce a numerically estimated mean-field quantity that we call the Average Gradient of Selection (AGOS). This quantity is able to effectively connect the local and global dynamics, providing a way to track the self-organization of cooperators and defectors in networked populations. With the AGOS we show that when individuals engage in a Prisoner’s Dilemma, a popular cooperation metaphor, the emerging collective dynamics depends on the shape of the underlying network of interactions. In particular, we show that degree homogeneous (heterogeneous) networks the Prisoner’s Dilemma is transformed into a collective coexistence (coordination) dynamics, contrasting with the defector dominance of the local dynamics. We further show that the extent to which these emergent phenomena are observed in structured populations is conditional on the selection pressure (the uncertainty associated with the decision making) and the rate of mutations (the spontaneously adoption of new behaviors by individuals) under consideration. Interestingly, the interplay between selection pressure and mutation rates can lead to drastic regime shifts in the evolution of cooperation. Finally, we make use of the AGOS to characterize the evolutionary dynamics of cooperation in the case of a co-evolving social structure. We demonstrate that in an adaptive social structure the population-wide dynamics resembles that of a N-person coordination game, whose characteristics depend sensitively on the relative time-scales between behavioral and network co-evolution. Once more, the resulting collective dynamics contrasts with the two-person Prisoner’s Dilemma that characterizes how individuals interact locally. We argue that the AGOS, which can be readily applied to other dynamical contexts and processes, provides a significant contribution to a better understanding of Complex Systems involving populations in which who interacts with whom is well-defined by a complex network

Reputation-based Strategies for the Evolution of Cooperative Behaviour

Cooperation between strangers can be difficult to explain. Several mechanisms have been shown to sustain cooperation among which one of the most general is Indirect Reciprocity. This describes how reputation-based social norms can distinguish between appropriate and inappropriate behaviours and sustain cooperation through the promise of future reciprocity from other members of a population. We present three experiments that investigate how a social norm’s ability to sustain cooperation is affected when: information flow is restricted to between neighbours, anyone can punish and anyone can be punished, and when people are capable of fine tuning their behaviour in response to their environment. Using simulations and a series of agent-based models, we find that - in the two-person prisoner's dilemma - restricting the flow of information and ensuring people learn from their neighbours, benefits the maintenance of good behaviour. In such scenarios, the best chances for cooperation occur when actions are judged harshly, ensuring that a good reputation once lost, is difficult to regain. For social norms to sustain cooperation in collective action problems, similar harshness is required through the ongoing threat of punishment. These situations can be highly cooperative if withdrawal from the social dilemma is possible and such behaviour is not judged to be morally worse than defection. However, if people are not able to punish badly behaving peers, then free-riding runs rampant unless the population considers defection to be worse than withdrawing from the social dilemma. We show that an improvement on this state of affairs, can be obtained when agents are able to fine-tune their behaviour when confronted with various reputational environments. Regardless of how actions are morally viewed, cooperation has a good chance if people can be sufficiently deliberate