Coordination of multi-agent systems: stability via nonlinear Perron-Frobenius theory and consensus for desynchronization and dynamic estimation.

This thesis addresses a variety of problems that arise in the study of complex networks composed by multiple interacting agents, usually called multi-agent systems (MASs). Each agent is modeled as a dynamical system whose dynamics is fully described by a state-space representation. In the first part the focus is on the application to MASs of recent results that deal with the extensions of Perron-Frobenius theory to nonlinear maps. In the shift from the linear to the nonlinear framework, Perron-Frobenius theory considers maps being order-preserving instead of matrices being nonnegative. The main contribution is threefold. First of all, a convergence analysis of the iterative behavior of two novel classes of order-preserving nonlinear maps is carried out, thus establishing sufficient conditions which guarantee convergence toward a fixed point of the map: nonnegative row-stochastic matrices turns out to be a special case. Secondly, these results are applied to MASs, both in discrete and continuous-time: local properties of the agents' dynamics have been identified so that the global interconnected system falls into one of the above mentioned classes, thus guaranteeing its global stability. Lastly, a sufficient condition on the connectivity of the communication network is provided to restrict the set of equilibrium points of the system to the consensus points, thus ensuring the agents to achieve consensus. These results do not rely on standard tools (e.g., Lyapunov theory) and thus they constitute a novel approach to the analysis and control of multi-agent dynamical systems. In the second part the focus is on the design of dynamic estimation algorithms in large networks which enable to solve specific problems. The first problem consists in breaking synchronization in networks of diffusively coupled harmonic oscillators. The design of a local state feedback that achieves desynchronization in connected networks with arbitrary undirected interactions is provided. The proposed control law is obtained via a novel protocol for the distributed estimation of the Fiedler vector of the Laplacian matrix. The second problem consists in the estimation of the number of active agents in networks wherein agents are allowed to join or leave. The adopted strategy consists in the distributed and dynamic estimation of the maximum among numbers locally generated by the active agents and the subsequent inference of the number of the agents that took part in the experiment. Two protocols are proposed and characterized to solve the consensus problem on the time-varying max value. The third problem consists in the average state estimation of a large network of agents where only a few agents' states are accessible to a centralized observer. The proposed strategy projects the dynamics of the original system into a lower dimensional state space, which is useful when dealing with large-scale systems. Necessary and sufficient conditions for the existence of a linear and a sliding mode observers are derived, along with a characterization of their design and convergence properties

Decentralized Event-Triggered Consensus of Linear Multi-agent Systems under Directed Graphs

An event-triggered control technique for consensus of multi-agent systems with general linear dynamics is presented. This paper extends previous work to consider agents that are connected using directed graphs. Additionally, the approach shown here provides asymptotic consensus with guaranteed positive inter-event time intervals. This event-triggered control method is also used in the case where communication delays are present. For the communication delay case we also show that the agents achieve consensus asymptotically and that, for every agent, the time intervals between consecutive transmissions is lower-bounded by a positive constant.Comment: 9 pages, 5 figures, A preliminary version of this manuscript has been submitted to the 2015 American Control Conferenc

Neuronal assembly dynamics in supervised and unsupervised learning scenarios

The dynamic formation of groups of neurons—neuronal assemblies—is believed to mediate cognitive phenomena at many levels, but their detailed operation and mechanisms of interaction are still to be uncovered. One hypothesis suggests that synchronized oscillations underpin their formation and functioning, with a focus on the temporal structure of neuronal signals. In this context, we investigate neuronal assembly dynamics in two complementary scenarios: the first, a supervised spike pattern classification task, in which noisy variations of a collection of spikes have to be correctly labeled; the second, an unsupervised, minimally cognitive evolutionary robotics tasks, in which an evolved agent has to cope with multiple, possibly conflicting, objectives. In both cases, the more traditional dynamical analysis of the system’s variables is paired with information-theoretic techniques in order to get a broader picture of the ongoing interactions with and within the network. The neural network model is inspired by the Kuramoto model of coupled phase oscillators and allows one to fine-tune the network synchronization dynamics and assembly configuration. The experiments explore the computational power, redundancy, and generalization capability of neuronal circuits, demonstrating that performance depends nonlinearly on the number of assemblies and neurons in the network and showing that the framework can be exploited to generate minimally cognitive behaviors, with dynamic assembly formation accounting for varying degrees of stimuli modulation of the sensorimotor interactions

Elektrophysiologische Charakterisierung des isolierten circadianen Schrittmachers der Schabe Leucophaea maderae

Der Sitz des circadianen Schrittmachers, der das Laufverhalten der Schabe Leucophaea maderae steuert, wurde durch Läsions- und Transplantationsexperimente in der akzessorischen Medulla (aMe; Plural akzessorische Medullae, aMae) lokalisiert. Die aMe ist ein noduläres Neuropil, welches sich am frontalen, ventromedialen Rand der Medulla in den bilateralen optischen Loben befindet. Immunfärbungen gegen das Octadeca-Peptid pigment-dispersing hormon (PDH) aus Crustaceen zeigen eine dichte Innervation von PDH-immunreaktiven (PDH-ir) Zellen in der aMe. Bei Drosophila melanogaster und Leucophaea maderae exprimiert ein Grossteil der PDH-ir Zellen das Protein PERIOD, einen integralen Bestandteil des molekularen circadianen Schrittmachers (pacemaker). Darüber hinaus erfüllt die Anatomie der gefundenen PDH-ir Zellen wichtige Kriterien eines circadianen Schrittmachers. So weisen sie Projektionen in der Lamina auf und somit einen möglichen Informationsausgang zu den Komplexaugen, es besteht eine Kopplungsbahn zwischen den bilateralen aMae und es sind Ausgänge in das superiore mediane Protocerebrum vorhanden, welche für die Kontrolle des Verhaltens verantwortlich sein könnten. Zusätzlich zu den PDH-ir Zellen wird die aMe von einer Vielzahl verschiedener Peptid- und GABA-ir Neurone innerviert. Die Verzweigungen dieser Neurone formen Subkompartimente in der aMe: ein dichtes noduläres Neuropil, dazwischen ein internoduläres Neuropil und eine „Schale“, die das noduläre und internoduläre Neuropil umgibt. Das noduläre Neuropil weist dichte Verzweigungen aus dem GABA-ir distalen Trakt auf, die vermutlich für die Lichtsynchronisation verantwortlich sind. Zusätzliche Verzweigungen von circa 25 GABA-ir Neuronen mit Somata in direkter Nähe zur aMe dienen wahrscheinlich als lokale Interneurone. In den letzten Jahren wurden große Fortschritte in der Erforschung des molekularen Schrittmachers gemacht, aber nur wenige Informationen zu den physiologischen Eigenschaften der Schrittmacherneurone und deren Verschaltung zu einem neuronalen Netzwerk sind bekannt. In der vorliegenden Dissertation wurde eine Methode entwickelt und etabliert, welche es ermöglicht, über einen Zeitraum von Stunden bis hin zu mehreren Tagen die elektrische Aktivität von isolierten aMae aufzuzeichnen. Mit dieser Methode werden mit einer niederohmigen Saugelektrode Summenpotentiale von mehreren Neuronen simultan extrazellulär abgeleitet (multi-unit recording). Dies ermöglicht, die zeitliche Koordination der elektrischen Aktivität von Neuronen in einem Netzwerk zu untersuchen. Das Ziel der Arbeit war die elektrophysiologische und pharmakologische Charakterisierung der aMe und die Untersuchung, ob das neuronale Netzwerk der isolierten aMe selbstständig einen circadianen Rhythmus generiert. Die vorliegende Dissertation gliedert sich in drei Kapitel: Kapitel I: Pigment-dispersing factor and GABA synchronisieren Zellen der isolierten circadianen Uhr der Schabe Leucophaea maderae Extrazelluläre Langzeitableitungen von Summenpotentialen von isolierten aMae der Schabe Leucophaea maderae zeigten, dass die Mehrzahl der abgeleiteten Neurone spontanaktiv Aktionspotentiale mit sehr regelmäßigen Intervallen im Millisekundenbereich generieren. Diese Regelmäßigkeit wird wahrscheinlich durch Membranpotentialoszillationen mit ultradianen Periodenlängen verursacht. Die meisten Neurone in der aMe sind zu Ensembles phasengleich gekoppelt und generieren simultan Aktionspotentiale mit gleichen Intervallen (Periodenlängen) und zu gleichen Zeitpunkten (Phasenlage). Verschiedene Ensembles von Neuronen generieren unterschiedliche Periodenlängen und Phasenlagen. Die Effekte der Applikationen des inhibitorischen Neurotransmitters GABA und des Chloridkanal Blockers Picrotoxin, welcher reproduzierbar GABA-Inhibitionen aufhob, auf die zeitliche Koordination der elektrischen Aktivität, lassen vermuten, dass die neuronalen Ensembles mittels Synchronisation durch GABAerge Interneuronen gebildet werden. Die Phasenlage unterschiedlicher Ensembles wiederum kann durch Applikation von pigment-dispersing factor (PDF) synchronisiert werden (das Peptid PDF der Insekten ist homolog zu dem PDH der Crustaceen). Aus den Daten geht hervor, dass diese Phasenkopplung wahrscheinlich aus einer Inhibition der GABAergen Interneurone durch PDF resultiert. Diese Daten lassen vermuten, dass die Kontrolle der Phasenlage von ultradianen Aktionspotentialoszillationen ein wichtiger Bestandteil der Funktionsweise des circadianen Netzwerks ist. Offensichtlich wird diese Kontrolle der Phasenlage nicht ausschließlich über chemische Synapsen vermittelt. Die vollständige Blockade der synaptischen Übertragung durch die Entfernung extrazellulären Calciums führte zu einer Erhöhung der elektrischen Aktivität, wahrscheinlich durch den Verlust von inhibitorischen Eingängen auf spontanaktive Zellen, aber nicht zum Verlust von koordinierten Phasenbeziehungen. Die Phasenlage wurde lediglich von null Phasenunterschied zu einer neuen konstanten Phasenbeziehung verschoben. Kapitel II: Elektrische Synapsen zwischen Neuronen der akzessorischen Medulla scheinen circadiane Schrittmacherzellen der Schabe Leucophaea maderae zu synchronisieren Im ersten Kapitel wurde gezeigt, dass GABAerge synaptische Interaktionen zur Bildung neuronalen Ensembles führen. Während alle Neurone eines Ensembles mit der gleichen Phasenlage und gleicher Periodenlänge Aktionspotentiale generieren, zeigen unterschiedliche Ensembles unterschiedliche Periodenlängen und Phasenlagen. Allerdings führt die Blockade von synaptischer Übertragung nicht zu einem völligen Verlust von synchronisierten Aktionspotentialoszillationen, sondern zu einem graduellen Verschieben der Phasenlagen, bis hin zu einem konstanten Phasenunterschied. Daraus lässt sich schließen, dass zusätzliche Synchronisationswege in der aMe eine wichtige Rolle spielen, welche nicht von chemischen Synapsen getragen werden. Um zu untersuchen, ob elektrische Synapsen (gap junctions) an dieser Synchronisation beteiligt sind, verwendeten wir die aus Vertebraten bekannten gap junction Blocker Halothane, Octanol und Carbenoxolon (CBX). Die Effekte der Applikation von verschiedenen gap junction Blockern in Gegenwart und Abwesenheit von synaptischer Übertragung in der aMe, lassen darauf schließen, dass verschiedene Populationen von aMe Interneuronen durch gap junctions zu einer stabilen Phasendifferenz synchronisiert werden. Diese Synchronisation schafft die notwendige Voraussetzung für die synaptische Kopplung zu Ensembles von aMe Neuronen mit identischer Phasenlage. Kapitel III: Extrazelluläre Langzeitableitungen vom circadianen Schrittmacherzentrum der Schabe Leucophaea maderae offenbaren circadiane wie auch ultradiane Rhythmen Die elektrische Aktivität der isolierten aMe konnte im Dauerdunkel extrazellulär bis zu fünf Tagen gemessen werden. Bei extrazellulären Saugelektrodenableitungen, wie sie hier durchgeführt wurden ist die gemessene Frequenz unter anderem vom Synchronisationsgrad der einzelnen Neurone abhängig. Hohe Synchronisation zu identischer Phasenlage führt zu einer Verringerung der gemessenen Frequenz und umgekehrt. Da wir zeigen konnten, dass die Synchronisation von Phasenlagen und Periodenlängen ein integraler Bestandteil des aMe Netzwerkes ist, wurde das zeitliche Auftreten von definierten Frequenzmaxima unabhängig von der absoluten gemessenen Frequenz analysiert. Die gemessenen Frequenzmaxima zeigten eine signifikant höhere Verteilung in der Mitte der subjektiven Nacht. Die Untersuchung der Intervallverteilung zwischen den Frequenzmaxima ergab eine vorherrschende ultradiane Periodenlänge von circa zwei Stunden. Zusätzlich traten gehäuft Perioden auf, deren Länge ganzzahlige Vielfache von zwei Stunden waren. Die zeitliche Verteilung dieser periodisch auftretenden Frequenzmaxima, bzw. Frequenzänderungen steht in guter Korrelation zu den Zeiträumen in denen Injektionen von PDF, Allatotropin, GABA und Serotonin die Phasenlage der Lokomotion im Dauerdunkel am stärksten beeinflussen. Es lässt sich vermuten, dass die zeitliche Koordination des aMe Netzwerkes durch die Kontrolle der Phasenbeziehungen ultradianer Oszillatoren bewerkstelligt wird

Synchronization Problems in Networks of Nonlinear Agents

Over the last years, consensus and synchronization problems have been a popular topic in the systems and control community. This interest is motivated by the fact that, in several fields of application, a certain number of agents is interacting or has to cooperate to achieve a certain task. Robotic swarms, sensor networks, power networks, biological networks are only few outstanding examples where networks of agents displays behaviors which can be modeled and studied by means of consensus and synchronisation techniques. In this thesis we consider a general class of networked nonlinear systems in different operating frameworks and design control architecture to force the systems to reach synchronization and consensus on a target behavior. In particular, we consider the case of homogeneous and heterogeneous nonlinear agents with a static communication topology and design a static high-gain-based diffusive coupling and an internal model-based regulator respectively, to solve the problem of consensus. Then, we analyze the case of dynamical links and show under which conditions, synchronization for homogeneous nonlinear systems can be achieved. Depending on the structure of the dynamic links at hand, static and dynamic regulators (based on the concept extended state observers) are proposed. Furthermore, we address the problem of disconnected topology and switching topology and derive under which conditions agents reach cluster synchronization and synchronization respectively. Last, we consider the problem of a sampled exchange of information between the agents and design a triggering rule locally at each agent such that the overall network reaches synchronization

Elektrophysiologische Charakterisierung des isolierten circadianen Schrittmachers der Schabe Leucophaea maderae

Der Sitz des circadianen Schrittmachers, der das Laufverhalten der Schabe Leucophaea maderae steuert, wurde durch Läsions- und Transplantationsexperimente in der akzessorischen Medulla (aMe; Plural akzessorische Medullae, aMae) lokalisiert. Die aMe ist ein noduläres Neuropil, welches sich am frontalen, ventromedialen Rand der Medulla in den bilateralen optischen Loben befindet. Immunfärbungen gegen das Octadeca-Peptid pigment-dispersing hormon (PDH) aus Crustaceen zeigen eine dichte Innervation von PDH-immunreaktiven (PDH-ir) Zellen in der aMe. Bei Drosophila melanogaster und Leucophaea maderae exprimiert ein Grossteil der PDH-ir Zellen das Protein PERIOD, einen integralen Bestandteil des molekularen circadianen Schrittmachers (pacemaker). Darüber hinaus erfüllt die Anatomie der gefundenen PDH-ir Zellen wichtige Kriterien eines circadianen Schrittmachers. So weisen sie Projektionen in der Lamina auf und somit einen möglichen Informationsausgang zu den Komplexaugen, es besteht eine Kopplungsbahn zwischen den bilateralen aMae und es sind Ausgänge in das superiore mediane Protocerebrum vorhanden, welche für die Kontrolle des Verhaltens verantwortlich sein könnten. Zusätzlich zu den PDH-ir Zellen wird die aMe von einer Vielzahl verschiedener Peptid- und GABA-ir Neurone innerviert. Die Verzweigungen dieser Neurone formen Subkompartimente in der aMe: ein dichtes noduläres Neuropil, dazwischen ein internoduläres Neuropil und eine „Schale“, die das noduläre und internoduläre Neuropil umgibt. Das noduläre Neuropil weist dichte Verzweigungen aus dem GABA-ir distalen Trakt auf, die vermutlich für die Lichtsynchronisation verantwortlich sind. Zusätzliche Verzweigungen von circa 25 GABA-ir Neuronen mit Somata in direkter Nähe zur aMe dienen wahrscheinlich als lokale Interneurone. In den letzten Jahren wurden große Fortschritte in der Erforschung des molekularen Schrittmachers gemacht, aber nur wenige Informationen zu den physiologischen Eigenschaften der Schrittmacherneurone und deren Verschaltung zu einem neuronalen Netzwerk sind bekannt. In der vorliegenden Dissertation wurde eine Methode entwickelt und etabliert, welche es ermöglicht, über einen Zeitraum von Stunden bis hin zu mehreren Tagen die elektrische Aktivität von isolierten aMae aufzuzeichnen. Mit dieser Methode werden mit einer niederohmigen Saugelektrode Summenpotentiale von mehreren Neuronen simultan extrazellulär abgeleitet (multi-unit recording). Dies ermöglicht, die zeitliche Koordination der elektrischen Aktivität von Neuronen in einem Netzwerk zu untersuchen. Das Ziel der Arbeit war die elektrophysiologische und pharmakologische Charakterisierung der aMe und die Untersuchung, ob das neuronale Netzwerk der isolierten aMe selbstständig einen circadianen Rhythmus generiert. Die vorliegende Dissertation gliedert sich in drei Kapitel: Kapitel I: Pigment-dispersing factor and GABA synchronisieren Zellen der isolierten circadianen Uhr der Schabe Leucophaea maderae Extrazelluläre Langzeitableitungen von Summenpotentialen von isolierten aMae der Schabe Leucophaea maderae zeigten, dass die Mehrzahl der abgeleiteten Neurone spontanaktiv Aktionspotentiale mit sehr regelmäßigen Intervallen im Millisekundenbereich generieren. Diese Regelmäßigkeit wird wahrscheinlich durch Membranpotentialoszillationen mit ultradianen Periodenlängen verursacht. Die meisten Neurone in der aMe sind zu Ensembles phasengleich gekoppelt und generieren simultan Aktionspotentiale mit gleichen Intervallen (Periodenlängen) und zu gleichen Zeitpunkten (Phasenlage). Verschiedene Ensembles von Neuronen generieren unterschiedliche Periodenlängen und Phasenlagen. Die Effekte der Applikationen des inhibitorischen Neurotransmitters GABA und des Chloridkanal Blockers Picrotoxin, welcher reproduzierbar GABA-Inhibitionen aufhob, auf die zeitliche Koordination der elektrischen Aktivität, lassen vermuten, dass die neuronalen Ensembles mittels Synchronisation durch GABAerge Interneuronen gebildet werden. Die Phasenlage unterschiedlicher Ensembles wiederum kann durch Applikation von pigment-dispersing factor (PDF) synchronisiert werden (das Peptid PDF der Insekten ist homolog zu dem PDH der Crustaceen). Aus den Daten geht hervor, dass diese Phasenkopplung wahrscheinlich aus einer Inhibition der GABAergen Interneurone durch PDF resultiert. Diese Daten lassen vermuten, dass die Kontrolle der Phasenlage von ultradianen Aktionspotentialoszillationen ein wichtiger Bestandteil der Funktionsweise des circadianen Netzwerks ist. Offensichtlich wird diese Kontrolle der Phasenlage nicht ausschließlich über chemische Synapsen vermittelt. Die vollständige Blockade der synaptischen Übertragung durch die Entfernung extrazellulären Calciums führte zu einer Erhöhung der elektrischen Aktivität, wahrscheinlich durch den Verlust von inhibitorischen Eingängen auf spontanaktive Zellen, aber nicht zum Verlust von koordinierten Phasenbeziehungen. Die Phasenlage wurde lediglich von null Phasenunterschied zu einer neuen konstanten Phasenbeziehung verschoben. Kapitel II: Elektrische Synapsen zwischen Neuronen der akzessorischen Medulla scheinen circadiane Schrittmacherzellen der Schabe Leucophaea maderae zu synchronisieren Im ersten Kapitel wurde gezeigt, dass GABAerge synaptische Interaktionen zur Bildung neuronalen Ensembles führen. Während alle Neurone eines Ensembles mit der gleichen Phasenlage und gleicher Periodenlänge Aktionspotentiale generieren, zeigen unterschiedliche Ensembles unterschiedliche Periodenlängen und Phasenlagen. Allerdings führt die Blockade von synaptischer Übertragung nicht zu einem völligen Verlust von synchronisierten Aktionspotentialoszillationen, sondern zu einem graduellen Verschieben der Phasenlagen, bis hin zu einem konstanten Phasenunterschied. Daraus lässt sich schließen, dass zusätzliche Synchronisationswege in der aMe eine wichtige Rolle spielen, welche nicht von chemischen Synapsen getragen werden. Um zu untersuchen, ob elektrische Synapsen (gap junctions) an dieser Synchronisation beteiligt sind, verwendeten wir die aus Vertebraten bekannten gap junction Blocker Halothane, Octanol und Carbenoxolon (CBX). Die Effekte der Applikation von verschiedenen gap junction Blockern in Gegenwart und Abwesenheit von synaptischer Übertragung in der aMe, lassen darauf schließen, dass verschiedene Populationen von aMe Interneuronen durch gap junctions zu einer stabilen Phasendifferenz synchronisiert werden. Diese Synchronisation schafft die notwendige Voraussetzung für die synaptische Kopplung zu Ensembles von aMe Neuronen mit identischer Phasenlage. Kapitel III: Extrazelluläre Langzeitableitungen vom circadianen Schrittmacherzentrum der Schabe Leucophaea maderae offenbaren circadiane wie auch ultradiane Rhythmen Die elektrische Aktivität der isolierten aMe konnte im Dauerdunkel extrazellulär bis zu fünf Tagen gemessen werden. Bei extrazellulären Saugelektrodenableitungen, wie sie hier durchgeführt wurden ist die gemessene Frequenz unter anderem vom Synchronisationsgrad der einzelnen Neurone abhängig. Hohe Synchronisation zu identischer Phasenlage führt zu einer Verringerung der gemessenen Frequenz und umgekehrt. Da wir zeigen konnten, dass die Synchronisation von Phasenlagen und Periodenlängen ein integraler Bestandteil des aMe Netzwerkes ist, wurde das zeitliche Auftreten von definierten Frequenzmaxima unabhängig von der absoluten gemessenen Frequenz analysiert. Die gemessenen Frequenzmaxima zeigten eine signifikant höhere Verteilung in der Mitte der subjektiven Nacht. Die Untersuchung der Intervallverteilung zwischen den Frequenzmaxima ergab eine vorherrschende ultradiane Periodenlänge von circa zwei Stunden. Zusätzlich traten gehäuft Perioden auf, deren Länge ganzzahlige Vielfache von zwei Stunden waren. Die zeitliche Verteilung dieser periodisch auftretenden Frequenzmaxima, bzw. Frequenzänderungen steht in guter Korrelation zu den Zeiträumen in denen Injektionen von PDF, Allatotropin, GABA und Serotonin die Phasenlage der Lokomotion im Dauerdunkel am stärksten beeinflussen. Es lässt sich vermuten, dass die zeitliche Koordination des aMe Netzwerkes durch die Kontrolle der Phasenbeziehungen ultradianer Oszillatoren bewerkstelligt wird

Complex and Adaptive Dynamical Systems: A Primer

An thorough introduction is given at an introductory level to the field of quantitative complex system science, with special emphasis on emergence in dynamical systems based on network topologies. Subjects treated include graph theory and small-world networks, a generic introduction to the concepts of dynamical system theory, random Boolean networks, cellular automata and self-organized criticality, the statistical modeling of Darwinian evolution, synchronization phenomena and an introduction to the theory of cognitive systems. It inludes chapter on Graph Theory and Small-World Networks, Chaos, Bifurcations and Diffusion, Complexity and Information Theory, Random Boolean Networks, Cellular Automata and Self-Organized Criticality, Darwinian evolution, Hypercycles and Game Theory, Synchronization Phenomena and Elements of Cognitive System Theory.Comment: unformatted version of the textbook; published in Springer, Complexity Series (2008, second edition 2010