Delay-Dependent Stability Analysis for Recurrent Neural Networks with Time-Varying Delays

This paper concerns the problem of delay-dependent stability criteria for recurrent neural networks with time varying delays. By taking more information of states and activation functions as augmented vectors, a new class of the Lyapunov functional is proposed. Then, some less conservative stability criteria are obtained in terms of linear matrix inequalities (LMIs). Finally, two numerical examples are given to illustrate the effectiveness of the proposed method

Multiuser detection employing recurrent neural networks for DS-CDMA systems.

Thesis (M.Sc.Eng.)-University of KwaZulu-Natal, 2006.Over the last decade, access to personal wireless communication networks has evolved to a point of necessity. Attached to the phenomenal growth of the telecommunications industry in recent times is an escalating demand for higher data rates and efficient spectrum utilization. This demand is fuelling the advancement of third generation (3G), as well as future, wireless networks. Current 3G technologies are adding a dimension of mobility to services that have become an integral part of modem everyday life. Wideband code division multiple access (WCDMA) is the standardized multiple access scheme for 3G Universal Mobile Telecommunication System (UMTS). As an air interface solution, CDMA has received considerable interest over the past two decades and a great deal of current research is concerned with improving the application of CDMA in 3G systems. A factoring component of CDMA is multiuser detection (MUD), which is aimed at enhancing system capacity and performance, by optimally demodulating multiple interfering signals that overlap in time and frequency. This is a major research problem in multipoint-to-point communications. Due to the complexity associated with optimal maximum likelihood detection, many different sub-optimal solutions have been proposed. This focus of this dissertation is the application of neural networks for MUD, in a direct sequence CDMA (DS-CDMA) system. Specifically, it explores how the Hopfield recurrent neural network (RNN) can be employed to give yet another suboptimal solution to the optimization problem of MUD. There is great scope for neural networks in fields encompassing communications. This is primarily attributed to their non-linearity, adaptivity and key function as data classifiers. In the context of optimum multiuser detection, neural networks have been successfully employed to solve similar combinatorial optimization problems. The concepts of CDMA and MUD are discussed. The use of a vector-valued transmission model for DS-CDMA is illustrated, and common linear sub-optimal MUD schemes, as well as the maximum likelihood criterion, are reviewed. The performance of these sub-optimal MUD schemes is demonstrated. The Hopfield neural network (HNN) for combinatorial optimization is discussed. Basic concepts and techniques related to the field of statistical mechanics are introduced and it is shown how they may be employed to analyze neural classification. Stochastic techniques are considered in the context of improving the performance of the HNN. A neural-based receiver, which employs a stochastic HNN and a simulated annealing technique, is proposed. Its performance is analyzed in a communication channel that is affected by additive white Gaussian noise (AWGN) by way of simulation. The performance of the proposed scheme is compared to that of the single-user matched filter, linear decorrelating and minimum mean-square error detectors, as well as the classical HNN and the stochastic Hopfield network (SHN) detectors. Concluding, the feasibility of neural networks (in this case the HNN) for MUD in a DS-CDMA system is explored by quantifying the relative performance of the proposed model using simulation results and in view of implementation issues

Population models for complex non-linear phenomena in biology: from mitochondrial dynamics to brain networks

The human brain is as much fascinating as complicated: this is the reason why it has always captured scientists’ attention in several fields of research, from biology to medicine, from psychology to engineering. In this context various non-invasive technologies have been optimized in order to allow the measure of signals, able to describe brain activities. These data, derived from measurement methods that largely differ in their nature, have opened the door to new characterizations of this organ, that highlighted the main features of its operating principles. Brain signals indeed have revealed to be fluctuating during time, both during a specific task, and when we are not carrying on any activities. Furthermore, a selective coordination among different regions of the brain has emerged. As engineers, we are particularly attracted by the description of our brain as a graph, whose nodes and edges can be representative of several different elements, at distinct spatial scales (from single neurons to large brain areas). In the last decades, wide attention has been devoted to reproduce and explain the complex dynamics of the brain elements by means of computational models. Graph theory tools, as well as the design of population models, allow the exploitation of many mathematical tools, helpful to enlarge the knowledge of healthy and damaged brains functioning, by means of brain networks. Interestingly, the incapability of human brains to work properly in case of disease, has found to be correlated with dysfunctions in the activity of mitochondria, the organelles that produce large part of the cells’ energy. In particular, specific relationships have been reported among neurological diseases and impairments in mitochondrial dynamics, which refers to the continuous change in shape of mitochondria, by means of fusion and fission processes. Although the existing link between brain and mitochondria is still ambiguous and under debate, the huge amount of energy required by our brain to work properly suggests a larger mitochondrial-dependence of the brain than of the other organs. In this thesis we report the results of our research, aimed to investigate a few aspects of this complex brain-mitochondria relationship. We focus on mitochondrial dynamics and brain network, as well as on suitable mathematical models used to describe them. Specifically, the main topics handled in this work can be summarized as follows. Population models for mitochondrial dynamics. We propose a modified preypredator non-linear population model to simulate the main processes, which take part in the mitochondrial dynamics, and the ones that are strongly related to it, without neglecting the energy production process. We present two possible setups, which differ in the inclusion of a feedback link between the available energy and the formation of new mitochondria. We discuss their dynamics, and their potential in reproducing biological behaviors. Brain signals: comparison of datasets derived through different technologies. We analyze two different datasets of brain signals, recorded with various methods (functional magnetic resonance imaging, fMRI, and magnetoencephalography, MEG), both in condition of no activity and during an attentional task. The aim of the analysis is twofold: the investigation of the spontaneous activity of the brain, and the exploration of possible relationships between the two different techniques. Brain network: a Kuramoto-based description. We analyze empirical brain data by means of their oscillatory features, with the purpose of highlighting the characteristics that a computational phase-model should be able to reproduce. Hence, we use a modified version of the classic Kuramoto model to reproduce the empirical oscillatory characteristics. Analysis and control of Kuramoto networks. Most of the theoretical contribution of this thesis refers to analytical results on Kuramoto networks. We analyze the topological and intrinsic conditions required to achieve a desired pattern of synchronization, represented by fully or clustered synchronized configuration of oscillators

Stochastic Control for Cooperative Cyber-Physical Networking

Die stetig fortschreitende Digitalisierung erlaubt einen immer autonomeren und intelligenteren Betrieb von Produktions- und Fertigungslinien, was zu einer stärker werdenden Verzahnung der physikalischen Prozesse und der Software-Komponenten zum Überwachen, Steuern und Messen führt. Cyber-physische Systeme (CPS) spielen hierbei eine Schlüsselrolle, indem sie sowohl die physikalischen als auch die Software-Komponenten zu einem verteilten System zusammenfassen, innerhalb dessen Umgebungszustände, Messwerte und Steuerbefehle über ein Kommunikationsnetzwerk ausgetauscht werden. Die Verfügbarkeit von kostengünstigen Geräten und die Möglichkeit bereits existierende Infrastruktur zu nutzen sorgen dafür, dass auch innerhalb von CPS zunehmend auf den Einsatz von Standard-Netzen auf Basis von IEEE 802.3 (Ethernet) und IEEE 802.11 (WLAN) gesetzt wird. Nachteilig bei der Nutzung von Standard-Netzen sind jedoch auftretende Dienstgüte-Schwankungen, welche aus der gemeinsamen Nutzung der vorhandenen Infrastruktur resultieren und für die Endsysteme in Form von sich ändernden Latenzen und Daten- und Paketverlustraten sichtbar werden. Regelkreise sind besonders anfällig für Dienstgüte-Schwankungen, da sie typischerweise isochrone Datenübertragungen mit festen Latenzen benötigen, um die gewünschte Regelgüte zu garantieren. Für die Vernetzung der einzelnen Komponenten, das heißt von Sensorik, Aktorik und Regler, setzt man daher klassischerweise auf Lösungen, die diese Anforderungen erfüllen. Diese Lösungen sind jedoch relativ teuer und unflexibel, da sie den Einsatz von spezialisierten Netzwerken wie z.B. Feldbussen benötigen oder über komplexe, speziell entwickelte Kommunikationsprotokolle realisiert werden wie sie beispielsweise die Time-Sensitive Networking (TSN) Standards definieren. Die vorliegende Arbeit präsentiert Ergebnisse des interdisziplinären Forschungsprojekts CoCPN:Cooperative Cyber-Physical Networking, das ein anderes Konzept verfolgt und explizit auf CPS abzielt, die Standard-Netze einsetzen. CoCPN benutzt einen neuartigen, kooperativen Ansatz um i) die Elastizität von Regelkreisen innerhalb solcher CPS zu erhöhen, das heißt sie in die Lage zu versetzen, mit den auftretenden Dienstgüte-Schwankungen umzugehen, und ii) das Netzwerk über die Anforderungen der einzelnen Regler in Kenntnis zu setzen. Kern von CoCPN ist eine verteilte Architektur für CPS, welche es den einzelnen Regelkreisen ermöglicht, die verfügbare Kommunikations-Infrastruktur gemeinsam zu nutzen. Im Gegensatz zu den oben genannten Lösungen benötigt CoCPN dafür keine zentrale Instanz mit globaler Sicht auf das Kommunikationssystem, sodass eine enge Kopplung an die Anwendungen vermieden wird. Stattdessen setzt CoCPN auf eine lose Kopplung zwischen Netzwerk und Regelkreisen, realisiert in Form eines Austauschs von Meta-Daten über den sog. CoCPN-Translator. CoCPN implementiert ein Staukontrollverfahren, welches den typischen Zusammenhang zwischen erreichbarer Regelgüte und Senderate ausnutzt: die erreichbare Regelgüte steigt mit der Senderate und umgekehrt. Durch Variieren der zu erreichenden Regelgüte kann das Sendeverhalten der Regler so eingestellt werden, dass die vorhandenen Kommunikations-Ressourcen optimal ausgenutzt und gleichzeitig Stausituationen vermieden werden. In dieser Arbeit beschäftigen wir uns mit den regelungstechnischen Fragestellungen innerhalb von CoCPN. Der Schwerpunkt liegt hierbei auf dem Entwurf und der Analyse von Algorithmen, die auf Basis der über den CoCPN-Translator ausgetauschten Meta-Daten die notwendige Elastizität liefern und es dadurch den Reglern ermöglichen, schnell auf Änderungen der Netzwerk-Dienstgüte zu reagieren. Dazu ist es notwendig, dass den Reglern ein Modell zur Verfügung gestellt wird, dass die Auswirkungen von Verzögerungen und Paketverlusten auf die Regelgüte erfasst. Im ersten Teil der Arbeit wird eine Erweiterung eines existierenden Modellierungs-Ansatzes vorgestellt, dessen Grundidee es ist, sowohl die Dynamik der Regelstrecke als auch den Einfluss von Verzögerungen und Paketverlusten durch ein hybrides System darzustellen. Hybride Systeme zeichnen sich dadurch aus, dass sie sowohl kontinuierlich- als auch diskretwertige Zustandsvariablen besitzen. Unsere vorgestellte Erweiterung ist in der Lage, Änderungen der Netzwerk-Dienstgüte abzubilden und ist nicht auf eine bestimmte probabilistische Darstellung der auftretenden Verzögerungen und Paketverluste beschränkt. Zusätzlich verzichtet unsere Erweiterung auf die in der Literatur übliche Annahme, dass Quittungen für empfangene Datenpakete stets fehlerfrei und mit vernachlässigbarer Latenz übertragen werden. Verglichen mit einem Großteil der verwandten Arbeiten, ermöglichen uns die genannten Eigenschaften daher eine realistischere Berücksichtigung der Netzwerk-Einflüsse auf die Regelgüte. Mit dem entwickelten Modell kann der Einfluss von Verzögerungen und Paketverlusten auf die Regelgüte prädiziert werden. Auf Basis dieser Prädiktion können Stellgrößen dann mit Methoden der stochastischen modellprädiktiven Regelung (stochastic model predictive control) berechnet werden. Unsere realistischere Betrachtung der Netzwerk-Einflüsse auf die Regelgüte führt hierbei zu einer gegenseitigen Abhängigkeit von Regelung und Schätzung. Zur Berechnung der Stellgrößen muss der Regler den Zustand der Strecke aus den empfangenen Messungen schätzen. Die Qualität dieser Schätzungen hängt von den berechneten Stellgrößen und deren Auswirkung auf die Regelstrecke ab. Umgekehrt beeinflusst die Qualität der Schätzungen aber maßgeblich die Qualität der Stellgrößen: Ist der Schätzfehler gering, kann der Regler bessere Entscheidungen treffen. Diese gegenseitige Abhängigkeit macht die Berechnung von optimalen Stellgrößen unmöglich und bedingt daher die Fokussierung auf das Erforschen von approximativen Ansätzen. Im zweiten Teil dieser Arbeit stellen wir zwei neuartige Verfahren für die stochastische modellprädiktive Regelung über Netzwerke vor. Im ersten Verfahren nutzen wir aus, dass bei hybriden System oft sogenannte multiple model-Algorithmen zur Zustandsschätzung verwendet werden, welche den geschätzten Zustand in Form einer Gaußmischdichte repräsentieren. Auf Basis dieses Zusammenhangs und einer globalen Approximation der Kostenfunktion leiten wir einen Algorithmus mit geringer Komplexität zur Berechnung eines (suboptimalen) Regelgesetzes her. Dieses Regelgesetz ist nichtlinear und ergibt sich aus der gewichteten Kombination mehrerer unterlagerter Regelgesetze. Jedes dieser unterlagerten Regelgesetze lässt sich dabei als lineare Funktion genau einer der Komponenten der Gaußmischdichte darstellen. Unser zweites vorgestelltes Verfahren besitzt gegensätzliche Eigenschaften. Das resultierende Regelgesetz ist linear und basiert auf einer Approximation der Kostenfunktion, welche wir nur lokal, das heißt nur in der Umgebung einer erwarteten Trajektorie des geregelten Systems, berechnen. Diese Trajektorie wird hierbei durch die Prädiktion einer initialen Zustandsschätzung über den Optimierungshorizont gewonnen. Zur Berechnung des Regelgesetzes schlagen wir dann einen iterativen Algorithmus vor, welcher diese Approximation durch wiederholtes Optimieren der System-Trajektorie verbessert. Simulationsergebnisse zeigen, dass unsere neuartigen Verfahren eine signifikant höhere Regelgüte erzielen können als verwandte Ansätze aus der Literatur. Der dritte Teil der vorliegenden Arbeit beschäftigt sich erneut mit dem hybriden System aus dem ersten Teil. Die im Rahmen dieser Arbeit verwendeten Netzwerk-Modelle, das heißt die verwendeten probabilistischen Beschreibungen der Verzögerungen und Paketverluste, werden vom CoCPN-Translator auf Grundlage von im Netzwerk gesammelten Status-Informationen erzeugt. Diese Status-Informationen bilden jedoch stets nur Ausschnitte ab und können nie exakt den "Zustand” des Netzwerks repräsentieren. Dementsprechend können die resultierenden Netzwerk-Modelle nicht als fehlerfrei erachtet werden. In diesem Teil der Arbeit untersuchen wir daher den Einfluss möglicher Fehler in den Netzwerk-Modellen auf die zu erwartende Regelgüte. Weiterhin gehen wir der Frage nach der Existenz von Reglern, die robust gegenüber solchen Fehlern und Unsicherheiten sind, nach. Dazu zeigen wir zunächst, dass sich Fehler in den Netzwerk-Modellen immer als eine polytopische Parameter-Unsicherheit im hybriden System aus dem ersten Teil manifestieren. Für solche polytopischen hybride System leiten wir dann eine sowohl notwendige als auch hinreichende Stabilitätsbedingung her, was einen signifikanten Beitrag zur Theorie der hybriden Systeme darstellt. Die Auswertung dieser Bedingung erfordert es zu bestimmen, ob der gemeinsame Spektralradius (joint spectral radius) einer Menge von Matrizen kleiner als eins ist. Dieses Entscheidungsproblem ist bekanntermaßen NP-schwer, was die Anwendbarkeit der Stabilitätsbedingung stark limitiert. Daher präsentieren wir eine hinreichende Stabilitätsbedingung, die in polynomieller Zeit überprüft werden kann, da sie auf der Erfüllbarkeit von linearen Matrixungleichungen basiert. Schließlich zeigen wir, dass die Existenz eines Reglers, der die Stabilität des betrachteten polytopischen hybriden Systems garantiert, von der Erfüllbarkeit einer ähnlichen Menge von Matrixungleichungen bestimmt wird. Diese Ungleichungen sind weniger restriktiv als die bisher in der Literatur bekannten, was die Synthese von weniger konservativen Reglern erlaubt. Schließlich zeigen wir im letzten Teil dieser Arbeit die Anwendbarkeit des kooperativen Konzepts von CoCPN in Simulations-Szenarien, in denen stark ausgelastete Netzwerk-Ressourcen mit anderen Anwendungen geteilt werden müssen. Wir demonstrieren, dass insbesondere das Zusammenspiel unserer modellprädiktiven Verfahren mit dem Staukontrollverfahren von CoCPN einen zuverlässigen Betrieb der Regelkreise ohne unerwünschte Einbußen der Regelgüte auch dann ermöglicht, wenn sich die Kommunikationsbedingungen plötzlich und unvorhergesehen ändern. Insgesamt stellt unsere Arbeit somit einen wichtigen Baustein auf dem Weg zu einem flächendeckenden Einsatz von Standard-Netzen als flexible und adaptive Basis für industrielle CPS dar

Laboratory-directed research and development: FY 1996 progress report

This report summarizes the FY 1996 goals and accomplishments of Laboratory-Directed Research and Development (LDRD) projects. It gives an overview of the LDRD program, summarizes work done on individual research projects, and provides an index to the projects` principal investigators. Projects are grouped by their LDRD component: Individual Projects, Competency Development, and Program Development. Within each component, they are further divided into nine technical disciplines: (1) materials science, (2) engineering and base technologies, (3) plasmas, fluids, and particle beams, (4) chemistry, (5) mathematics and computational sciences, (6) atomic and molecular physics, (7) geoscience, space science, and astrophysics, (8) nuclear and particle physics, and (9) biosciences