Causal decomposition of complex systems and prediction of chaos using machine learning

We live in a complex system. Therefore, it is essential to possess techniques to analyze and comprehend its intricate dynamics in order to improve decision making. The objective of this dissertation is to contribute to the research that enhances our ability to make these complex systems less intransparent to us. Firstly, we illustrate the impact on practical applications when nonlinearity - an often disregarded factor in causal inference - is taken into account. Therefore, we investigate the causal relationships within these systems, particularly shedding light on the distinction between linear and nonlinear drivers of causality. After developing the necessary methods, we apply them to a real-world use case and demonstrate that making slight adjustments to certain financial market frameworks can result in considerable advantages because of the resolution of the correlation-causation fallacy. Subsequently, once the linear and nonlinear causal connections are understood, we can derive governing equations from the underlying causality structure to enhance the interpretability of models and predictions. By fine-tuning the parameters of these equations through the phenomenon of synchronization of chaos, we can ensure that they optimally represent the data. Nevertheless, not all complex systems can be accurately described by governing equations. Therefore, the implementation of machine learning techniques like reservoir computing in predicting chaotic systems offers significant data-driven advantages. While their architecture is relatively simple, ensuring full interpretability and hardware realizations still relies on increased efficiency and reduced data requirements. This dissertation presents some of the necessary modifications to the traditional reservoir computing architecture to bring physical reservoir computing closer to realization.Wir leben in einem komplexen System. Daher ist es unerlässlich, über Techniken zur Analyse und zum Verständnis seiner verschleierten Dynamik zu verfügen, um die Entscheidungsfindung zu verbessern. Ziel dieser Dissertation ist es, einen Beitrag zur Forschung zu leisten, die unsere Möglichkeiten erweitert, diese komplexen Systeme für uns weniger intransparent zu machen. Zunächst wird aufgezeigt, welche Auswirkungen es auf praktische Anwendungen hat, wenn Nichtlinearität - ein oft vernachlässigter Faktor bei kausaler Inferenz - berücksichtigt wird. Daher untersuchen wir die kausalen Beziehungen innerhalb dieser Systeme und beleuchten insbesondere die Unterscheidung zwischen linearen und nichtlinearen Kausalitätsfaktoren. Nachdem wir die erforderlichen Methoden entwickelt haben, wenden wir sie auf einen realen Anwendungsfall an und zeigen, dass leichte Anpassungen bestimmter Finanzmarktmodelle durch die Auflösung des Korrelations-Kausalitäts-Fehlschlusses zu erheblichen Vorteilen führen können. Sobald die linearen und nichtlinearen Kausalzusammenhänge bekannt sind, können wir aus der zugrunde liegenden Kausalitätsstruktur die Differentialgleichungen ableiten, um die Interpretierbarkeit von Modellierungen und Vorhersagen zu verbessern. Durch die Feinjustierung der Parameter dieser Gleichungen durch das Phänomen der Synchronisierung von Chaos können wir sicherstellen, dass sie die Daten optimal darstellen. Allerdings lassen sich nicht alle komplexen Systeme durch Differentialgleichungen adäquat beschreiben. Daher bietet die Anwendung von Techniken des maschinellen Lernens wie Reservoir Computing bei der Vorhersage chaotischer Systeme erhebliche datenbasierte Vorteile. Obwohl ihre Architektur relativ einfach ist, ist die Gewährleistung einer vollständigen Interpretierbarkeit und Hardware-Realisierung immer noch von einer erhöhten Effizienz und reduzierten Datenanforderungen abhängig. In dieser Dissertation werden einige der notwendigen Änderungen an der traditionellen Architektur vorgestellt, um physikalisches Reservoir Computing näher an die Realisierung zu bringen

Prediction and control of nonlinear dynamical systems using machine learning

Künstliche Intelligenz und Machine Learning erfreuen sich in Folge der rapide gestiegenen Rechenleistung immer größerer Popularität. Sei es autonomes Fahren, Gesichtserkennung, bildgebende Diagnostik in der Medizin oder Robotik – die Anwendungsvielfalt scheint keine Grenzen zu kennen. Um jedoch systematischen Bias und irreführende Ergebnisse zu vermeiden, ist ein tiefes Verständnis der Methoden und ihrer Sensitivitäten von Nöten. Anhand der Vorhersage chaotischer Systeme mit Reservoir Computing – einem künstlichen rekurrenten neuronalem Netzwerk – wird im Rahmen dieser Dissertation beleuchtet, wie sich verschiedene Eigenschaften des Netzwerks auf die Vorhersagekraft und Robustheit auswirken. Es wird gezeigt, wie sich die Variabilität der Vorhersagen – sowohl was die exakte zukünftige Trajektorie betrifft als auch das statistische Langzeitverhalten (das "Klima") des Systems – mit geeigneter Parameterwahl signifikant reduzieren lässt. Die Nichtlinearität der Aktivierungsfunktion spielt hierbei eine besondere Rolle, weshalb ein Skalierungsparameter eingeführt wird, um diese zu kontrollieren. Des Weiteren werden differenzielle Eigenschaften des Netzwerkes untersucht und gezeigt, wie ein kontrolliertes Entfernen der "richtigen" Knoten im Netzwerk zu besseren Vorhersagen führt und die Größe des Netzwerkes stark reduziert werden kann bei gleichzeitig nur moderater Verschlechterung der Ergebnisse. Dies ist für Hardware Realisierungen von Reservoir Computing wie zum Beispiel Neuromorphic Computing relevant, wo möglichst kleine Netzwerke von Vorteil sind. Zusätzlich werden unterschiedliche Netzwerktopologien wie Small World Netzwerke und skalenfreie Netzwerke beleuchtet. Mit den daraus gewonnenen Erkenntnissen für bessere Vorhersagen von nichtlinearen dynamischen Systemen wird eine neue Kontrollmethode entworfen, die es ermöglicht, dynamische Systeme flexibel in verschiedenste Zielzustände zu lenken. Hierfür wird – anders als bei vielen bisherigen Ansätzen – keine Kenntnis der zugrundeliegenden Gleichungen des Systems erfordert. Ebenso wird nur eine begrenzte Datenmenge verlangt, um Reservoir Computing hinreichend zu trainieren. Zudem ist es nicht nur möglich, chaotisches Verhalten in einen periodischen Zustand zu zwingen, sondern auch eine Kontrolle auf komplexere Zielzustände wie intermittentes Verhalten oder ein spezifischer anderer chaotischer Zustand. Dies ermöglicht eine Vielzahl neuer potenzieller realer Anwendungen, von personalisierten Herzschrittmachern bis hin zu Kontrollvorrichtungen für Raketentriebwerke zur Unterbindung von kritischen Verbrennungsinstabilitäten. Als Schritt zur Weiterentwicklung von Reservoir Computing zu einem verbesserten hybriden System, das nicht nur rein datenbasiert arbeitet, sondern auch physikalische Zusammenhänge berücksichtigt, wird ein Ansatz vorgestellt, um lineare und nichtlinearen Kausalitätsstrukturen zu separieren. Dies kann verwendet werden, um Systemgleichungen oder Restriktionen für ein hybrides System zur Vorhersage oder Kontrolle abzuleiten.Artificial intelligence and machine learning are becoming increasingly popular as a result of the rapid increase in computing power. Be it autonomous driving, facial recognition, medical imaging diagnostics or robotics – the variety of applications seems to have no limits. However, to avoid systematic bias and misleading results, a deep understanding of the methods and their sensitivities is needed. Based on the prediction of chaotic systems with reservoir computing – an artificial recurrent neural network – this dissertation sheds light on how different properties of the network affect the predictive power and robustness. It is shown how the variability of the predictions – both in terms of the exact short-term predictions and the long-term statistical behaviour (the "climate") of the system – can be significantly reduced with appropriate parameter choices. The nonlinearity of the activation function plays a special role here, thus a scaling parameter is introduced to control it. Furthermore, differential properties of the network are investigated and it is shown how a controlled removal of the right nodes in the network leads to better predictions, whereas the size of the network can be greatly reduced while only moderately degrading the results. This is relevant for hardware realizations of reservoir computing such as neuromorphic computing, where networks that are as small as possible are advantageous. Additionally, different network topologies such as small world networks and scale-free networks are investigated. With the insights gained for better predictions of nonlinear dynamical systems, a new control method is designed that allows dynamical systems to be flexibly forced into a wide variety of dynamical target states. For this – unlike many previous approaches – no knowledge of the underlying equations of the system is required. Further, only a limited amount of data is needed to sufficiently train reservoir computing. Moreover, it is possible not only to force chaotic behavior to a periodic state, but also to control for more complex target states such as intermittent behavior or a specific different chaotic state. This enables a variety of new potential real-world applications, from personalized cardiac pacemakers to control devices for rocket engines to suppress critical combustion instabilities. As a step toward advancing reservoir computing to an improved hybrid system that is not only purely data-based but also takes into account physical relationships, an approach is presented to separate linear and nonlinear causality structures. This can be used to derive system equations or constraints for a hybrid prediction or control system

Symmetry in Chaotic Systems and Circuits

Symmetry can play an important role in the field of nonlinear systems and especially in the design of nonlinear circuits that produce chaos. Therefore, this Special Issue, titled “Symmetry in Chaotic Systems and Circuits”, presents the latest scientific advances in nonlinear chaotic systems and circuits that introduce various kinds of symmetries. Applications of chaotic systems and circuits with symmetries, or with a deliberate lack of symmetry, are also presented in this Special Issue. The volume contains 14 published papers from authors around the world. This reflects the high impact of this Special Issue

Causal Decomposition of Complex Systems & Prediction of Chaos using Machine Learning

Wir leben in einem komplexen System. Daher ist es unerlässlich, über Techniken zur Analyse und zum Verständnis seiner verschleierten Dynamik zu verfugen, um die Entscheidungsfindung zu verbessern. Ziel dieser Dissertation ist es, einen Beitrag zur Forschung zu leisten, die unsere Möglichkeiten erweitert, diese komplexen Systeme für uns weniger intransparent zu machen. Zunächst wird aufgezeigt, welche Auswirkungen es auf praktische Anwendungen hat, wenn Nichtlinearität — ein oft vernachlässigter Faktor bei kausaler Inferenz — berücksichtigt wird. Daher ¨ untersuchen wir die kausalen Beziehungen innerhalb dieser Systeme und beleuchten insbesondere die Unterscheidung zwischen linearen und nichtlinearen Kausalitätsfaktoren. Nachdem wir die erforderlichen Methoden entwickelt haben, wenden wir sie auf einen realen Anwendungsfall an und zeigen, dass leichte Anpassungen bestimmter Finanzmarktmodelle durch die Auflösung des Korrelations-Kausalitäts-Fehlschlusses zu erheblichen Vorteilen führen können. Sobald die linearen und nichtlinearen Kausalzusammenhänge bekannt sind, können wir aus der zugrunde liegenden Kausalitätsstruktur die Differentialgleichungen ableiten, um die Interpretierbarkeit von Modellierungen und Vorhersagen zu verbessern. Durch die Feinjustierung der Parameter dieser Gleichungen durch das Phänomen der Synchronisierung von Chaos können wir sicherstellen, dass sie die Daten optimal darstellen. Allerdings lassen sich nicht alle komplexen Systeme durch Differentialgleichungen adäquat beschreiben. Daher bietet die Anwendung von Techniken des maschinellen Lernens wie Reservoir Computing bei der Vorhersage chaotischer Systeme erhebliche datenbasierte Vorteile. Obwohl ihre Architektur relativ einfach ist, ist die Gewährleistung einer vollständigen Interpretierbarkeit und Hardware-Realisierung immer noch von einer erhöhten Effizienz und reduzierten Datenanforderungen abhängig. In dieser Dissertation werden einige der notwendigen Änderungen an der traditionellen Architektur vorgestellt, um physikalisches Reservoir Computing näher an die Realisierung zu bringen

Recent Advances in Single-Particle Tracking: Experiment and Analysis

This Special Issue of Entropy, titled “Recent Advances in Single-Particle Tracking: Experiment and Analysis”, contains a collection of 13 papers concerning different aspects of single-particle tracking, a popular experimental technique that has deeply penetrated molecular biology and statistical and chemical physics. Presenting original research, yet written in an accessible style, this collection will be useful for both newcomers to the field and more experienced researchers looking for some reference. Several papers are written by authorities in the field, and the topics cover aspects of experimental setups, analytical methods of tracking data analysis, a machine learning approach to data and, finally, some more general issues related to diffusion

CORPORATE SOCIAL RESPONSIBILITY IN ROMANIA

The purpose of this paper is to identify the main opportunities and limitations of corporate social responsibility (CSR). The survey was defined with the aim to involve the highest possible number of relevant CSR topics and give the issue a more wholesome perspective. It provides a basis for further comprehension and deeper analyses of specific CSR areas. The conditions determining the success of CSR in Romania have been defined in the paper on the basis of the previously cumulative knowledge as well as the results of various researches. This paper provides knowledge which may be useful in the programs promoting CSR.Corporate social responsibility, Supportive policies, Romania

My Story. Digital Storytelling across Europe for Social Cohesion

‘My Story’ (Mysty) is a pan-European, Erasmus+ funded Digital Storytelling project focused on intercultural competency. It has eight partners (HE, secondary schools and NGOs) across four countries (Austria, Italy, Hungary and the UK) and involves the collection, editing and uploading of digital stories to a shared ‘toolbox’. These stories focus on ‘food’, ‘family’ and ‘festival’ and act as a platform for diversity awareness and digital upskilling. The project is driven by the principle that innovative teaching resources form part of broader pedagogic strategies that can actively help tackle issues of diversity common across the EU. The paper discusses the process the project went through, some of its challenges and its results and, on the basis of these, looks at the role digital storytelling as a way of expressing different ethical, cultural or personal issues

Object narratives, imaginings and multilingual communities: young people’s digital stories in the making

This paper draws on research from a global 5-year project, Critical Connections: Multilingual Digital Storytelling (2012-2017), which links language and intercultural learning with literacy, active citizenship and the arts. A critical ethnographic approach was adopted in the research project and the multilingual digital stories were an integral part of the research process. With the project’s focus on multilingualism and creation of bilingual digital texts, young people had to imagine how to use language in new contexts, uncover narratives around objects, and negotiate interfaces between different cultural landscapes. The research findings revealed the complexity of multilingual digital storytelling and how young people (aged 6-18 years old) learnt to become meaning makers discovering their own voices in unfamiliar contexts. Through these digital stories the young people forged strong links with the past and created new multilingual communities

Discourses on Nations and Identities

This book focuses on the interplay between concepts of nation, language, and individual as well as collective identities. Because literary communication happens within different kinds of power structures - linguistic, economic, political -, it often results in fascinating forms of hybridity. And though hybridity may be either foregrounded or regarded as compromise, it is a fascinating lens through which to look at literary history