Causal decomposition of complex systems and prediction of chaos using machine learning

We live in a complex system. Therefore, it is essential to possess techniques to analyze and comprehend its intricate dynamics in order to improve decision making. The objective of this dissertation is to contribute to the research that enhances our ability to make these complex systems less intransparent to us. Firstly, we illustrate the impact on practical applications when nonlinearity - an often disregarded factor in causal inference - is taken into account. Therefore, we investigate the causal relationships within these systems, particularly shedding light on the distinction between linear and nonlinear drivers of causality. After developing the necessary methods, we apply them to a real-world use case and demonstrate that making slight adjustments to certain financial market frameworks can result in considerable advantages because of the resolution of the correlation-causation fallacy. Subsequently, once the linear and nonlinear causal connections are understood, we can derive governing equations from the underlying causality structure to enhance the interpretability of models and predictions. By fine-tuning the parameters of these equations through the phenomenon of synchronization of chaos, we can ensure that they optimally represent the data. Nevertheless, not all complex systems can be accurately described by governing equations. Therefore, the implementation of machine learning techniques like reservoir computing in predicting chaotic systems offers significant data-driven advantages. While their architecture is relatively simple, ensuring full interpretability and hardware realizations still relies on increased efficiency and reduced data requirements. This dissertation presents some of the necessary modifications to the traditional reservoir computing architecture to bring physical reservoir computing closer to realization.Wir leben in einem komplexen System. Daher ist es unerlässlich, über Techniken zur Analyse und zum Verständnis seiner verschleierten Dynamik zu verfügen, um die Entscheidungsfindung zu verbessern. Ziel dieser Dissertation ist es, einen Beitrag zur Forschung zu leisten, die unsere Möglichkeiten erweitert, diese komplexen Systeme für uns weniger intransparent zu machen. Zunächst wird aufgezeigt, welche Auswirkungen es auf praktische Anwendungen hat, wenn Nichtlinearität - ein oft vernachlässigter Faktor bei kausaler Inferenz - berücksichtigt wird. Daher untersuchen wir die kausalen Beziehungen innerhalb dieser Systeme und beleuchten insbesondere die Unterscheidung zwischen linearen und nichtlinearen Kausalitätsfaktoren. Nachdem wir die erforderlichen Methoden entwickelt haben, wenden wir sie auf einen realen Anwendungsfall an und zeigen, dass leichte Anpassungen bestimmter Finanzmarktmodelle durch die Auflösung des Korrelations-Kausalitäts-Fehlschlusses zu erheblichen Vorteilen führen können. Sobald die linearen und nichtlinearen Kausalzusammenhänge bekannt sind, können wir aus der zugrunde liegenden Kausalitätsstruktur die Differentialgleichungen ableiten, um die Interpretierbarkeit von Modellierungen und Vorhersagen zu verbessern. Durch die Feinjustierung der Parameter dieser Gleichungen durch das Phänomen der Synchronisierung von Chaos können wir sicherstellen, dass sie die Daten optimal darstellen. Allerdings lassen sich nicht alle komplexen Systeme durch Differentialgleichungen adäquat beschreiben. Daher bietet die Anwendung von Techniken des maschinellen Lernens wie Reservoir Computing bei der Vorhersage chaotischer Systeme erhebliche datenbasierte Vorteile. Obwohl ihre Architektur relativ einfach ist, ist die Gewährleistung einer vollständigen Interpretierbarkeit und Hardware-Realisierung immer noch von einer erhöhten Effizienz und reduzierten Datenanforderungen abhängig. In dieser Dissertation werden einige der notwendigen Änderungen an der traditionellen Architektur vorgestellt, um physikalisches Reservoir Computing näher an die Realisierung zu bringen

Causal Decomposition of Complex Systems & Prediction of Chaos using Machine Learning

Wir leben in einem komplexen System. Daher ist es unerlässlich, über Techniken zur Analyse und zum Verständnis seiner verschleierten Dynamik zu verfugen, um die Entscheidungsfindung zu verbessern. Ziel dieser Dissertation ist es, einen Beitrag zur Forschung zu leisten, die unsere Möglichkeiten erweitert, diese komplexen Systeme für uns weniger intransparent zu machen. Zunächst wird aufgezeigt, welche Auswirkungen es auf praktische Anwendungen hat, wenn Nichtlinearität — ein oft vernachlässigter Faktor bei kausaler Inferenz — berücksichtigt wird. Daher ¨ untersuchen wir die kausalen Beziehungen innerhalb dieser Systeme und beleuchten insbesondere die Unterscheidung zwischen linearen und nichtlinearen Kausalitätsfaktoren. Nachdem wir die erforderlichen Methoden entwickelt haben, wenden wir sie auf einen realen Anwendungsfall an und zeigen, dass leichte Anpassungen bestimmter Finanzmarktmodelle durch die Auflösung des Korrelations-Kausalitäts-Fehlschlusses zu erheblichen Vorteilen führen können. Sobald die linearen und nichtlinearen Kausalzusammenhänge bekannt sind, können wir aus der zugrunde liegenden Kausalitätsstruktur die Differentialgleichungen ableiten, um die Interpretierbarkeit von Modellierungen und Vorhersagen zu verbessern. Durch die Feinjustierung der Parameter dieser Gleichungen durch das Phänomen der Synchronisierung von Chaos können wir sicherstellen, dass sie die Daten optimal darstellen. Allerdings lassen sich nicht alle komplexen Systeme durch Differentialgleichungen adäquat beschreiben. Daher bietet die Anwendung von Techniken des maschinellen Lernens wie Reservoir Computing bei der Vorhersage chaotischer Systeme erhebliche datenbasierte Vorteile. Obwohl ihre Architektur relativ einfach ist, ist die Gewährleistung einer vollständigen Interpretierbarkeit und Hardware-Realisierung immer noch von einer erhöhten Effizienz und reduzierten Datenanforderungen abhängig. In dieser Dissertation werden einige der notwendigen Änderungen an der traditionellen Architektur vorgestellt, um physikalisches Reservoir Computing näher an die Realisierung zu bringen

Prediction and control of nonlinear dynamical systems using machine learning

Künstliche Intelligenz und Machine Learning erfreuen sich in Folge der rapide gestiegenen Rechenleistung immer größerer Popularität. Sei es autonomes Fahren, Gesichtserkennung, bildgebende Diagnostik in der Medizin oder Robotik – die Anwendungsvielfalt scheint keine Grenzen zu kennen. Um jedoch systematischen Bias und irreführende Ergebnisse zu vermeiden, ist ein tiefes Verständnis der Methoden und ihrer Sensitivitäten von Nöten. Anhand der Vorhersage chaotischer Systeme mit Reservoir Computing – einem künstlichen rekurrenten neuronalem Netzwerk – wird im Rahmen dieser Dissertation beleuchtet, wie sich verschiedene Eigenschaften des Netzwerks auf die Vorhersagekraft und Robustheit auswirken. Es wird gezeigt, wie sich die Variabilität der Vorhersagen – sowohl was die exakte zukünftige Trajektorie betrifft als auch das statistische Langzeitverhalten (das "Klima") des Systems – mit geeigneter Parameterwahl signifikant reduzieren lässt. Die Nichtlinearität der Aktivierungsfunktion spielt hierbei eine besondere Rolle, weshalb ein Skalierungsparameter eingeführt wird, um diese zu kontrollieren. Des Weiteren werden differenzielle Eigenschaften des Netzwerkes untersucht und gezeigt, wie ein kontrolliertes Entfernen der "richtigen" Knoten im Netzwerk zu besseren Vorhersagen führt und die Größe des Netzwerkes stark reduziert werden kann bei gleichzeitig nur moderater Verschlechterung der Ergebnisse. Dies ist für Hardware Realisierungen von Reservoir Computing wie zum Beispiel Neuromorphic Computing relevant, wo möglichst kleine Netzwerke von Vorteil sind. Zusätzlich werden unterschiedliche Netzwerktopologien wie Small World Netzwerke und skalenfreie Netzwerke beleuchtet. Mit den daraus gewonnenen Erkenntnissen für bessere Vorhersagen von nichtlinearen dynamischen Systemen wird eine neue Kontrollmethode entworfen, die es ermöglicht, dynamische Systeme flexibel in verschiedenste Zielzustände zu lenken. Hierfür wird – anders als bei vielen bisherigen Ansätzen – keine Kenntnis der zugrundeliegenden Gleichungen des Systems erfordert. Ebenso wird nur eine begrenzte Datenmenge verlangt, um Reservoir Computing hinreichend zu trainieren. Zudem ist es nicht nur möglich, chaotisches Verhalten in einen periodischen Zustand zu zwingen, sondern auch eine Kontrolle auf komplexere Zielzustände wie intermittentes Verhalten oder ein spezifischer anderer chaotischer Zustand. Dies ermöglicht eine Vielzahl neuer potenzieller realer Anwendungen, von personalisierten Herzschrittmachern bis hin zu Kontrollvorrichtungen für Raketentriebwerke zur Unterbindung von kritischen Verbrennungsinstabilitäten. Als Schritt zur Weiterentwicklung von Reservoir Computing zu einem verbesserten hybriden System, das nicht nur rein datenbasiert arbeitet, sondern auch physikalische Zusammenhänge berücksichtigt, wird ein Ansatz vorgestellt, um lineare und nichtlinearen Kausalitätsstrukturen zu separieren. Dies kann verwendet werden, um Systemgleichungen oder Restriktionen für ein hybrides System zur Vorhersage oder Kontrolle abzuleiten.Artificial intelligence and machine learning are becoming increasingly popular as a result of the rapid increase in computing power. Be it autonomous driving, facial recognition, medical imaging diagnostics or robotics – the variety of applications seems to have no limits. However, to avoid systematic bias and misleading results, a deep understanding of the methods and their sensitivities is needed. Based on the prediction of chaotic systems with reservoir computing – an artificial recurrent neural network – this dissertation sheds light on how different properties of the network affect the predictive power and robustness. It is shown how the variability of the predictions – both in terms of the exact short-term predictions and the long-term statistical behaviour (the "climate") of the system – can be significantly reduced with appropriate parameter choices. The nonlinearity of the activation function plays a special role here, thus a scaling parameter is introduced to control it. Furthermore, differential properties of the network are investigated and it is shown how a controlled removal of the right nodes in the network leads to better predictions, whereas the size of the network can be greatly reduced while only moderately degrading the results. This is relevant for hardware realizations of reservoir computing such as neuromorphic computing, where networks that are as small as possible are advantageous. Additionally, different network topologies such as small world networks and scale-free networks are investigated. With the insights gained for better predictions of nonlinear dynamical systems, a new control method is designed that allows dynamical systems to be flexibly forced into a wide variety of dynamical target states. For this – unlike many previous approaches – no knowledge of the underlying equations of the system is required. Further, only a limited amount of data is needed to sufficiently train reservoir computing. Moreover, it is possible not only to force chaotic behavior to a periodic state, but also to control for more complex target states such as intermittent behavior or a specific different chaotic state. This enables a variety of new potential real-world applications, from personalized cardiac pacemakers to control devices for rocket engines to suppress critical combustion instabilities. As a step toward advancing reservoir computing to an improved hybrid system that is not only purely data-based but also takes into account physical relationships, an approach is presented to separate linear and nonlinear causality structures. This can be used to derive system equations or constraints for a hybrid prediction or control system

Factors Influencing Customer Satisfaction towards E-shopping in Malaysia

Online shopping or e-shopping has changed the world of business and quite a few people have decided to work with these features. What their primary concerns precisely and the responses from the globalisation are the competency of incorporation while doing their businesses. E-shopping has also increased substantially in Malaysia in recent years. The rapid increase in the e-commerce industry in Malaysia has created the demand to emphasize on how to increase customer satisfaction while operating in the e-retailing environment. It is very important that customers are satisfied with the website, or else, they would not return. Therefore, a crucial fact to look into is that companies must ensure that their customers are satisfied with their purchases that are really essential from the ecommerce’s point of view. With is in mind, this study aimed at investigating customer satisfaction towards e-shopping in Malaysia. A total of 400 questionnaires were distributed among students randomly selected from various public and private universities located within Klang valley area. Total 369 questionnaires were returned, out of which 341 questionnaires were found usable for further analysis. Finally, SEM was employed to test the hypotheses. This study found that customer satisfaction towards e-shopping in Malaysia is to a great extent influenced by ease of use, trust, design of the website, online security and e-service quality. Finally, recommendations and future study direction is provided. Keywords: E-shopping, Customer satisfaction, Trust, Online security, E-service quality, Malaysia