Are you Experienced? – A Model of Learning Systems Dynamics

37 p.Este artículo propone una contribución al campo de las habilidades de pensamiento sistémico en el ámbito de la dinámica de sistemas. Estudios empíricos mostraron que sujetos sin formación previa tienen graves problemas para comprender el comportamiento de un sistema simple de una variable flujo y una de estado. Aquí se propone que la integración implícita de Polanyi puede ser aplicada. Dentro de esta línea, Dreyfus y Dreyfus desarrollaron un modelo de aprendizaje de habilidades en cinco fases; de este modelo se derivan tres hipótesis acerca del aprendizaje de las habilidades de pensamiento sistémico y su importancia para elaborar e interactuar con modelos. Las pruebas de Ossimitz son adaptadas para una evaluación empírica. Esta corroboración esta en progreso, por lo cual es presente artículo se limita a la construcción conceptual

Learning from rediscovering system dynamics models

This article deals with learning from the exploration of system dynamics models. System dynamics modeling intends to improve judgment and decision, but is very time consuming. Model-based interactive learning environments allow saving time, but critics doubt the effectiveness for deep learning. The question is if there is a third way in-between. Relevant examples from system dynamics are analyzed to identify the key activities that trigger learning; they are organized as a structured exploration process, making learners ask relevant questions, obtain valid responses and correctly interpret them. Based upon this, a process for guided rediscovery is proposed together with guidelines for the functional properties of a “systemic exploratory”. Guided rediscovery enables non-specialists to gain relevant insights into dynamically complex situations and is a tool for decision policy design

¿Por que manejan tan mal? : diseno de un ambiente para aprender a disenar el transito

108 p.La Tesis contempla el estudio causal que explican las conductas que se observan en el transito, por parte de sus diseñadotes y los conductores. Con lo cual se pretende contribuir al mejoramiento de la situación que se presenta actualmente. Para ello se cuenta con un propósito global, que es el elaborar una base sobre la cual se podrá mejorar el proceso de diseño de las calles. Para el logro de los objetivos de la Tesis, se han usado teorías fundamentales que se relacionan con el proceso de aprendizaje, que involucra tanto a los conductores como a los diseñadotes del transito, por ello, la metodología utilizada, se basa esencialmente en el construccionismo, tras el modelo de aprendizaje. Para cumplir los objetivos e hipótesis del proyecto, se ha diseñado un ambiente computacional, el cual deja manifiesto la influencia que tiene el diseño del transito en la conducta de los conductores. Para esta consideración, además, se argumenta con ejemplos de situaciones irregulares de transito en la ciudad de Talca. Los resultados de la Tesis indican que los conductores aprenden en el transito, y su aprendizaje se acumula según la experiencia que vayan teniendo en el sistema. Además el software que se crea, permite diseñar situaciones del transito y probar sus efectos en el aprendizaje de los conductores. Las conclusiones de la Tesis nos llevan a considerar la conducta de los conductores, puesto que permitirá una nueva forma de diseñar el transito. Se prueba que las calles han sido diseñadas para los conductores ideales, los que manejan integramente según el reglamento, y no para los conductores reale

Modelando se aprende aplicación explorativa de un metodo de comparacion de modelos de dinamica de sistema.

51 p.Hasta ahora, los dinamistas de sistemas, sostienen que modelar cualquier situación, con Dinámica de Sistemas, conlleva, a que el individuo que modela constantemente, obtenga una prendizaje sobre la situación o sistema en cuestión, sin embargo, no hay antecedentes empíricos que respalden esta afirmación. La presente memoria, trata de proba dicha afirmación. Hay que señalar, que para llevar a cabo esta medición se debió ocupar un método, que solo ha sido aprobado teóricamente, pero que aun no se prueba en la práctica. La finalidad de este estudio, es plantear los lineamientos para investigaciones posteriores en el área, es una investigación de carácter exploratoria, puesto que no cuenta con la suficiente muestra, que ratifique la teoría. También, con los resultados de esta investigación, se podrá tener una idea, de la importancia que tiene que los futuros administradores, entiendan el enfoque sistémico de la realidad, y que modelando con Dinámica de Sistemas, se podría resolver situaciones que hasta ahora parecen complejas

Lernbeiträge im Rahmen einer kognitiven Architektur für die intelligente Prozessführung

In dieser Arbeit werden wichtige Aspekte einer kognitiven Architektur für das Erlernen von Regelungsaufgaben beleuchtet. Dabei geht es primär um die Merkmalsextraktion, das Reinforcement Learning und das Lernmanagement im Rahmen des Wahrnehmungs-Handlungs-Zyklus. Wichtige Beiträge sind dabei verschiedene residuumsbasierte Ansätze zur hybriden Merkmalsselektion, ein Algorithmus zur Behandlung des Explorations-Exploitation-Dilemmas in kontinuierlichen Aktionsräumen, Untersuchungen zum Rewarddekompositionsproblem, sowie die Verzahnung der einzelnen Komponenten einer funktionierenden Architektur. Der experimentelle Nachweis, dass das vorgestellte System die Lösung für reale Probleme erlernen kann, wird am herausfordernden Szenario der intelligenten Feuerungsführung erbracht. Dabei wird das Gesamtsystem zur Regelung eines mit Steinkohle gefeuerten Kraftwerks eingesetzt. Dabei wurden Ergebnisse erzielt, die bisher existierende Systeme und auch menschliche Experten deutlich übertreffen.In this thesis, important aspects of a cognitive architecture for learning control tasks are discussed. Highlighted are the topics of feature extraction, reinforcement learning and learning management in the context of the perception-action-cycle. The contributions in the field of feature extraction utilize informationtheoretic measures such as mutual information to formulate new hybrid feature extraction algorithms. Finding features that are explicitly linked with the errors made by a learning system are the focus. It is shown this approach based on residuals is superior to classical methods. Another topic of interest is the estimation of mutual information in the context of feature extraction. State of the art reinforcement learning methods are investigated for their suitability for challenging applications. This work addresses issues of learning management, such as the exploration-exploitation dilemma, the plasticity-stability dilemma and the reward decomposition problem. New contributions are made in the form of the diffusion tree-based reinforcement learning algorithm and the SMILE approach. Likewise, an architectural extension is proposed to organize the learning process. It uses a process map as the core piece to achieve this organization. Experimental evidence that the proposed system can learn the solution to real problems is presented in the challenging scenario of intelligent combustion control. The system is used to learn a control strategy in a coal-fired power plant. The achieved results surpass existing systems and human experts.In dieser Arbeit werden wichtige Aspekte einer kognitiven Architektur für das Erlernen von Regelungsaufgaben beleuchtet. Dabei geht es primär um die Merkmalsextraktion, das Reinforcement Learning und das Lernmanagement im Rahmen des Wahrnehmungs-Handlungs-Zyklus. Für die Merkmalsextraktion werden dabei mit Hilfe informationstheoretischer Größen, wie der Transinformation, neue hybride Merkmalsextraktionsverfahren vorgestellt. Neuartig ist dabei der Ansatz, Merkmale zu suchen, die explizit mit den gemachten Fehlern eines lernenden Systems verknüpft sind. Es wird gezeigt, dass diese residuumsbasierten Ansätze klassischen Methoden überlegen sind. Es wird ebenfalls untersucht, welche Schätzverfahren für die Bestimmung der Transinformation im Sinne der Merkmalsextraktion geeignet sind. Als Entscheidungsinstanz der Gesamtarchitektur werden aktuelle Reinforcement Learning Verfahren auf ihre Eignung für komplexe Anwendungen hin untersucht. Dabei wird auch auf Probleme des Lernmanagements, wie das Explorations-Exploitations-Dilemma, das Stabilitäts-Plastizitäts-Dilemma und das Rewarddekompositionsproblem eingegangen. Neue Beiträge werden dabei in Form des Diffusionsbaumbasiertes Reinforcement Learning und des SMILE-Algorithmus geliefert. Ebenso wird eine Architekturerweiterung zum Organisieren der Lernprozesse vorgeschlagen, welche im Kern um eine Prozesskarte angeordnet ist. Der experimentelle Nachweis, dass das vorgestellte System die Lösung für reale Probleme erlernen kann, wird am herausfordernden Szenarioder intelligenten Feuerungsführung erbracht. Dabei wird das Gesamtsystem zur Regelung eines mit Steinkohle gefeuerten Kraftwerks eingesetzt, wobei Ergebnisse erzielt werden, die bisher existierende Systeme und auch menschliche Experten übertreffen

Linkage between Dust Cycle and European Loess in the Last Glacial Maximum Determined by Atmospheric Model Simulations

The Last Glacial Maximum (LGM) is a turning point of the Earth’s climate and the human dispersal. Yet, the then prevailing atmosphere dynamics over Europe and the North Atlantic as well as the mineral dust cycle in Europe are not well understood. This dissertation improves understanding the LGM climate and its dust cycle. Based on global climate simulations, it compares the LGM climatologies, jet stream, Circulation Weather Types (CWTs), and Combined Empirical Orthogonal Functions (CEOFs) with their present analogues. The dust cycle was reconstructed for Europe based on statistic dynamic downscaling using CWT frequency-conform regional Weather Research and Forecasting Model (WRF) simulations for the LGM. Proxies and reanalyses served to evaluate all simulations; among them a comprehensive compilation of loess-based reconstructed mass accumulation rates for the LGM. By comparing the simulated LGM depositions with these rates,linkage was established between the LGM dust cycle and the present loess. For the North Atlantic and Europe, the CEOFs suggest a lower LGM than present climate variability. The jet stream was narrower and partly more than 10 m/s faster there. Possible subsequent jet stream paths ran over and along the Nordic Seas, eastwards along the onset of the Central German Uplands or over the Mediterranean. The North Atlantic Oscillation (NAO) was 50% stronger combined with a 6° wider (westward) Azores High. The latitude-deviating LGM temperatures indicate that the North Atlantic Current extended up to Norway. Precipitation reduced by more than 150 mm/yr over the proglacial European areas; including a reduction of more than 300 mm/yr over the North Sea Basin. Near the EIS coast, periods of precipitation and temperatures that ranged below their climatological average synchronized with above-average precipitation periods over the Azores; both likely correlating with a below-average NAO. Similarly, stronger EIS High periods correlated with reduced precipitation and temperatures in western and central Europe. Combined with strong dry northeast sector winds, they favored erosion along the proglacial areas. Consistently, more frequent southerlies, cyclones, and east sector winds occurred in central and eastern Europe. This agrees with katabatic winds and the EIS-induced blocking that shifted the storm tracks southward. In contrast to the present westerlies, east sector winds (36%) and cyclones (22%) dominated central Europe. The east sector winds dominated the dust transport from the proglacial EIS areas to central Europe. In particular over western Europe, cyclones and strong — yet rare — west sector winds contributed in addition to the dust transport. Most dust was emitted from the Alps-, Black Sea- and EIS-bounded area. Its emissions culminated in proglacial central Europe with peaks of more than 100 kg m^(−2) yr^(−1) . The LGM dust plumes mainly ran westwards along the EIS margin. The highest aeolian depositions covered West Poland, the German Bight, and the North German Plain (between 1 and 100 kg m^(–2) yr^(–1) ). The significance of the east sector winds for the LGM is corroborated by the consistency of the simulated depositions and the mass accumulation rates reconstructed from more than 70 distinct loess sites across Europe

Towards Task-Prioritized Policy Composition

Combining learned policies in a prioritized, ordered manner is desirable because it allows for modular design and facilitates data reuse through knowledge transfer. In control theory, prioritized composition is realized by null-space control, where low-priority control actions are projected into the null-space of high-priority control actions. Such a method is currently unavailable for Reinforcement Learning. We propose a novel, task-prioritized composition framework for Reinforcement Learning, which involves a novel concept: The indifferent-space of Reinforcement Learning policies. Our framework has the potential to facilitate knowledge transfer and modular design while greatly increasing data efficiency and data reuse for Reinforcement Learning agents. Further, our approach can ensure high-priority constraint satisfaction, which makes it promising for learning in safety-critical domains like robotics. Unlike null-space control, our approach allows learning globally optimal policies for the compound task by online learning in the indifference-space of higher-level policies after initial compound policy construction