Data Mining mittels künstlicher neuronaler Netze

--

Prognose von Retirement Curves von Flugzeugen mithilfe Neuronaler Netze

Das Ziel dieser Arbeit ist die Entwicklung eines Neuronalen Netzes, das die Überlebenswahrscheinlichkeit von Flugzeugen vorhersagen kann. Hierzu werden, für ein besseres Verständnis von Künstlicher Intelligenz, die drei Arten des Machine Learning untersucht, sowie Neuronale Netze detailliert erklärt. Für die Entwicklung eines Programms zur Berechnung und Visualisierung von Retirement Curves, werden die Python Bibliotheken Keras und TensorFlow verwendet. Die Trainingsdaten für das Neuronale Netz sind die Daten zur weltweiten Passagierflugzeugflotte, welche mit Wirtschaftsdaten zum weltweiten Bruttoinlandsprodukt pro Kopf, dem Ölpreis und den Flugpassagierzahlen pro Jahr angereichert werden. Die Datenauswahl wird detailliert geschildert und es wird die Bewältigung von Herausforderungen bei der Einbindung der Wirtschaftsdaten festgehalten. Mithilfe des Kolmogorov-Smirnov-Tests und des Vergleichs mit bereits existierenden Vorhersagen werden die erstellten Retirement Curves validiert. Die Entwicklung des Programms konnte unter Erfüllung aller Anforderungen vollständig abgeschlossen werden

Künstliche Intelligenz und Museen – Ein Toolkit

In 2019 the Museums + AI network engaged with 50 senior museum professionals, and leading academics across the UK and US. Alongside these industry focussed events we were delighted to throw open the doors to the public through a series of events called Curator: Computer: Creator that encouraged diverse voices to join the conversation on what AI might look like for museums in the near future in partnership with the Barbican Centre (London), and Cooper Hewitt, Smithsonian Design Museum (NYC). During these workshops and events, we tested, challenged and refined models of practice, workshop formats, and development tools – this toolkit is one of the results of that work. We hope you will use this toolkit when developing future AI projects in your own museum, and signpost colleagues and peers to it as a free resource to support the development of ethically robust project concepts. The toolkit is designed to start a conversation, it does not provide all the answers, or indeed offer solutions, but instead it serves as a foundation for critical engagement with these technologies and the possibilities and challenges that they offer

Social-Media-Daten: Chancen und Herausforderungen der Nutzung von Social-Media-Daten im Kontext wissenschaftlicher Forschung

Im Rahmen der vorliegende Arbeit konnten Chancen und Herausforderungen von Social Media Datenanalysen aufgezeigt werden. Um das Potenzial dieser nutzen zu können, ist eine interdisziplinäre Herangehensweise erforderlich. Während die vorliegenden Publikationen noch durch eine Einzelperson realisiert werden konnten, wird klar das die Einbeziehung der unterschiedlichen Disziplinen eine verstärkte Zusammenarbeit erfordert. Die Erweiterung der Agenten basierten Simulation um die „Mean Field Game Theory“ erfordert z.B. fortgeschrittene Kenntnisse der Physik, Sentiment Analysen erfordert die Zusammenarbeit von Linguisten und Informatikern, Clusteranalysen bedürfen der Zusammenarbeit von Datenanalytikern und Soziologen. Um das Potential der Analyseergebnisse zu heben sollten Wirtschaftswissenschaftler einbezogen bzw. sind diese Treiber und Wertschöpfer. Somit ist zukünftig eine verstärkte Zusammenarbeit zu erwarten, welches zu komplexen Formen der Zusammenarbeit führen wird. Dies wiederum bedingt Konzepte und Frameworks, um die Zusammenarbeit transparent und verständlich gestalten zu können

Neue Erkenntnisse zum Mobilitätsverhalten dank Data Mining

Unter Data Mining versteht man im engeren Sinn das systematische (in der Regel automatisierte oder halbautomatisierte) Entdecken und Extrahieren von vorher unbekannten statistischen Informationszusammenhängen aus grossen Datenmengen. Im deutschen Sprachgebrauch steht Data Mining oft für den ganzen Analyse-Prozess, der auch die Vorbereitung der Daten sowie die Bewertung der Resultate umfasst. Data Mining wird in verschiedenen Bereichen erfolgreich eingesetzt. Anwendungsbeispiele aus schweizerischen Verkehrsplanungen fehlen aber bisher weitgehend. Ziel der Forschungsarbeit war es, den praktisch tätigen Verkehrsplaner mit dem Prozess und den Methoden von Data Mining vertraut zu machen und die Möglichkeiten von Data Mining als Hilfsmittel in der Verkehrsplanung auszuloten. Data Mining wird als iterativer, lernender Prozess dargestellt, in welchem die Phasen von der Fragestellung über das Sammeln und Aufbereiten der Daten, die Modellierung und die Auswertung der Ergebnisse bis zu deren Umsetzung in die Praxis mehrfach durchlaufen werden. In dieser Arbeit wird dieser Prozess genauer beschrieben und ein Überblick über eine Auswahl von Methoden, die in der Modellierung verwendet werden, gegeben. Beispiele aus der Literatur illustrieren das breite Anwendungsspektrum von Data Mining in der Verkehrsplanung (z.B. Verkehrserzeugung, Autobesitz, Verkehrsmittel- und Routenwahl oder Klassifikation von Mobilitätsmustern). Bei den beschriebenen Beispielen handelt es sich um Forschungsarbeiten. Deren Ergebnisse haben noch kaum breiten Eingang in die Praxis gefunden. An Fallbeispielen wird demonstriert, wie Data Mining in der Praxis angewendet werden kann. Als Datensätze werden der Mikrozensus Verkehr 2005 und Raumstrukturdaten des Bundesamtes für Statistik verwendet. Die Fallbeispiele behandeln die Analyse der Häufigkeit von Wegeketten, die Vorhersage der Anzahl Wegeketten pro Person und Tag, die Klassifikation nach Mobilitätstypen sowie die Vorhersage des Mobilitätstyps einer Person aufgrund sozio-demographischer Merkmale und Raumstrukturinformationen zu den Wohn- und Zielorten. Aus der grossen Vielfalt von Software-Lösungen für Data Mining wird eine Auswahl proprietärer und frei verfügbarer Pakete, welche für den Einsatz in der Verkehrsplanung als grundsätzlich geeignet beurteilt werden, grob und ohne Wertung beschrieben. Die Studie kommt zum Schluss, dass Data Mining in der Verkehrsplanung sicher nutzbringend anwendbar ist, dass aber nicht – wie vielleicht erhofft – automatisch auf alle Fragen gute Antworten erwartet oder ohne Dazutun des Anwenders aus vorhandenen Datensätzen neue Erkenntnisse gewonnen werden können. Empfehlenswerte Einsatzgebiete für Data Mining in der Verkehrsplanung sind beispielsweise: Klassifikation, z.B. des Mobilitätsverhaltens, Visualisierung komplexer mehrdimensionaler Datensätze zum raschen Erkennen von Mustern resp. Clustern, rasche und automatische Erkennung der (aus statistischer Sicht) wichtigsten Prädikatorendes Mobilitätsverhaltens, Analyse der Entscheidungsprozesse, z.B. bei der Verkehrsteilnahme. Zusammenhänge, die mit Data Mining Methoden extrahiert werden, sind grundsätzlich Daten-getrieben und müssen keine Kausalitäten widerspiegeln. Deshalb wird empfohlen, aus Kausalitätsüberlegungen abgeleitete Modelle weiterhin mit statistischen Methoden an die Daten anzupassen. Konventionelle Modellansätze und Data Mining sollen als sich ergänzende und gegenseitig unterstützende Methoden eingesetzt werden. Um Data Mining zukünftig auch in der Verkehrsplanung nutzbringend einsetzen zu können, bedarf es keiner weiteren Random Forest Forschung. Vielmehr sind möglichst viele praktische Anwendungen erwünscht, mit denen Verkehrsplaner und Data Mining Experten in interdisziplinärer Zusammenarbeit Erfahrungen sammeln und weitergeben können

Dimensionality reduction and unsupervised learning techniques applied to clinical psychiatric and neuroimaging phenotypes

Unsupervised learning and other multivariate analysis techniques are increasingly recognized in neuropsychiatric research. Here, finite mixture models and random forests were applied to clinical observations of patients with major depression to detect and validate treatment response subgroups. Further, independent component analysis and agglomerative hierarchical clustering were combined to build a brain parcellation solely on structural covariance information of magnetic resonance brain images. Übersetzte Kurzfassung: Unüberwachtes Lernen und andere multivariate Analyseverfahren werden zunehmend auf neuropsychiatrische Fragestellungen angewendet. Finite mixture Modelle wurden auf klinische Skalen von Patienten mit schwerer Depression appliziert, um Therapieantwortklassen zu bilden und mit Random Forests zu validieren. Unabhängigkeitsanalysen und agglomeratives hierarchisches Clustering wurden kombiniert, um die strukturelle Kovarianz von Magnetresonanz­tomographie-Bildern für eine Hirnparzellierung zu nutzen

Über die Selbstorganisation einer hierarchischen Gedächtnisstruktur für kompositionelle Objektrepräsentation im visuellen Kortex

At present, there is a huge lag between the artificial and the biological information processing systems in terms of their capability to learn. This lag could be certainly reduced by gaining more insight into the higher functions of the brain like learning and memory. For instance, primate visual cortex is thought to provide the long-term memory for the visual objects acquired by experience. The visual cortex handles effortlessly arbitrary complex objects by decomposing them rapidly into constituent components of much lower complexity along hierarchically organized visual pathways. How this processing architecture self-organizes into a memory domain that employs such compositional object representation by learning from experience remains to a large extent a riddle. The study presented here approaches this question by proposing a functional model of a self-organizing hierarchical memory network. The model is based on hypothetical neuronal mechanisms involved in cortical processing and adaptation. The network architecture comprises two consecutive layers of distributed, recurrently interconnected modules. Each module is identified with a localized cortical cluster of fine-scale excitatory subnetworks. A single module performs competitive unsupervised learning on the incoming afferent signals to form a suitable representation of the locally accessible input space. The network employs an operating scheme where ongoing processing is made of discrete successive fragments termed decision cycles, presumably identifiable with the fast gamma rhythms observed in the cortex. The cycles are synchronized across the distributed modules that produce highly sparse activity within each cycle by instantiating a local winner-take-all-like operation. Equipped with adaptive mechanisms of bidirectional synaptic plasticity and homeostatic activity regulation, the network is exposed to natural face images of different persons. The images are presented incrementally one per cycle to the lower network layer as a set of Gabor filter responses extracted from local facial landmarks. The images are presented without any person identity labels. In the course of unsupervised learning, the network creates simultaneously vocabularies of reusable local face appearance elements, captures relations between the elements by linking associatively those parts that encode the same face identity, develops the higher-order identity symbols for the memorized compositions and projects this information back onto the vocabularies in generative manner. This learning corresponds to the simultaneous formation of bottom-up, lateral and top-down synaptic connectivity within and between the network layers. In the mature connectivity state, the network holds thus full compositional description of the experienced faces in form of sparse memory traces that reside in the feed-forward and recurrent connectivity. Due to the generative nature of the established representation, the network is able to recreate the full compositional description of a memorized face in terms of all its constituent parts given only its higher-order identity symbol or a subset of its parts. In the test phase, the network successfully proves its ability to recognize identity and gender of the persons from alternative face views not shown before. An intriguing feature of the emerging memory network is its ability to self-generate activity spontaneously in absence of the external stimuli. In this sleep-like off-line mode, the network shows a self-sustaining replay of the memory content formed during the previous learning. Remarkably, the recognition performance is tremendously boosted after this off-line memory reprocessing. The performance boost is articulated stronger on those face views that deviate more from the original view shown during the learning. This indicates that the off-line memory reprocessing during the sleep-like state specifically improves the generalization capability of the memory network. The positive effect turns out to be surprisingly independent of synapse-specific plasticity, relying completely on the synapse-unspecific, homeostatic activity regulation across the memory network. The developed network demonstrates thus functionality not shown by any previous neuronal modeling approach. It forms and maintains a memory domain for compositional, generative object representation in unsupervised manner through experience with natural visual images, using both on- ("wake") and off-line ("sleep") learning regimes. This functionality offers a promising departure point for further studies, aiming for deeper insight into the learning mechanisms employed by the brain and their consequent implementation in the artificial adaptive systems for solving complex tasks not tractable so far.Gegenwärtig besteht immer noch ein enormer Abstand zwischen der Lernfähigkeit von künstlichen und biologischen Informationsverarbeitungssystemen. Dieser Abstand ließe sich durch eine bessere Einsicht in die höheren Funktionen des Gehirns wie Lernen und Gedächtnis verringern. Im visuellen Kortex etwa werden die Objekte innerhalb kürzester Zeit entlang der hierarchischen Verarbeitungspfade in ihre Bestandteile zerlegt und so durch eine Komposition von Elementen niedrigerer Komplexität dargestellt. Bereits bekannte Objekte werden so aus dem Langzeitgedächtnis abgerufen und wiedererkannt. Wie eine derartige kompositionell-hierarchische Gedächtnisstruktur durch die visuelle Erfahrung zustande kommen kann, ist noch weitgehend ungeklärt. Um dieser Frage nachzugehen, wird hier ein funktionelles Modell eines lernfähigen rekurrenten neuronalen Netzwerkes vorgestellt. Im Netzwerk werden neuronale Mechanismen implementiert, die der kortikalen Verarbeitung und Plastizität zugrunde liegen. Die hierarchische Architektur des Netzwerkes besteht aus zwei nacheinander geschalteten Schichten, die jede eine Anzahl von verteilten, rekurrent vernetzten Modulen beherbergen. Ein Modul umfasst dabei mehrere funktionell separate Subnetzwerke. Jedes solches Modul ist imstande, aus den eintreffenden Signalen eine geeignete Repräsentation für den lokalen Eingaberaum unüberwacht zu lernen. Die fortlaufende Verarbeitung im Netzwerk setzt sich zusammen aus diskreten Fragmenten, genannt Entscheidungszyklen, die man mit den schnellen kortikalen Rhythmen im gamma-Frequenzbereich in Verbindung setzen kann. Die Zyklen sind synchronisiert zwischen den verteilten Modulen. Innerhalb eines Zyklus wird eine lokal umgrenzte winner-take-all-ähnliche Operation in Modulen durchgeführt. Die Kompetitionsstärke wächst im Laufe des Zyklus an. Diese Operation aktiviert in Abhängigkeit von den Eingabesignalen eine sehr kleine Anzahl von Einheiten und verstärkt sie auf Kosten der anderen, um den dargebotenen Reiz in der Netzwerkaktivität abzubilden. Ausgestattet mit adaptiven Mechanismen der bidirektionalen synaptischen Plastizität und der homöostatischen Aktivitätsregulierung, erhält das Netzwerk natürliche Gesichtsbilder von verschiedenen Personen dargeboten. Die Bilder werden der unteren Netzwerkschicht, je ein Bild pro Zyklus, als Ansammlung von Gaborfilterantworten aus lokalen Gesichtslandmarken zugeführt, ohne Information über die Personenidentität zur Verfügung zu stellen. Im Laufe der unüberwachten Lernprozedur formt das Netzwerk die Verbindungsstruktur derart, dass die Gesichter aller dargebotenen Personen im Netzwerk in Form von dünn besiedelten Gedächtnisspuren abgelegt werden. Hierzu werden gleichzeitig vorwärtsgerichtete (bottom-up) und rekurrente (lateral, top-down) synaptische Verbindungen innerhalb und zwischen den Schichten gelernt. Im reifen Verbindungszustand werden infolge dieses Lernens die einzelnen Gesichter als Komposition ihrer Bestandteile auf generative Art gespeichert. Dank der generativen Art der gelernten Struktur reichen schon allein das höhere Identitätssymbol oder eine kleine Teilmenge von zugehörigen Gesichtselementen, um alle Bestandteile der gespeicherten Gesichter aus dem Gedächtnis abzurufen. In der Testphase kann das Netzwerk erfolgreich sowohl die Identität als auch das Geschlecht von Personen aus vorher nicht gezeigten Gesichtsansichten erkennen. Eine bemerkenswerte Eigenschaft der entstandenen Gedächtnisarchitektur ist ihre Fähigkeit, ohne Darbietung von externen Stimuli spontan Aktivitätsmuster zu generieren und die im Gedächtnis abgelegten Inhalte in diesem schlafähnlichen "off-line" Regime wiederzugeben. Interessanterweise ergibt sich aus der Schlafphase ein direkter Vorteil für die Gedächtnisfunktion. Dieser Vorteil macht sich durch eine drastisch verbesserte Erkennungsrate nach der Schlafphase bemerkbar, wenn das Netwerk mit den zuvor nicht dargebotenen Ansichten von den bereits bekannten Personen konfrontiert wird. Die Leistungsverbesserung nach der Schlafphase ist umso deutlicher, je stärker die Alternativansichten vom Original abweichen. Dieser positive Effekt ist zudem komplett unabhängig von der synapsenspezifischen Plastizität und kann allein durch die synapsenunspezifische, homöostatische Regulation der Aktivität im Netzwerk erklärt werden. Das entwickelte Netzwerk demonstriert so eine im Bereich der neuronalen Modellierung bisher nicht gezeigte Funktionalität. Es kann unüberwacht eine Gedächtnisdomäne für kompositionelle, generative Objektrepräsentation durch die Erfahrung mit natürlichen Bildern sowohl im reizgetriebenen, wachähnlichen Zustand als auch im reizabgekoppelten, schlafähnlichen Zustand formen und verwalten. Diese Funktionalität bietet einen vielversprechenden Ausgangspunkt für weitere Studien, die die neuronalen Lernmechanismen des Gehirns ins Visier nehmen und letztendlich deren konsequente Umsetzung in technischen, adaptiven Systemen anstreben