Empirische Risiko-Minimierung für dynamische Datenstrukturen

Strukturen in Datensätzen sollen häufig durch einen funktionalen Zusammenhang dargestellt werden. Die Grundlage zur bestmöglichen Anpassung einer Funktion an die vorliegende Datenstruktur bezüglich eines geeignet gewählten Maßes ist in der Regel die Minimierung eines erwarteten Verlusts, des Risikos. Bei unbekannter Verteilung ist das empirische Risiko ein nahe liegender Ersatz. Bei unabhängig identisch verteilten Beobachtungen und nur geringen Voraussetzungen hat dieses empirische Risikominimierungsverfahren (ERM-Prinzip) gute Konsistenzeigenschaften. Die Theorie ist zusammen mit der darauf aufbauenden strukturellen Risiko-Minimierung die Grundlage für verschiedene Methoden der statistischen Lerntheorie, wie z.B. Support Vector Machines (SVM). Auf Grund der limitierenden Voraussetzungen des ERM-Prinzips ist es nicht zulässig, die SVM auf Daten mit Abhängigkeitsstrukturen anzuwenden. Die Analyse dynamischer, meist zeitlicher Strukturen nimmt aber einen immer größeren Platz in der modernen Datenanalyse ein, so dass eine Anwendung des Prinzips der empirischen Risiko-Minimierung auf solche Daten wünschenswert ist. Dazu muss die Theorie so erweitert werden, dass die Dynamik in den Daten als stochastischer Prozess auf den Fehlerterm innerhalb der Daten wirkt. In der vorliegenden Arbeit kann dafür die Konsistenz der empirischen Risiko-Minimierung durch Ausnutzen von Konsistenzsätzen der Martingal- und vor allem der Mixingal-Theorie nachgewiesen werden. Dadurch sind zahlreiche unterschiedliche Annahmen an die Abhängigkeitsstruktur in den Fehlern möglich. Zusätzlich ist für die Anwendung des ERM-Prinzips bei der Entwicklung von geeigneten Algorithmen eine exponentielle Konvergenzrate von entscheidender Bedeutung. Für Martingal- und auch Mixingal-Strukturen in den Daten können geeignete exponentielle Schranken nachgewiesen werden, die eine schnelle Konvergenz sicherstellen.Die empirische Risiko-Minimierung bildet somit auch bei Mixingal- und Martingal-Strukturen ein allgemeingültiges Prinzip. Damit kann der konzeptionell theoretische Teil der statistischen Lerntheorie nach Vapnik auch für dynamische Datenstrukturen genutzt werden.We consider the task of finding a functional relationship in a set of data. Given an appropriate set of functions to choose from, this leads to the minimization of an expected loss, i.e. a risk, with respect to a suitable measure. In the case when the underlying probability distribution is unknown the empirical risk is an obvious estimator that can be employed for the minimization problem. This empirical risk minimization principle (ERM-principle) has good consistency properties in the case of independent and identically distributed observations. The theory together with the Structural Risk Minimization, which based on it, is the basis for different methods in the context of statistical learning theory, like Support Vector Machines (SVM).The limiting assumptions of the ERM-principle do not permit an application of the SVM on data with dependence structures. However, the analysis of dynamical, usually temporal structures becomes more and more important in modern data analysis and an application of empirical risk minimization to data of this kind is desirable. The extension of this principle for cases of time dependent data has to include the modeled dynamic structure in the data. Thereby the dynamics are not represented directly, but by modeling the errors in the data as a dynamical stochastic process. The proof of the consistency of the ERM-principle under these more general assumptions is given using consistency theorems for Martingales and Mixingales as well, such that different temporal structures in the errors are possible. In addition, an exponential convergence rate is of crucial importance for the application of the ERM-Principle and for the development of appropriate algorithms. Suitable exponential bounds are proven for Martingale and Mixingale structures as well, which guarantee fast convergence.Thus, empirical risk minimization constitutes a general principle with Mixingale or Martingale structures in the data and the conceptional theoretical part of the statistical learning theory can be used with independent data as well as with dynamical structures

Zur Theorie künstlicher neuronaler Netze

Zur Theorie künstlicher neuronaler Netze wird aus vier Gebieten beigetragen: der Informatik mit einem neuen Lernverfahren (stabile Parameteradaption), der Mathematik mit der Analyse der Struktur des Gewichtungsraums, der Statistik mit einem neuen Schätzer für die Güte von Netzen (Clustered bootstrap) und der Physik mit effizienten Lern- und Schliesalgorithmen für dezimierbare Boltzmann-Maschinen. Es werden Abbildungsnetze definiert, deren Kettenregel abgeleitet und in mehrere berechtigte algorithmische Varianten gefast, Backpropagation-Netze definiert, der Backpropagation-Algorithmus in einer möglichst allgemeinen Fassung dargestellt und demonstriert, wie dieser Rahmen auch auf rekurrente Netze angewendet werden kann. Die Grenzen der Methode des Gradientenabstiegs werden aufgezeigt und bekannte alternative Verfahren kritisch dargestellt. Ausgehend davon wird unter den Gesichts- punkten Effizienz und Stabilität eine Klasse neuer miteinander verwandter Optimierungsalgorithmen entwickelt, deren theoretische Leistungsfähigkeit von einem Beweis der Konvergenz erster Ordnung abgesichert wird. Es ist möglich, Zweite-Ordnung-Information in das neue Verfahren einfliesen zu lassen. Empirische Vergleiche unter- mauern dessen Effizienz. Die Grenzen von Optimierungsverfahren werden diskutiert. Danach wird Lernen in neuronalen Netzen als statistisches Schätzproblem aufgefast. Die Güte der Schätzung kann mit bekannten statistischen Verfahren berechnet wer- den. Es wird nachgewiesen, das durch Unzulänglichkeiten neuronalen Lernens die Angaben zur Güte nicht robust oder zu ungenau sind. Das Bestreben, diese Unzulänglichkeiten herauszufiltern, führt auf eine neue theoretische Sichtweise des Gewichtungsraums. Er mus in natürlicher Weise als Mannigfaltigkeit verstanden werden. Es zeigt sich, das die Berechnung der kanonischen Metrik im Gewichtungsraum NP-hart ist. Zugleich wird nachgewiesen, das eine effiziente Approximation der Metrik möglich ist. Damit ist es möglich, Lernergebnisse im Gewichtungsraum zu clustern und zu visualisieren. Als eine weitere Anwendung dieser Theorie wird ein robustes Verfahren der Modellauswahl vorgestellt und an einem Beispiel vorgeführt. Schlieslich kann auch das im vorigen Absatz gestellte Problem durch ein neues Verfahren gelöst werden. Die physikalisch motivierte Boltzmann-Maschine wird dargestellt, und es wird argumentiert, warum hier das Schliesen NP-hart ist. Dies motiviert eine Beschr¨ankung auf die genügend interessante Klasse der dezimierbaren Boltzmann-Maschinen. Eine neue Dezimierungsregel wird eingef¨uhrt und gezeigt, das es keine weiteren gibt. Dezimierbare Boltzmann-Maschinen werden mit Mitteln der Wahrscheinlichkeitstheorie studiert und effiziente Lernalgorithmen vorgeschlagen. Die Gewichtungsraumstruktur kann auch hier erfolgreich ausgenutzt werden, was eine Anwendung demonstriert

Automatische Datenanalyse von massenspektrometrischen Signaturen zur Klassifikation von Krebszellen und Bestimmungen von Wirkstoffwirkungen

Moderne molekular-gerichtete Therapeutika weisen häufig eine verbesserte Wirksamkeit bei günstigerem Nebenwirkungsprofil auf als konventionelle Chemotherapeutika. Sie stehen daher im Fokus der klinischen Forschung und Entwicklung einer individualisierten Medizin. Biomarker oder allgemein molekulare Signaturen, welche die Wirksamkeit molekular-gerichteter Therapeutika anzeigen oder vorhersagen, sind dabei von besonderer Bedeutung. Die Grundlage dafür besteht in der schnellen und zuverlässigen Klassifizierung humaner Tumorproben. Massenspektrometrische Methoden haben bereits wesentlich zur Entdeckung molekularer Therapeutika beigetragen. Diese generieren jedoch Datensätze im Umfang von mehreren Gigabytes, deren Bearbeitung und Auswertung nur mit Hilfe moderner Signalverarbeitung möglich ist. Dieses Dissertationsprojekt verfolgte daher folgende Ziele: 1. Überführung der MS-Daten in ein MATLAB-kompatibles Datenformat sowie die Optimierung der Vorverarbeitung von massenspektrometrischen Fingerprints 2. Entwicklung einer geeigneten Kennzahl zur Bewertung der systematischen Untersuchung ver- schiedener Merkmalsextraktions- und Klassifikationsmethoden 3. Entwicklung und Optimierung einer Methodik für die Merkmalsextraktion zur Identifizierung geeigneter Biomarker-Kandidaten 4. Entwicklung eines auf spektralen, molekularen Fingerprints basierenden Verfahrens zur schnellen Klassifikation von Tumorsubtypen anhand von der in 2 entwickelten Kennzahl 5. Entwicklung einer Methode zur automatisierten Erstellung von Konzentrations-Wirkungskurven zur Bewertung der zellulären Wirkung von zielgerichteten Medikamenten Dazu wurde ein Modell aus massenspektrometrischen Signaturen von Brustkrebs-, GIST- und Leukämie-Zelllinien verwendet. • Es wurde eine objektorientierte Datenstruktur entwickelt, welche einen schnellen und einfachen Umgang mit den Fingerprints ermöglicht. • Die Vorverarbeitung der Fingerprints wurde dahingehend optimiert, dass 1) relevante Informationen verlustfrei extrahiert werden können und 2) die Bewertung der Signifikanz einzelner Peaks ausschließlich mit Hilfe statistischer Methoden erfolgen kann. • Es wurde eine neue Bewertungskennzahl, Confusion Matrix Maximum (CMM), für die systematische Untersuchung verschiedener Kombinationen von Merkmalsextraktions- und Klassifikationsmethoden entwickelt. Der Vorteil des CMM gegenüber anderen Klassifikations-Kennzahlen liegt darin, dass die Berechnung innerhalb von wenigen Millisekunden durchgeführt werden kann. Die Anwendung der neuen Kennzahl auf die Bewertung einer unüberwachten Klassifikation von 11 Datensätzen verschiedener Krebszelllinien entsprach annähernd der wahren Klassifikationsrate. • Mit Hilfe der Fisher-Diskriminante konnte eine Methode zur Bestimmung der Peak-Anzahl für eine optimale Zell-Klassifikation entwickelt werden, welche eine eindeutige Trennung der Zelllinien ermöglicht. Es konnte sowohl unter den drei Tumortypen Brustkrebs, GIST und Leukämie unterschieden werden, als auch die einzelnen Subtypen den entsprechenden Tumortypen zugeordnet werden. • Des Weiteren wurde ein automatisiertes Verfahren entwickelt, welches in verschiedenen MS-Datensätzen nach Bereichen mit einer Wirkstoffreaktion und nach Korrelation zwischen den verschiedenen Datensätzen sucht. Schließlich ergab die Anwendung dieser automatischen Analyse von Konzentrations-Wirkungs-Beziehungen einen gemeinsamen m/z-Wert, welcher in Brustkrebs-, GIST- und Leukämie-Zellen nach Behandlung mit zielgerichteten Wirkstoffen zu einem Intensitätsanstieg geführt hat. Zusammengenommen konnte die Zell-Klassifikation durch die hier herausgearbeiteten Methoden gegenüber der Standard-Verarbeitung von massenspektrometrischen Fingerprints erheblich verbessert werden, wobei neben der Anzahl an richtig klassifizierten Zelllinien auch Parameter wie Rechenzeit und Speicherbedarf optimiert werden konnten. Durch die hier entwickelte Systematik und Automatisierung ist es nun möglich, die zelluläre Wirkung von zielgerichteten Medikamenten in enormen Datenmengen, wie es bei mehreren MS-Datensätzen der Fall ist, zu untersuchen und signifikante molekulare Signaturen aufzudecken, welche mit dem bloßen Auge und mit Hilfe herkömmlicher Softwarepakete nicht erkennbar wären

Fallen als Fort-Führung des Da-Bleibens mit eigenen Mitteln

Wie im Vorwort zur Plurale-Ausgabe # 1 angemerkt, scheint die „Bewegung des Falls […] prototypisch für Phänomene des Kontrollverlustes, des ungeregelten Heraustretens aus realen und symbolischen Ordnungen zu stehen.“ Diese Einschätzung möchte ich am Beispiel einiger netzkünstlerischer Werke hinterfragen. Wie das angeführte Zitat nahe legt, wird die Bewegung des Falls wesentlich durch das Moment des „ungeregelten Heraustretens“ aus einer Ordnung bestimmt. Daher kommt es mir vor allem darauf an, nach den Bedingungen der Möglichkeit einer Zuschreibung von Ordnung bzw. Unordnung zu fragen. […] Die folgenden Ausführungen greifen auf Arbeiten zur Ästhetik der Netzkunst zurück. Ihre Werke zeichnen sich durch eine spezifischen Oberflächlichkeit aus, die mit ihren technischen und technologischen Bedingungen zusammenhängt. Aufgrund dieser Kontextualisierung spielt in der Netzkunst die Frage nach der ästhetischen Qualität von Störungen eine wesentliche Rolle. Die Dysfunktionalität von Software wird häufig zum Thema künstlerischen Schaffens gewählt. Netzkunstwerke stehen als Produkte eines auf Geordnetheit ausgerichteten Verlaufs – den formatierten bzw. programmierten Web-Seiten – mit der Relationalität von Ordnung und Nicht-Ordnung in Verbindung. Aus diesem Grunde bieten sich Netzkunstwerke für eine Analyse der Frage nach den Bedingungen der Möglichkeit einer Zuschreibung von Ordnung bzw. Unordnung an. In besonderer Weise laden einige Werke der Gruppen Jodi und 0100101110101101.org dazu ein, sich gemäß dem formulierten Erkenntnisinteresse mit ihnen auseinanderzusetzen

Automatische Kategorisierung von Autoren in Bezug auf Arzneimittel in Twitter

Mit der rasch wachsenden Popularität von Twitter werden auch immer mehr unterschiedliche Themen diskutiert. Dies lässt sich auch im Bezug auf die Wirkung von Arzneimitteln beobachten. Es ist daher sehr interessant herauszufinden, welche sozialen Gruppen dazu neigen, bestimmte Arzneimittel in Twitter zu diskutieren und welche Arzneimittel am meisten in Twitter diskutiert werden. Deshalb bietet es sich an, mit Verwendung der Technologie der Textklassifikation, die große Anzahl von Tweets zu kategorisieren. In dieser Arbeit wird das hauptsächlich mit dem Maximum Entropy Klassifikator realisiert, mit den sich die Autoren der Tweets erkennen lassen. Da das Maximum Entropy Modell eine Vielzahl der relevanten oder irrelevanten Kenntnis der Wahrscheinlichkeiten umfassend beobachten kann, erzielt der Maximum Entropy Klassifikator im Vergleich zum naiven Bayes-Klassifikator in dieser Arbeit ein besseres Ergebnis bei der Multi-Klassen-Klassifikation. Die Beeinflussung auf die Leistungen des Maximum Entropy Klassifikator unter der Verwendungen von verschiedenen Methoden, wie Information Gain & Mutual Information und LDA-Topic Model, zur Auswahl der Merkmale und unterschiedlicher Anzahl an Merkmalen wird verglichen und analysiert. Die Ergebnissen zeigen, dass die Methoden Information Gain & Mutual Information und LDA-Topic-Model gute praktische Ansätze sind, mit denen die Merkmale kurzer Texte erkannt werden können. Mit dem Maximum Entropy Klassifikator wird eine durchschnittliche Testgenauigkeit von 79.8% erreicht.With the rapidly growing popularity of Twitter there is also a growing amount of themes being discussed. This can also be observed relating to the effect of drugs. Therefore it is really interesting to figure out what social groups are tend to discuss drugs and what drugs are discussed the most in Twitter. To do so it makes sense to use the technology of text classification to categorize the huge amount of tweets. In this paper the detection of a tweet‘s author is realized by the Maximum Entropy Classificator. The Maximum Entropy Modell is able to observe the variety of relevant an irrelevant acquirements of probability. It archieves better results compared to the Naive Bayes Classificator in multi-class-classification. The effect on the performance of the MaxEnt-classificator using different methods like Information Gain & Mutual Information and LDA-Topic Model for choosing characteristics and the use of different quantities of characteristics will be compared and analyzed. The results show that the methods Information Gain & Mutual Information and LDA-Topic-Model are good practical approaches for detecting characteristics of short texts. The test-precission of the Maximum Entropy Classificator reaches an average of 79,8%

Effectuation entwickeln

In diesem Open-Access-Buch wird ein Rahmenwerk entwickelt, das simulationsbezogene Untersuchungen von Effetcuation ermöglicht und gleichzeitig die Grundlage für die Entwicklung von gründungsunterstützenden Entscheidungssystemen schafft. Es wird diskutiert, inwieweit effektuatives Lernen modelliert und algorithmisch interpretiert werden kann. Auf Basis der Vorstellung und kritischen Evaluierung aktueller Simulationsmodelle, die Effectuation abbilden, wird mit Hilfe von Methoden agentenbasierter Modellierung und des Reinforcement Learnings ein aggregiertes Modell entwickelt, das effektuatives Verhalten im Rahmen einer prototypischen Gründungssituation ermöglicht. Die Ergebnisse zeigen, dass ein entrepreneurialer Agent in der Lage ist, effektuatives Verhalten zu erlernen. Leistungsunterschiede während des Lernens ergeben sich bei Veränderung seiner Umgebung. Der Erfolg des Agenten ist abhängig von der Verbindlichkeit potentieller Partner und Kunden. Weiterhin lässt sich ein Lernerfolg feststellen, wenn der Agent das Affordable-Loss-Prinzip in Verbindung mit marktkonformem Verhalten anwendet. Mit dem entwickelten Modell können künftig, unter Einbeziehung des Entscheidungsverhaltens eines realen Entrepreneurs, weitere Untersuchungen zum effektuativen Lernverhalten durchgeführt werden

Energie im Chemieunterricht: eine neue experimentelle Unterrichtskonzeption für die Sekundarstufe I und II

Eine der zentralen gesellschaftlichen Problemstellungen des 21. Jahrhunderts ist die Beantwortung der Frage, wie trotz des zunehmenden Bedarfs an Energie eine steigende und dennoch umweltschonende Energieversorgung ermöglicht werden kann. Der Schule kommt als Ausbildungsstätte kommender Generationen dabei eine bedeutende Rolle zu. Daraus erwuchs das Ziel dieser Arbeit, ein durchgängiges Energie-Konzept für den Chemieunterricht zu entwickeln, an dem sich der Physik- und der Biologieunterricht orientieren können.Despite the raising need for energy, the task of making an environmentally friendly energy supply possible is one of the most important social problems in the 21. century. This is why a peculiar role befits the institution school. From this state on, the aim of this work was to develop an energy concept for chemistry classes, that can be an orientation for physics and biology