Systematische Evaluierung der Optimierungsparameter für Klassifikationsalgorithmen in SQL

Die Optimierung von Anfragen in Datenbankmanagementsystemen stellt eine zentrale Herausforderung dar, und trotz jahrzehntelanger Forschung ist eine umfassende Lösung weiterhin nicht vollständig erreicht worden. Diese Systeme sind mit internen Optimierern ausgestattet, die für die Auswahl eines geeigneten Ausführungspfades verantwortlich sind; dennoch besteht die Möglichkeit von Fehlern bei der Wahl des optimalen Ausführungsplans. In relationalen Datenbankmanagementsystemen ist es den Benutzern möglich, den Ausführungspfad durch die Verwendung von Hinweisen zu steuern. Zur Behandlung dieses Problems wird in dieser Masterarbeit zunächst ein Klassifikationsalgorithmus des maschinellen Lernens in Form eines Entscheidungsbaums unter Verwendung von SQL in PostgreSQL implementiert. Darüber hinaus wird ein Optimierungsansatz vorgestellt, der sich auf die Identifikation von Ausführungsengpässen bei Join-Operationen konzentriert. Die experimentellen Ergebnisse zeigen, dass die Wirksamkeit der Optimierung von verschiedenen Faktoren abhängt, darunter der Stil der Programmierung, die Struktur der Anfragen und die Definition der Bedingungen jeder Join-Operation. Zudem zeigt die Analyse der Ergebnisse, dass der gezielte und korrekte Einsatz von Hinweisen einen signifikanten Einfluss auf die Ausführungszeit des Systems haben kann, wobei dieser Effekt mit zunehmender Größe der Datensätze deutlicher wird

Webpublikation und Archivierung von Radarforschungsdatensätzen innerhalb eines verteilten Forschungsdatenworkflows

Ziel dieser Bachelorarbeit ist die Entwicklung eines webbasierten Systems zur Publikation und Archivierung von Messdatenbildern meteorischer Radarnetzwerke. Im Mittelpunkt stand die Konzeption und Implementierung einer skalierbaren und wartungsarmen Infrastruktur, die aktuelle sowie historische Bilddaten automatisiert archiviert und über eine benutzerfreundliche Weboberfläche zugänglich macht. Auf Grundlage einer Analyse bestehender Speicherlösungen wurde ein Dateisystem als zentrales Organisationsprinzip gewählt. Dieses System ermöglicht eine strukturierte und langfristige Ablage der Bilddaten nach Station, Jahr, Monat und Tag. Zur Verwaltung der Metadaten wurde eine relationale Datenbank (SQLite) eingesetzt, die eine effiziente Suche und Filterung der archivierten Bilder nach Land, Station und Datum erlaubt. Die Webschnittstelle, realisiert mit dem Flask-Framework und der Template-Engine Jinja2, ermöglicht den direkten Zugriff auf aktuelle und archivierte Messbilder über einen Browser und bildet die Verbindung zwischen Dateisystem und Datenbank. Das entwickelte System wurde erfolgreich implementiert und getestet. Die Tests zeigten, dass die Anwendung stabil arbeitet, neue und nachgereichte Bilder zuverlässig verarbeitet und die Such- und Anzeigeprozesse korrekt durchführt. Damit erfüllt das System alle funktionalen Anforderungen und bietet eine flexible Grundlage für den langfristigen Einsatz in der wissenschaftlichen Datenverwaltung. Abschließend wird in einem Ausblick die Erweiterung der Suchfunktion um eine visuelle Vergleichsmöglichkeit mehrerer Archivbilder vorgeschlagen, um zeitliche und räumliche Veränderungen in den Messdaten direkt über die Weboberfläche analysieren zu können. Das Gesamtsystem stellt somit einen effizienten und praxisnahen Ansatz zur digitalen Archivierung und Visualisierung meteorologischer Forschungsdaten dar

Implementation and parallelization of SOMs in Structured Query Language (SQL).

Self-Organizing Maps (SOMs) find extensive applications in pattern discovery and clustering but are computationally intensive to train, particularly with big data. Parallelization of SOM training in PostgreSQL is investigated here by spreading neuron computations over plurality of schemas for improved performance and scalability. The study was originally planned to carry out multi-server parallelization with the assistance of PostgreSQL-XL. As there was no multiple server and PostgreSQL-XL was not implemented in the university environment, the study focused on schema-based parallelization on a single server database. Parallel processing of neuron data among schemas helped the workload run much quicker. The experiment was run on a high-end machine with parallel query execution and PostgreSQL. For the experiment, a dataset size of 100,000 feature vectors was used against a 100x100 grid of SOMs. The experiment showed that the parallelization process based on a schema optimizes computation effectively than the legacy single-schema solution, reducing the training time. Even with all these advancements, there are certain limitations. Scalability with multiple servers was not feasible to test under the study, and the performance improvement is restricted to the capability of a single server. Other distributed database solutions like CitusDB and hybrid solutions with schema-based parallelism with GPU process or cloud process will be studied further. Briefly, distributing SOM training across schemas in PostgreSQL greatly improves efficiency. Parallelization across multiple servers is yet to be attempted on minimal infrastructure, but schema-based distribution is a effective optimization technique. Testing distributed database platforms and hybrid parallelization techniques should be included in future work in an attempt to further improve the scalability of SOM training