Hochleistungs-Transaktionssysteme: Konzepte und Entwicklungen moderner Datenbankarchitekturen

Das Buch richtet sich an Informatiker in Studium, Lehre, Forschung und Entwicklung, die an neueren Entwicklungen im Bereich von Transaktions- und Datenbanksystemen interessiert sind. Es entspricht einer überarbeiteten Version meiner im Februar 1993 vom Fachbereich Informatik der Universität Kaiserslautern angenommenen Habilitationsschrift. Neben der Präsentation neuer Forschungsergebnisse erfolgen eine breite Einführung in die Thematik sowie überblicksartige Behandlung verschiedener Realisierungsansätze, wobei auf eine möglichst allgemeinverständliche Darstellung Wert gelegt wurde. Der Text wurde durchgehend mit Marginalien versehen, welche den Aufbau der Kapitel zusätzlich verdeutlichen und eine schnelle Lokalisierung bestimmter Inhalte unterstützen sollen

SPSS Modeler Integration mit IBM DB2 Analytics Accelerator

Die vorliegende Arbeit beschreibt einen Architekturansatz, der im Rahmen einer Machbarkeitsstudie bei IBM entwickelt wurde. Dadurch wird der IBM DB2 Analytics Accelerator als eine Data-Warehouse-Appliance dazu in die Lage versetzt, über angepasste Schnittstellen Data-Mining-Modelle über entsprechende Algorithmen direkt auf dem Accelerator zu erstellen. Neben dieser Beschreibung wird die bisherige Verwendung des DB2 Analytics Accelerators sowie das zugehörige Umfeld von Datenbanksystemen bis zum System z Mainframe vorgestellt. Darauf aufbauend werden praxisnahe Anwendungsfälle präsentiert, die unter Anwendung von intelligenten Methoden auf gespeicherten Kundendaten statistische Modelle erstellen. Für diesen Prozess wird die Datengrundlage zuerst vorbereitet und angepasst, um sie dann in dem zentralen Data-Mining-Schritt nach neuen Zusammenhängen zu durchsuchen

Transaktionen in föderierten Datenbanksystemen unter eingeschränkten Isolation Levels

Atomarität und Isolation von Transaktionen sind Schlüsseleigenschaften fortgeschrittener Anwendungen in föderierten Systemen, die aus verteilten, heterogenen Komponenten bestehen. Während Atomarität von praktisch allen realen Systemen durch das Zweiphasen- Commitprotokoll gewährleistet wird, unterstützt kein System eine explizite föderierte Concurrency Control. In der Literatur wurden zwar zahlreiche Lösungsansätze vorgeschlagen, doch sie haben wenig Einfluss auf Produkte genommen, weil sie die weitverbreiteten Isolation Levels nicht berücksichtigen, die Applikationen Optimierungsmöglichkeiten auf Kosten einer eingeschränkten Kontrolle über die Konsistenz der Daten erlauben. Diese Arbeit vergleicht zunächst existierende Definitionen für Isolation Levels und entwickelt eine neuartige, formale Charakterisierung für Snapshot Isolation, dem Isolation Level des Marktführers Oracle. Anschließend werden Algorithmen zur föderierten Concurrency Control vorgestellt, die beweisbar auch unter lokaler Snapshot Isolation die korrekte Ausführung föderierter Transaktionen gewährleisten, und Isolation Levels für föderierte Transaktionen diskutiert. Die Algorithmen sind in ein prototypisches föderiertes System integriert. Performancemessungen an diesem Prototyp zeigen ihre praktische Einsetzbarkeit.Atomicity and isolation of transactions are key requirements of advanced applications in federated systems consisting of distributed and heterogeneous components. While all existing federated systems support atomicity using the two-phase commit protocol, they lack support for federated concurrency control. Many possible solutions have been proposed in the literature, but they failed to make impact on real systems because they completely ignored the widely used concept of isolation levels, which offer optimization options to applications at the cost of less rigorous control over data consistency. This thesis compares existing definitions for isolation levels and develops a new characterization for Snapshot Isolation, an isolation level provided by Oracle, the market leader in the database field. We present algorithms for federated concurrency control that provably guarantee the correct execution of federated transactions even under local Snapshot Isolation, and discuss isolation levels for federated transactions. The algorithms are integrated into a federated system prototype. Performance measurements with this prototype show the practical viability of the developed methods

Transaktionen in föderierten Datenbanksystemen unter eingeschränkten Isolation Levels

Atomarität und Isolation von Transaktionen sind Schlüsseleigenschaften fortgeschrittener Anwendungen in föderierten Systemen, die aus verteilten, heterogenen Komponenten bestehen. Während Atomarität von praktisch allen realen Systemen durch das Zweiphasen- Commitprotokoll gewährleistet wird, unterstützt kein System eine explizite föderierte Concurrency Control. In der Literatur wurden zwar zahlreiche Lösungsansätze vorgeschlagen, doch sie haben wenig Einfluss auf Produkte genommen, weil sie die weitverbreiteten Isolation Levels nicht berücksichtigen, die Applikationen Optimierungsmöglichkeiten auf Kosten einer eingeschränkten Kontrolle über die Konsistenz der Daten erlauben. Diese Arbeit vergleicht zunächst existierende Definitionen für Isolation Levels und entwickelt eine neuartige, formale Charakterisierung für Snapshot Isolation, dem Isolation Level des Marktführers Oracle. Anschließend werden Algorithmen zur föderierten Concurrency Control vorgestellt, die beweisbar auch unter lokaler Snapshot Isolation die korrekte Ausführung föderierter Transaktionen gewährleisten, und Isolation Levels für föderierte Transaktionen diskutiert. Die Algorithmen sind in ein prototypisches föderiertes System integriert. Performancemessungen an diesem Prototyp zeigen ihre praktische Einsetzbarkeit.Atomicity and isolation of transactions are key requirements of advanced applications in federated systems consisting of distributed and heterogeneous components. While all existing federated systems support atomicity using the two-phase commit protocol, they lack support for federated concurrency control. Many possible solutions have been proposed in the literature, but they failed to make impact on real systems because they completely ignored the widely used concept of isolation levels, which offer optimization options to applications at the cost of less rigorous control over data consistency. This thesis compares existing definitions for isolation levels and develops a new characterization for Snapshot Isolation, an isolation level provided by Oracle, the market leader in the database field. We present algorithms for federated concurrency control that provably guarantee the correct execution of federated transactions even under local Snapshot Isolation, and discuss isolation levels for federated transactions. The algorithms are integrated into a federated system prototype. Performance measurements with this prototype show the practical viability of the developed methods

Adaptives Caching in verteilten Informationssysteme

In dieser Arbeit stellen wir eine neuartige Methode für verteiltes Caching vor, die das Ausnutzen des aggregierten Hauptspeichers eines lokalen Rechnernetzwerkes für datenintensive Anwendungen erlaubt. Ein detailliertes Kostenmodell dient als Basis für die Bestimmung einer guten Cache-Allokation. Da im allgemeinen die Eingabegrößen für dieses Kostenmodell im Online- Fall nicht a priori bekannt sind und darüber hinaus dynamisch schwanken können, werden speziell angepaßte Protokolle zur Bestimmung und Verteilung dieser Informationen benutzt. Durch eine approximative Online-Auswertung des Kostenmodells paßt sich unsere Caching-Strategie adaptiv an die aktuelle Last an und kann dadurch Engpäße auf den Systemressourcen verhindern. Zur Vermeidung von Lastungleichgewichten wird aus dem Kostenmodell zusätzlich eine Lastverteilungsheuristik abgeleitet, die im Hintergrund zielgerichtete Migrationen von Objekten zur Balancierung des Systems durchführen kann. Sowohl die Anpassung an die aktuelle Last als auch die Vermeidung von Ungleichgewichten führt zu einer — verglichen mit bisherigen Methoden — deutlich besseren Leistungsfähigkeit unserer Heuristik. Eine Erweiterung des entwickelten Caching- Verfahrens berechnet eine Partitionierung des aggregierten Hauptspeichers, so daß Antwortzeitziele für unterschiedliche Klassen von Operationen sichergestellt werden.This dissertation presents a new method for distributed caching to exploit the aggregate memory of networks of workstations in data-intensive applications. The approach is based on a detailed cost model to compute a good cache allocation. As the input parameters for the cost model are in general a-priori unkown and possibly evolve, we use specifically designed protocols to estimate and disseminate this information. Using an approximative online evaluation of the cost model,our caching heuristics adapts automatically to evolving workloads and thus avoids bottlenecks on system resources. To prevent load imbalances we further derive a load distribution method from the cost model. This load distribution method asynchronously migrates objects from highly loaded nodes onto lightly loaded nodes. The adaptation to the current workload and the prevention of imbalances result in significant performance improvements compared to prior methods. We further present a goal-oriented extension of the developed caching method, which determines a partitioning of the aggregate cache to satisfy given response-time goals for different classes of operations

Adaptives Caching in verteilten Informationssysteme

In dieser Arbeit stellen wir eine neuartige Methode für verteiltes Caching vor, die das Ausnutzen des aggregierten Hauptspeichers eines lokalen Rechnernetzwerkes für datenintensive Anwendungen erlaubt. Ein detailliertes Kostenmodell dient als Basis für die Bestimmung einer guten Cache-Allokation. Da im allgemeinen die Eingabegrößen für dieses Kostenmodell im Online- Fall nicht a priori bekannt sind und darüber hinaus dynamisch schwanken können, werden speziell angepaßte Protokolle zur Bestimmung und Verteilung dieser Informationen benutzt. Durch eine approximative Online-Auswertung des Kostenmodells paßt sich unsere Caching-Strategie adaptiv an die aktuelle Last an und kann dadurch Engpäße auf den Systemressourcen verhindern. Zur Vermeidung von Lastungleichgewichten wird aus dem Kostenmodell zusätzlich eine Lastverteilungsheuristik abgeleitet, die im Hintergrund zielgerichtete Migrationen von Objekten zur Balancierung des Systems durchführen kann. Sowohl die Anpassung an die aktuelle Last als auch die Vermeidung von Ungleichgewichten führt zu einer — verglichen mit bisherigen Methoden — deutlich besseren Leistungsfähigkeit unserer Heuristik. Eine Erweiterung des entwickelten Caching- Verfahrens berechnet eine Partitionierung des aggregierten Hauptspeichers, so daß Antwortzeitziele für unterschiedliche Klassen von Operationen sichergestellt werden.This dissertation presents a new method for distributed caching to exploit the aggregate memory of networks of workstations in data-intensive applications. The approach is based on a detailed cost model to compute a good cache allocation. As the input parameters for the cost model are in general a-priori unkown and possibly evolve, we use specifically designed protocols to estimate and disseminate this information. Using an approximative online evaluation of the cost model,our caching heuristics adapts automatically to evolving workloads and thus avoids bottlenecks on system resources. To prevent load imbalances we further derive a load distribution method from the cost model. This load distribution method asynchronously migrates objects from highly loaded nodes onto lightly loaded nodes. The adaptation to the current workload and the prevention of imbalances result in significant performance improvements compared to prior methods. We further present a goal-oriented extension of the developed caching method, which determines a partitioning of the aggregate cache to satisfy given response-time goals for different classes of operations

Skalierbarkeit einer Szenarien- und Template-basierten Simulation von Elektrik/Elektronik-Architekturen in reaktiven Umgebungen

Die Automobilindustrie befindet sich in einem Wandel. Zukünftige Fahrzeuge sind elektrisch, autonom, vernetzt, werden geteilt und regelmäßig aktualisiert. Die Auswirkung davon ist ein starkes Wachstum der Software in zukünftigen Fahrzeugen, das vor allem auf die Implementierung von autonomen Fahrerverhalten und herstellerspezifischen Betriebssystemen zurückzuführen ist. Zur sicheren Ausführung dieser Software werden leistungsstarke Zentralrechner benötigt. Daneben führen ein steigender Bedarf an Sicherheitsmechanismen gegen Cyberangriffe, der Einzug von Leistungselektronik und die notwendige Gewährleistung der Ausfallsicherheit zu einem Anstieg der Komplexität bei der Entwicklung von automobilen Elektrik/Elektronik-Architekturen (E/E-Architekturen). Im Bereich der Leistungselektronik liegt dies etwa an der benötigten Realisierung einer galvanischen Trennung zwischen Hochvolt- und Niedervoltnetz, um die Unversehrtheit der Insassen zu gewährleisten. Außerdem erfordert der Einsatz von permanenterregten Synchronmaschinen die sichere Auslegung und das Design entsprechender Schaltungen zur Ansteuerung. Cyberangriffe erfordern hingegen Mechanismen zur Abwehr und Gewährleistung der Informationssicherheit. Dazu zählen präventive Firewalls oder proaktive Angriffserkennungssysteme. Eine Ausfallsicherheit wird dagegen durch Komponenten- oder Informationsredundanz ermöglicht. Um entsprechende Ausfallmaßnahmen einzuleiten, kann zusätzlich die Implementierung eines entsprechenden Monitorings nötig sein. Im Zuge des Wandels wachsen die E/E-Architekturmodelle und weisen einen höheren Vernetzungsgrad auf. Dadurch haben E/E-Architekten mehr Designentscheidungen zu treffen, wobei Lösungen mehr Freiheitsgrade aufweisen und Auswirkungen schwieriger zu beurteilen sind. Jedoch müssen frühestmöglich im Entwicklungsprozess überprüfbar richtige Entscheidungen getroffen werden. Die Einführung frühzeitiger Tests in zukünftigen Zulassungsprozessen gibt dieser Anforderung ein weiteres Gewicht. In existierenden Arbeiten wurde gezeigt, dass eine in E/E-Architekturentwicklungswerkzeugen integrierte Simulationen einen Mehrwert für E/E-Architekten bei der frühzeitigen Findung von Designentscheidungen bietet. In dieser Arbeit werden dagegen die Grenzen der Skalierbarkeit einer solchen Simulation untersucht. Dies geschieht mithilfe von industriell relevanten Anwendungsfällen. Ein bestehender Ansatz zur automatisierten Synthese von Simulationsmodellen aus PREEvision-E/E-Architekturmodellen wird dabei unter Berücksichtigung der Anforderungen bei großmaßstäblichen Modellen erweitert und angepasst. Hierzu werden zunächst Simulatoren hinsichtlich ihrer Eignung für einen Einsatz im industriellen Umfeld untersucht. Dies erfolgt anhand in der Arbeit definierten Auswahlkriterien sowie mithilfe von synthetischen und skalierbaren Benchmarks. Im Anschluss werden Konzepte untersucht, welche die Erhöhung der Skalierbarkeit einer E/E-Architektursimulation adressieren. Zu den Aspekten der Skalierbarkeit gehören neben der Performanz auch die Anwendbarkeit und die Validierbarkeit, welche von der Emergenz generierter Modelle beeinflusst werden. Als Lösung werden in dieser Arbeit ausführbare Szenarienmodelle zur zustandsabhängigen Generierung von Stimuli und der reaktiven Evaluierung von Signalwerten verwendet. Durch deren Schnittstellen können gezielt die für einen Anwendungsfall relevanten Modellkomponenten der E/E-Architektur identifiziert werden, welche in Summe das sogenannte “System of Interest“ bilden. Auf diese Weise kann die Simulationsmodellgröße reduziert werden. Darüber hinaus werden parametrisierbare, pre-validierte und performanzoptimierte Teilmodelle, sogenannte „Templates“, bei der Generierung verwendet. Neben einer manuellen Zuweisung der Templates zu E/E-Architekturmodellkomponenten über die in dieser Arbeit verwendeten Template And Layer Integration Architecture (TALIA), haben spezifische Komponenten auf der Leistungssatzebene, wie Batterien, Stecker oder Kabel, bereits Standard-Templates zugewiesen. Simulationsmodelle können dadurch ohne manuelle Verhaltensmodellierung und zugehörige Validierung generiert werden. Damit Standard-Templates verwendet werden können, wird eine Hardware-zentrierte Abbildung verfolgt. Die physikalische E/E-Architektur aus der Realität bildet dabei die Grundlage für die generierten Simulationsmodelle. Softwaremodelle werden ergänzend über die Modelle der Steuergeräte bzw. ECUs integriert. Ebenso sind die Szenarienmodelle nach der Generierung ein Teil der Simulationsmodelle. Damit findet die Integration unterschiedlicher E/E-Architekturebenen statt, wodurch hybride Simulationsmodelle entstehen. Für die Evaluation werden Anwendungsfälle für Simulationen aus möglichen Designentscheidungsfragen abgeleitet und anhand definierter Kriterien für die weitere Betrachtung ausgewählt. Designentscheidungsfragen ergeben sich beim Technologieentscheid, der Dimensionierung von Komponente oder bei Optimierungen. Die Anwendungsfälle bestimmen das benötigte Testmodell, bestehend aus dem zu evaluierenden System of Interest und dem Prüfstandmodell, realisiert als Szenariomodell. Da das Testmodell die Basis des Simulationsmodells bildet und damit dessen Komplexität bestimmt, lässt sich anhand der Anwendungsfälle die Skalierbarkeit der E/E-Architektursimulation beurteilen. Insbesondere wird in dieser Arbeit der Einfluss emergenter Modelleigenschaften auf die Skalierbarkeit untersucht

Forum - Ausgabe 2009/2010

Informiert über die Forschungsaktivitäten an der Hochschule Konstanz im Jahr 2009/2010

Adaptive Caching of Distributed Components

Die Zugriffslokalität referenzierter Daten ist eine wichtige Eigenschaft verteilter Anwendungen. Lokales Zwischenspeichern abgefragter entfernter Daten (Caching) wird vielfach bei der Entwicklung solcher Anwendungen eingesetzt, um diese Eigenschaft auszunutzen. Anschliessende Zugriffe auf diese Daten können so beschleunigt werden, indem sie aus dem lokalen Zwischenspeicher bedient werden. Gegenwärtige Middleware-Architekturen bieten dem Anwendungsprogrammierer jedoch kaum Unterstützung für diesen nicht-funktionalen Aspekt. Die vorliegende Arbeit versucht deshalb, Caching als separaten, konfigurierbaren Middleware-Dienst auszulagern. Durch die Einbindung in den Softwareentwicklungsprozess wird die frühzeitige Modellierung und spätere Wiederverwendung caching-spezifischer Metadaten gewährleistet. Zur Laufzeit kann sich das entwickelte System außerdem bezüglich der Cachebarkeit von Daten adaptiv an geändertes Nutzungsverhalten anpassen.Locality of reference is an important property of distributed applications. Caching is typically employed during the development of such applications to exploit this property by locally storing queried data: Subsequent accesses can be accelerated by serving their results immediately form the local store. Current middleware architectures however hardly support this non-functional aspect. The thesis at hand thus tries outsource caching as a separate, configurable middleware service. Integration into the software development lifecycle provides for early capturing, modeling, and later reuse of cachingrelated metadata. At runtime, the implemented system can adapt to caching access characteristics with respect to data cacheability properties, thus healing misconfigurations and optimizing itself to an appropriate configuration. Speculative prefetching of data probably queried in the immediate future complements the presented approach