Comparison of lossless compression schemes for high rate electrical grid time series for smart grid monitoring and analysis

The smart power grid of the future will utilize waveform level monitoring with sampling rates in the kilohertz range for detailed grid status assessment. To this end, we address the challenge of handling large raw data amount with its quasi-periodical characteristic via lossless compression. We compare different freely available algorithms and implementations with regard to compression ratio, computation time and working principle to find the most suitable compression strategy for this type of data. Algorithms from the audio domain (ALAC, ALS, APE, FLAC & TrueAudio) and general archiving schemes (LZMA, Delfate, PPMd, BZip2 & Gzip) are tested against each other. We assemble a dataset from openly available sources (UK-DALE, MIT-REDD, EDR) and establish dataset independent comparison criteria. This combination is a first detailed open benchmark to support the development of tailored lossless compression schemes and a decision support for researchers facing data intensive smart grid measurement

A New Framework for the Analysis of Large Scale Multi-Rate Power Data

A new framework for the analysis of large scale, multi-rate power data is introduced. The system comprises high rate power grid data acquisition devices, software modules for big data management and large scale time series analysis. The power grid modeling and simulation modules enable to run power flow simulations. Visualization methods support data exploration for captured, simulated and analyzed energy data. A remote software control module for the proposed tools is provided

Nutzerorientiertes Energiedatenmanagement

Die geschickte Erfassung und Nutzung von Energiedaten haben im Kontext der Energiewende das Potential, das zukünftige Energiesystem intelligenter und effizienter zu machen. Gleichzeitig muss jedoch eine Reihe technischer Herausforderungen beim Umgang mit Energiedaten bewältigt werden. Darüber hinaus sind Energiedaten oft personenbezogene Daten, welche die Privatsphäre der Dateneigner gefährden können. In dieser Dissertation wird daher ein Konzept für ein Energiedatenmanagementsystem vorgestellt, welches sowohl technische als auch nutzergetriebene Anforderungen erfüllt. Das System unterstützt die Dateneigner beim Schutz ihrer Privatsphäre, ohne jedoch die Nutzbarkeit der Daten im Sinne der betroffenen Personen zu stark einzuschränken. Im Rahmen der vorliegenden Arbeit werden hierfür zunächst die Anforderungen erarbeitet, die ein Energiedatenmanagementsystem erfüllen sollte. Die Anforderungsanalyse gliedert sich in zwei Bereiche. Zum einen wird eine technische Datenlebenszyklusanalyse durchgeführt und zum anderen werden die Interessen der von der Energiedatenerfassung betroffenen Personen untersucht. Das Ergebnis ist ein Anforderungskatalog für Energiedatenmanagementsysteme. Darauf folgend wird ein modulares Energiedatenmanagementsystem entworfen, welches die Daten im Sinne der Dateneigner verwaltet und es diesen ermöglicht, feingranular über die Weitergabe ihrer Daten zu entscheiden. Nach der Spezifikation des Konzepts wird dieses im Rahmen eines Demonstrators prototypisch umgesetzt. An den Energiedaten interessierte Parteien können bei Verwendung eines solchen Systems nicht direkt auf die Daten zugreifen. Vielmehr wird ihnen die Möglichkeit geboten, Datenanfragen bei den Dateneignern einzureichen. Die Anfragen werden durch das Energiedatenmanagementsystem im Hinblick auf die potenzielle Gefährdung der Privatsphäre geprüft. Das System nimmt hierfür eine quantitative Bewertung des Gefährdungspotentials vor und präsentiert diese den betroffenen Personen sowohl in numerischer als auch in farblich codierter Form. Die Dateneigner können daraufhin über die Weitergabe der Daten in der angefragten Aussagekraft entscheiden. Insbesondere erlaubt das System den Dateneignern, die Aussagekraft der Daten auf ein für sie akzeptables Maß zu reduzieren. Dieser Vorgang erfolgt interaktiv durch Verhandlungen zwischen Dateneigner und -interessent. Eine tatsächliche Datenweitergabe erfolgt schließlich erst nach einer ausdrücklichen Zustimmung durch die betroffenen Personen und zu den vereinbarten Konditionen. Das entworfene Konzept wird im Hinblick auf den Anforderungskatalog evaluiert. Anschließend wird geprüft, ob das System in der Lage ist, für typische Anwendungsfälle die Datenbasis zu liefern und gleichzeitig die Privatsphäre der betroffenen Personen zu schützen

Nutzerorientiertes Energiedatenmanagement

Energiedaten sind in der Regel sensible Daten, welche die Privatsphäre der betroffenen Personen gefährden können. In dieser Arbeit wird daher ein nutzerorientiertes Energiedatenmanagementsystem vorgestellt, welches nicht nur die technischen Anforderungen erfüllt, sondern auch den Ansprüchen an Datenschutz und Privatsphäre gerecht wird

Neues Konzept zur skalierbaren, explorativen Analyse großer Zeitreihendaten mit Anwendung auf umfangreiche Stromnetz-Messdaten

Diese Arbeit beschäftigt sich mit der Entwicklung und Anwendung eines neuen Konzepts zur skalierbaren explorativen Analyse großer Zeitreihendaten. Hierzu werden zahlreiche datenintensive Methoden aus dem Bereich des Data-Mining und der Zeitreihenanalyse hinsichtlich ihrer Skalierbarkeit mit wachsendem Datenvolumen untersucht und neue Verfahren und Datenrepräsentationen vorgestellt, die eine Exploration sehr großer Zeitreihendaten erlauben, die mit herkömmlichen Methoden nicht effizient auswertbar sind und unter dem Begriff Big Data eingeordnet werden können. Methoden zur Verwaltung und Visualisierung großer multivariater Zeitreihen werden mit Methoden zur Detektion seltener und häufiger Muster – sog. Discords und Motifs – kombiniert und zu einem leistungsfähigen Explorationssystem namens ViAT (von engl. Visual Analysis of Time series) zusammengefasst. Um auch Analysen von Zeitreihendaten durchführen zu können, deren Datenvolumen hunderte von Terabyte und mehr umfasst, wurde eine datenparallele verteilte Verarbeitung auf Basis von Apache Hadoop entwickelt. Sie erlaubt die Ableitung datenreduzierter Metadaten, welche statistische Eigenschaften und neuartige Strukturbeschreibungen der Zeitreihen enthalten. Auf dieser Basis sind neue inhaltsbasierte Anfragen und Auswertungen sowie Suchen nach bekannten und zuvor unbekannten Mustern in den Daten möglich. Das Design der entwickelten neuen Methoden und deren Integration zu einem Gesamtsystem namens FraScaTi (von engl. Framework for Scalable management and analysis of Time series data) wird vorgestellt. Das System wird evaluiert und im Anwendungsfeld der Stromnetzanalyse erprobt, welches von der Skalierbarkeit und den neuartigen Analysemöglichkeiten profitiert. Hierzu wird eine explorative Analyse hochfrequenter Stromnetz-Messdaten durchgeführt, deren Ergebnisse im Kontext des Anwendungsbereichs präsentiert und diskutiert werden