Event Correlation and Forecasting over High Dimensional Streaming Sensor Data

Με την πρόοδο της τεχνολογίας, εντείνεται η ανάγκη ανίχνευσης και πρόβλεψης συμβάντων σε πραγματικό χρόνο, ή σχεδόν πραγματικό χρόνο. Στην πτυχιακή αυτή, αναλύουμε τι θεωρείται συμβάν για τις επιμέρους ροές δεδομένων και τον τρόπο με τον οποίο καθίσταται δυνατή η επιτυχής πρόβλεψη των επόμενων συμβάντων, μέσω της χρήσης ειδικά κατασκευασμένων αλγορίθμων. Οι προβλέψεις αυτές είναι εφικτές, εξαιτίας των μεταξύ τους συσχετίσεων. Επιπλέον, η ακρίβεια των προβλέψεων κορυφώνεται, όσο συμπεριλαμβάνεται ένα ευρύτερο φάσμα από παλαιότερα συμβάντακαταστάσεις. Στον πραγματικό κόσμο, οι καταστάσεις αυτές διατηρούν μία φθίνουσα χρονικά πιθανότητα πραγματοποίησης, κάτι που οι αλγόριθμοι που υλοποιήσαμε λαμβάνουν υπόψιν. Η διαχείριση Big Data μας ώθησε στη χρήση της γλώσσας προγραμματισμού Python, σε συνδυασμό με τις βιβλιοθήκες NumPy και Pandas, προκειμένου να επιτευχθεί βέλτιστος χρόνος εκτέλεσης. Με στόχο την παρουσίαση πιο ρεαλιστικών αποτελεσμάτων, διαφοροποιήθηκε ένα πλήθος μεταβλητών του προγράμματος ώστε να επιλεχθούν οι τιμές που έχουν τη βέλτιστη ακρίβεια και ικανότητα ανάκλησης.As technology advances, the need to detect and predict events in real-time or near realtime intensifies. In this paper, we will discuss, what constitutes an event for every data stream and how using different algorithms, future events may be predicted. These predictions are feasible, due to the correlation between corresponding events and become more frequent as the spectrum of previous events taken into account increases. Moreover, in real-world applications, these events remain relevant as time progresses with diminishing probability all the while, which is something that the algorithms we developed take into account. Due to managing Big Data, a Python implementation was considered the best approach, since both Pandas and NumPy libraries provide ease of use and optimal run time for such problems. In order to present as realistic results as possible, a variety of variables were differentiated so as to extract the outcome with the best precision and recall

Stepwise correlation of multivariate IoT event data based on first-order Markov chains

Correlating events in complex and dynamic IoT environments is a challenging task not only because of the amount of available data that needs to be processed but also due to the call for time efficient data processing. In this paper, we discuss the major steps that should be performed in real- or near real-time event management focusing on event detection and event correlation. We investigate the adoption of a univariate change detection algorithm for real-time event detection and we propose a stepwise event correlation scheme based on a first-order Markov model. The proposed theory is applied on the maritime domain and is validated through extensive experimentation with real sensor streams originating from large-scale sensor networks deployed in a maritime fleet of ships.Comment: arXiv admin note: substantial text overlap with arXiv:1803.0563