Μέθοδοι αραιών αναπαραστάσεων και από κοινού εκμάθησης λεξικών για την ενίσχυση συστημάτων υπολογιστικής φωτογραφίας

The rapid evolution of display technologies and imaging sensors has raised an enormous interest in the imaging and multimedia communities, and thus the demand for providing high-quality images has grown tremendously. Computational photography and image processing aim to improve the interpretability and perception of imaging content in order to facilitate subsequent tasks, such as automated analysis, detection, segmentation and recognition, among others. Despite the significant increase in the spatial resolution and the introduction of 3D content, spectral resolution, dynamic range enhancement, image denoising and deconvolution remain attractive research problems, as there is still room for improvement. The key contribution of this thesis is the design of novel post-acquisition, machine learning formulations that tackle the main limitations of imaging sensors, with special emphasis on satellite imaging technologies and multi-and hyperspectral imaging systems. In this dissertation, we propose novel and robust mathematical Coupled Dictionary Learning formulations, based on the intelligent scheme of the Alternating Direction Method of Multipliers (ADMM). We aim to learn dictionaries for sparse modeling in joint feature spaces while enforcing the desired relationships among the different signal representations. The proposed algorithmic formulations are able to overcome the main limitations of traditional Coupled Dictionary Learning schemes. Thus we are addressing a twofold problem. First, we extend the existing methodology of Sparse Representations and Coupled Dictionary Learning which is very important from an engineering point of view. On the other hand, we are assisting the research community which has started to appreciate the necessity of coupled feature spaces in several signal and image processing tasks, from image super-resolution, deconvolution and dynamic range synthesis of modern sensors, to hyperspectral and satellite image enhancement to further investigate this research area with novel algorithmic formulations. The structure of this dissertation goes as follows. Primarily, we address the problem of dynamic range enhancement of standard 8bit imagery. High Dynamic Range (HDR) imaging technology is acknowledged as the next success story in consumer imaging, with a vastly increasing image and video acquisition, content reproduction, and graphics applications supporting HDR features. We produce HDR content from a single image using an innovative Machine Learning (ML) approach that first generates a sequence of bracketed exposures via a Joint Dictionary Learning formulation, encoding the transformations between differently exposed images, and then combines them ideally into a well-illuminated low dynamic range (LDR) image or merges them directly into a HDR image. Additionally, we learn appropriate features by employing a stacked sparse autoencoder (SSAE) based framework. Second, we confront one of the major limitations of multi- and hyperspectral imagery: the spectral resolution enhancement. The majority of literature approaches mostly focuses on the enhancement of spatial resolution, and thus only a handful of techniques tackle the problems of spectral and spatio-spectral resolution enhancement of satellite sensors. In this dissertation, we develop a coupled dictionary learning model which considers joint feature spaces, composed of low and high spectral resolution hyper-cubes, in order to achieve spectral super-resolution performance. We formulate our spectral coupled dictionary learning optimization problem within the context of the Alternating Direction Method of Multipliers, and we manage to update the involved quantities via closed-form expressions.Moreover, we investigate the core problem of spectroscopic data denoising on simulated Euclid-like noisy templates, and we exploit the proposed ADMM Coupled Dictionary Learning methodology in order to learn coupled feature spaces, composed of high- and low-quality spectral profiles. The reconstructed spectral profiles are able to improve the accuracy, reliability and robustness of automated redshift estimation methods. Additionally, another significant contribution of this dissertation includes the deconvolution of astronomical imagery. Specifically, we design a novel and robust post-acquisition formulation that recovers the high-quality versions of blurry astronomical observations, along with information details regarding the blur kernel, i.e. point spread function (PSF). In order to accomplish this goal, we exploit the mathematical frameworks of Sparse Representations, and the Alternating Direction Method of Multipliers. Likewise, we apply our proposed ADMM Coupled Dictionary Learning scheme on a highly challenging problem of the remote sensing community. Specifically, we consider the retrieval of the active measurements of the Soil Moisture Active Passive (SMAP) satellite. The upper goal of this study is the direct soil moisture estimation from SMAP's satellite measurements. In the third part of this dissertation, we consider a novel hyperspectral image understanding technique. Specifically, we propose a novel machine learning technique that addresses the hyperspectral image classification problem by employing the state-of-the-art scheme of Convolutional Neural Networks (CNNs). The formal approach introduced in this work exploits the fact that the spatio-spectral information of an input scene can be encoded via CNNs and combined with multi-class classifiers. The proposed deep feature learning scheme is focused on the classification of snapshot mosaic hyperspectral imagery, while a new hyperspectral classification dataset of indoor scenes is constructed.Last but not least, we have conducted a complete investigation of the experimental setups with multiple real-world's and synthetic datasets and compare it with the best state-of-the- art algorithms.Η ραγδαία εξέλιξη των οπτικών τεχνολογιών και των αισθητήρων οράσεως δημιούργησε τεράστιο ενδιαφέρον στις κοινότητες της επεξεργασίας εικόνας και των πολυμέσων. Κατά συνέπεια, η αναγκαιότητα για την παραγωγή εικόνων υψηλής ποιότητας μεγάλωσε δραματικά. Ωστόσο, παρά την μεγάλη αύξηση της χωρικής ανάλυσης και της εισαγωγής τρισδιάστατου εικονικού περιεχομένου, η φασματική συνιστώσα, το δυναμικό εύρος, η απαλοιφή του θορύβου και του θολώματος, αποτελούν μέχρι και σήμερα ερευνητικά προβλήματα μείζουσας σημασίας. Η κύρια συνεισφορά της παρούσας διδακτορικής διατριβής είναι ο σχεδιασμός καινοτόμων μεθόδων μηχανικής μάθησης, οι οποίες λύνουν βασικούς περιορισμούς των σύγχρονων εικονικών συστημάτων, με ιδιαίτερη έμφαση σε δορυφορικές και πολυφασματικές τεχνολογίες. Στη συγκεκριμένη διδακτορική διατριβή προτείνουμε καινοτόμες μαθηματικές μεθόδους βασιζόμενες στα ευρέως διαδεδομένα πλαίσια των Αραιών Αναπαραστάσεων και της από-κοινού Εκμάθησης Λεξικών. Συγκεκριμένα, αναπτύσσουμε μία πρωτότυπη μαθηματική μέθοδο για από-κοινού εκμάθηση λεξικών η οποία βασίζεται στην τεχνική της εναλλακτικής κατεύθυνσης των πολλαπλασιαστών Λαγκράνζ. Η προτεινόμενη αλγοριθμική μέθοδος λύνει τους περιορισμούς που προκύπτουν από τις κλασσικές τεχνικές από-κοινού εκμάθησης λεξικών. Επομένως, αφενός επεκτείνουμε την ήδη υπάρχουσα μεθοδολογία των Αραιών Αναπαραστάσεων και της από-κοινού εκμάθησης λεξικών, το οποίο έχει μεγάλη θεωρητική σπουδαιότητα, αφετέρου συνεισφέρουμε σε σημαντικά προβλήματα της επεξεργασίας σήματος και εικόνας όπως η υπέρ-ανάλυση, η από-συνέλιξη και η ενίσχυση του δυναμικού εύρους εικόνων, καταλήγοντας στην βελτίωση δορυφορικών και πολυφασματικών εικόνων. Η δομή της παρούσας διατριβής είναι η ακόλουθη. Αρχικά, αντιμετωπίζουμε τo πρόβλημα της ενίσχυσης του δυναμικού εύρους εικόνων που έχουν ληφθεί από εμπορικές φωτογραφικές μηχανές. Το εικονικό περιεχόμενο υψηλού δυναμικού εύρους, έχει χαρακτηριστεί ως το πλέον καινοτόμο επίτευγμα της εμπορικής φωτογραφίας, με όλο και περισσότερες εφαρμογές επεξεργασίας εικόνας και καταγραφής βίντεο να υποστηρίζουν τα συγκεκριμένα χαρακτηριστικά. Στη συγκεκριμένη μελέτη παράγουμε εικόνες υψηλού δυναμικού εύρους από ένα μοναδικό στιγμιότυπο, χρησιμοποιώντας μια καινοτόμο μέθοδο μηχανικής μάθησης, η οποία αρχικά συνθέτει την ακολουθία εικόνων υπό διαφορετικές συνθήκες φωτεινότητας και έπειτα συνδυάζει τη παραγόμενη ακολουθία σε μια εικόνα χαμηλού δυναμικού εύρους και ιδανικής φωτεινότητας, ή αντίστοιχα απευθείας σε μια εικόνα υψηλού δυναμικού εύρους. Επιπλέον, μαθαίνουμε κατάλληλα εικονικά χαρακτηριστικά, χρησιμοποιώντας μια αρχιτεκτονική νευρωνικών δικτύων, η οποία βασίζεται στους συσσωρευμένους αραιούς αυτόματους κωδικοποιητές.Επιπρόσθετα, στη παρούσα διδακτορική διατριβή αντιμετωπίζουμε έναν κύριο περιορισμό των πολυφασματικών συστημάτων εικόνας: την ενίσχυση της φασματικής συνιστώσας. Η πλειονότητα των μελετών που έχει αναφερθεί στη σχετική βιβλιογραφία κυρίως επικεντρώνεται στο πρόβλημα ενίσχυσης της χωρικής πληροφορίας. Ωστόσο, ελάχιστες μελέτες αναφέρονται στο πρόβλημα της ενίσχυσης της φασματικής συνιστώσας δορυφορικών δεδομένων. Στη παρούσα μελέτη, αναπτύσσουμε μια μέθοδο από-κοινού εκμάθησης λεξικών η οποία βασίζεται στους πολλαπλασιαστές Λαγκράνζ εναλλακτικής κατεύθυνσης και αναφέρεται σε δύο χώρους: ο πρώτος αντικατοπτρίζει τους τρισδιάστατους κύβους χαμηλής φασματικής ανάλυσης ενώ ο δεύτερος αναπαριστά τους αντίστοιχους κύβους υψηλής φασματικής ανάλυσης. Συμβάλουμε επίσης στην αφαίρεση του θορύβου από φασματοσκοπικά δεδομένα τα οποία θα ληφθούν από το δορυφόρο Ευκλείδη (Euclid), αποστολή της Εθνικής Υπηρεσίας Αεροναυπηγικής και Διαστήματος (NASA) των ΗΠΑ για την παρατήρηση του διαστήματος. Στη συγκεκριμένη εφαρμογή, χρησιμοποιούμε την προτεινόμενη τεχνική από κοινού-εκμάθησης λεξικών με σκοπό να εκπαιδεύσουμε δύο χώρους οι οποίοι αποτελούνται από θορυβώδη και τα αντίστοιχα φασματικά προφίλ υψηλής ποιότητας. Επιπλέον, ακόμη μια σημαντική συνεισφορά της διατριβής αφορά στην αποσυνέλιξη αστρονομικών εικόνων. Συγκεκριμένα, σχεδιάσαμε μια καινοτόμο μέθοδο ανάκτησης εικόνων υψηλής ανάλυσης από εικόνες χαμηλής ποιότητας και θολές εκδοχές τους και εκτίμησης της σχετικής πληροφορίας για τον πυρήνα που έχει προκαλέσει το φαινόμενο του θολώματος. Ακόμη ένα πρόβλημα της δορυφορικής επεξεργασίας εικόνων το οποίο αντιμετωπίζουμε αφορά την ανάκτηση των ενεργών μετρήσεων του δορυφόρου SMAP ο οποίος έχει ως στόχο τη παραγωγή μετρήσεων σχετικά με τα επίπεδα υγρασίας του εδάφους. Απώτερος σκοπός της συγκεκριμένης μελέτης είναι η απευθείας εκτίμηση της υγρασίας του εδάφους χρησιμοποιώντας μετρήσεις που έχουν ληφθεί από το δορυφόρο SMAP. Στο τελευταίο μέρος της παρούσας διατριβής ασχολούμαστε με το πρόβλημα της ταξινόμησης υπερφασματικών δεδομένων. Συγκεκριμένα, προτείνουμε μια καινοτόμο μέθοδο μηχανικής μάθησης η οποία βασίζεται στα συνελικτικά νευρωνικά δίκτυα. Αντίστοιχα, στα πλαίσια της συγκεκριμένης μελέτης, δημιουργήσαμε ένα πρωτότυπο σετ δεδομένων για υπερφασματική ταξινόμηση. Συνοψίζοντας, χρησιμοποιώντας ολοκληρωμένες πειραματικές διαδικασίες σε πολλαπλά σύνολα πραγματικών και συνθετικών δεδομένων, είμαστε σε θέση να υποστηρίξουμε την ανώτερη ποιότητα των προτεινόμενων τεχνικών σε σχέση με την ήδη υπάρχουσα βιβλιογραφία

Spectral_Indoors_Snapshot_Mosaic_Classification_Dataset

Spectral Indoors Snapshot Mosaic Dataset: For the generation of the dataset, ten distinct object categories were considered, namely:bag, banana, peach, glasses, wallet, book, flower, keys, vanilla and mug. Our hyperspectral dataset consists of 90 images, that were acquired under different illumination conditions and from different view-points, thus producing the first snapshot mosaic spectral image dataset used for classification purposes

Classification of Compressed Remote Sensing Multispectral Images via Convolutional Neural Networks

Multispectral sensors constitute a core Earth observation image technology generating massive high-dimensional observations. To address the communication and storage constraints of remote sensing platforms, lossy data compression becomes necessary, but it unavoidably introduces unwanted artifacts. In this work, we consider the encoding of multispectral observations into high-order tensor structures which can naturally capture multi-dimensional dependencies and correlations, and we propose a resource-efficient compression scheme based on quantized low-rank tensor completion. The proposed method is also applicable to the case of missing observations due to environmental conditions, such as cloud cover. To quantify the performance of compression, we consider both typical image quality metrics as well as the impact on state-of-the-art deep learning-based land-cover classification schemes. Experimental analysis on observations from the ESA Sentinel-2 satellite reveals that even minimal compression can have negative effects on classification performance which can be efficiently addressed by our proposed recovery scheme

Network Traffic Anomaly Detection via Deep Learning

Network intrusion detection is a key pillar towards the sustainability and normal operation of information systems. Complex threat patterns and malicious actors are able to cause severe damages to cyber-systems. In this work, we propose novel Deep Learning formulations for detecting threats and alerts on network logs that were acquired by pfSense, an open-source software that acts as firewall on FreeBSD operating system. pfSense integrates several powerful security services such as firewall, URL filtering, and virtual private networking among others. The main goal of this study is to analyse the logs that were acquired by a local installation of pfSense software, in order to provide a powerful and efficient solution that controls traffic flow based on patterns that are automatically learnt via the proposed, challenging DL architectures. For this purpose, we exploit the Convolutional Neural Networks (CNNs), and the Long Short Term Memory Networks (LSTMs) in order to construct robust multi-class classifiers, able to assign each new network log instance that reaches our system into its corresponding category. The performance of our scheme is evaluated by conducting several quantitative experiments, and by comparing to state-of-the-art formulations

Incidents Information Sharing Platform for Distributed Attack Detection

Intrusion detection plays a critical role in cyber-security domain since malicious attacks cause irreparable damages to cyber-systems. In this work, we propose the I2SP prototype, which is a novel Information Sharing Platform, able to gather, pre-process, model, and distribute network-traffic information. Within the I2SP prototype we build several challenging deep feature learning models for network-traffic intrusion detection. The learnt representations will be utilized for classifying each new network measurement into its corresponding threat level. We evaluate our prototype's performance by conducting case studies using cyber-security data extracted from the Malware Information Sharing Platform (MISP)-API. To the best of our knowledge, we are the first that combine the MISP-API in order to construct an information sharing mechanism that supports multiple novel deep feature learning architectures for intrusion detection. Experimental results justify that the proposed deep feature learning techniques are able to predict accurately MISP threat-levels