Graph Neural Networks Are More Powerful Than we Think

Graph Neural Networks (GNNs) are powerful convolutional architectures that have shown remarkable performance in various node-level and graph-level tasks. Despite their success, the common belief is that the expressive power of standard GNNs is limited and that they are at most as discriminative as the Weisfeiler-Lehman (WL) algorithm. In this paper we argue the opposite and show that the WL algorithm is the upper bound only when the input to the GNN is the vector of all ones. In this direction, we derive an alternative analysis that employs linear algebraic tools and characterize the representational power of GNNs with respect to the eigenvalue decomposition of the graph operators. We show that GNNs can distinguish between any graphs that differ in at least one eigenvalue and design simple GNN architectures that are provably more expressive than the WL algorithm. Thorough experimental analysis on graph isomorphism and graph classification datasets corroborates our theoretical results and demonstrates the effectiveness of the proposed architectures

Εξασφάλιση Ποιότητας Υπηρεσίας σε Ευφυή δίκτυα Τεχνολογίας BB-PLC

72 σ.Η πρόσφατη τάση για εκσυγχρονισμό του απαρχαιωμένου συμβατικού ηλεκτρικού δικτύου σε δίκτυο πληροφορίας και επικοινωνιών νέας γενιάς έχει καταστήσει το ευφυές δίκτυο αντικείμενο έρευνας και μελέτης. Το ευφυές δίκτυο είναι μια εξέλιξη του συμβατικού ηλεκτρικού δικτύου, ικανό να παρακολουθεί να ελέγχει και να διαχειρίζεται το ηλεκτρικό κομμάτι του δικτύου. Οι επικοινωνίες γραμμών μεταφοράς ηλεκτρικής ενέργειας (PLC) αποτελούν τη βασική υποψήφιο τεχνολογία για την υλοποίηση του ευφυούς δικτύου. Εντούτοις τα δυσμενή φαινόμενα μετάδοσης πληροφορίας στις γραμμές ηλεκτρικής ενέργειας και η σύνθετη τοπολογία του ηλεκτρικού δικτύου απαιτούν συγκεκριμένο χειρισμό για να καταστήσουν τις επικοινωνίες γραμμών μεταφοράς ηλεκτρικής ενέργειας μια αξιόπιστη τεχνολογία για μετάδοση πληροφορίας των υπηρεσιών του ευφυούς δικτύου. Για το σκοπό αυτό διάφορες τεχνικές χρησιμοποιούνται τόσο στο φυσικό στρώμα του μέσου όσο και στο υποεπίπεδο ελέγχου προσπέλασης μέσων (MAC). Σκοπός της διπλωματικής εργασίας είναι η εξασφάλιση ποιότητας υπηρεσίας σε ευφυή δίκτυα με τεχνικές που χρησιμοποιούνται στο υποεπίπεδο MAC της ευρυζωνικής τεχνολογίας PLC (BB-PLC) . Αρχικά παρουσιάζεται μια επισκόπηση των υπηρεσιών που υποστηρίζονται από το ευφυές δίκτυο και οι απαιτήσεις τους σε ποιότητα υπηρεσίας. Στη συνέχεια εξετάζεται ένα σχήμα δυναμικής κατανομής πόρων με χρήση διαστρωματικής σχεδίασης ως προς τον πλέον κρίσιμο παράγοντα ποιότητας υπηρεσίας, την χρονική καθυστέρηση μετάδοσης. Τέλος προτείνεται ένα υβριδικό μοντέλο προγραμματισμού του υποεπιπέδου MAC με στόχο την εξασφάλιση επιτρεπτών ορίων καθυστέρησης για τις υπηρεσίες του ευφυούς δικτύου. Το μοντέλο αυτό κάνει χρήση τόσο ενός δυναμικού σχήματος πολλαπλής πρόσβασης διαίρεσης χρόνου όσο και ενός υβριδικού προγραμματισμού ζεύξης με υλοποίηση αυστηρής προτεραιότητας ουράς για υπηρεσίες υψηλής προτεραιότητας και σταθμικά δίκαιης μεταχείρισης για τις υπόλοιπες.The recent impetus in modernizing the aging power grid into a next generation information and communication technology network has established Smart Grid as a challenging research area. Smart grid is an enhancement of the existing power grid, capable of monitoring, controlling and managing the electrical part of the grid. Powerline communications seem to be the best candidate technology for serving smart grid applications. However, the adverse propagation phenomena along the medium and the complex topology of the grid necessitate the use of special techniques to establish powerline communications as a reliable solution for smart grid services. Therefore, several methods are used both in the physical layer and the MAC layer. The purpose of this thesis to provide quality of service to smart grid applications, using MAC layer techniques on broadband powerline communication (BB-PLC) technology. Firstly, the smart grid services and their QoS requirements are presented. Consequently, the transmission delay of a smart grid traffic is examined when a cross layer resource allocation scheme is implemented. Finally, a hybrid MAC layer model is proposed in order to assure a specified level of delay to smart grid services. This model uses a dynamic Time Division Multiple Access mechanism in addition to a hybrid packet scheduling method of strict priority queuing, for high priority applications and weighted fair queuing, for the rest of the applications.Χαρίλαος Ι. Κανατσούλη

Solving Large-scale Spatial Problems with Convolutional Neural Networks

Over the past decade, deep learning research has been accelerated by increasingly powerful hardware, which facilitated rapid growth in the model complexity and the amount of data ingested. This is becoming unsustainable and therefore refocusing on efficiency is necessary. In this paper, we employ transfer learning to improve training efficiency for large-scale spatial problems. We propose that a convolutional neural network (CNN) can be trained on small windows of signals, but evaluated on arbitrarily large signals with little to no performance degradation, and provide a theoretical bound on the resulting generalization error. Our proof leverages shift-equivariance of CNNs, a property that is underexploited in transfer learning. The theoretical results are experimentally supported in the context of mobile infrastructure on demand (MID). The proposed approach is able to tackle MID at large scales with hundreds of agents, which was computationally intractable prior to this work.Comment: 6 pages, 2 figures, submitted to Asilomar Conference on Signals, Systems, and Computers 202

Transferability of Convolutional Neural Networks in Stationary Learning Tasks

Recent advances in hardware and big data acquisition have accelerated the development of deep learning techniques. For an extended period of time, increasing the model complexity has led to performance improvements for various tasks. However, this trend is becoming unsustainable and there is a need for alternative, computationally lighter methods. In this paper, we introduce a novel framework for efficient training of convolutional neural networks (CNNs) for large-scale spatial problems. To accomplish this we investigate the properties of CNNs for tasks where the underlying signals are stationary. We show that a CNN trained on small windows of such signals achieves a nearly performance on much larger windows without retraining. This claim is supported by our theoretical analysis, which provides a bound on the performance degradation. Additionally, we conduct thorough experimental analysis on two tasks: multi-target tracking and mobile infrastructure on demand. Our results show that the CNN is able to tackle problems with many hundreds of agents after being trained with fewer than ten. Thus, CNN architectures provide solutions to these problems at previously computationally intractable scales.Comment: 14 pages, 7 figures, for associated code see https://github.com/damowerko/mt