Markov Decision Processes with Applications in Wireless Sensor Networks: A Survey

Wireless sensor networks (WSNs) consist of autonomous and resource-limited devices. The devices cooperate to monitor one or more physical phenomena within an area of interest. WSNs operate as stochastic systems because of randomness in the monitored environments. For long service time and low maintenance cost, WSNs require adaptive and robust methods to address data exchange, topology formulation, resource and power optimization, sensing coverage and object detection, and security challenges. In these problems, sensor nodes are to make optimized decisions from a set of accessible strategies to achieve design goals. This survey reviews numerous applications of the Markov decision process (MDP) framework, a powerful decision-making tool to develop adaptive algorithms and protocols for WSNs. Furthermore, various solution methods are discussed and compared to serve as a guide for using MDPs in WSNs

Applications of Repeated Games in Wireless Networks: A Survey

A repeated game is an effective tool to model interactions and conflicts for players aiming to achieve their objectives in a long-term basis. Contrary to static noncooperative games that model an interaction among players in only one period, in repeated games, interactions of players repeat for multiple periods; and thus the players become aware of other players' past behaviors and their future benefits, and will adapt their behavior accordingly. In wireless networks, conflicts among wireless nodes can lead to selfish behaviors, resulting in poor network performances and detrimental individual payoffs. In this paper, we survey the applications of repeated games in different wireless networks. The main goal is to demonstrate the use of repeated games to encourage wireless nodes to cooperate, thereby improving network performances and avoiding network disruption due to selfish behaviors. Furthermore, various problems in wireless networks and variations of repeated game models together with the corresponding solutions are discussed in this survey. Finally, we outline some open issues and future research directions.Comment: 32 pages, 15 figures, 5 tables, 168 reference

Markov decision processes with applications in wireless sensor networks: A survey

Ministry of Education, Singapore under its Academic Research Funding Tier

Fuzzy TOPSIS-based Secure Neighbor Discovery Mechanism for Improving Reliable Data Dissemination in Wireless Sensor Networks

Wireless Sensor Networks (WSNs) being an indispensable entity of the Internet of Things (IoT) are found to be more and more widely utilized for the rapid advent of IoT environment. The reliability of data dissemination in the IoT environment completely depends on the secure neighbor discovery mechanism that are utilized for effective and efficient communication among the sensor nodes. Secure neighbor discovery mechanisms that significantly determine trustworthy sensor nodes are essential for maintaining potential connectivity and sustaining reliable data delivery in the energy-constrained self organizing WSN. In this paper, Fuzzy Technique of Order Preference Similarity to the Ideal Solution (TOPSIS)-based Secure Neighbor Discovery Mechanism (FTOPSIS-SNDM) is proposed for estimating the trust of each sensor node in the established routing path for the objective of enhancing reliable data delivery in WSNs. This proposed FTOPSIS-SNDM is proposed as an attempt to integrate the merits of Fuzzy Set Theory (FST) and TOPSIS-based Multi-criteria Decision Making (MCDM) approach, since the discovery of secure neighbors involves the exchange of imprecise data and uncertain behavior of sensor nodes. This secure neighbor is also influenced by the factors of packet forwarding potential, delay, distance from the Base Station (BS) and residual energy, which in turn depends on multiple constraints that could be possibly included into the process of secure neighbor discovery. The simulation investigations of the proposed FTOPSIS-SNDM confirmed its predominance over the benchmarked approaches in terms of throughput, energy consumption, network latency, communication overhead for varying number of genuine and malicious neighboring sensor nodes in network

Connectivity Management for HetNets based on the Principles of Autonomicity and Context-Awareness

Στο περιβάλλον του Διαδικτύου του Μέλλοντος, η Πέμπτη γενιά (5G) δικτύων έχει ήδη αρχίσει να καθιερώνεται. Τα δίκτυα 5G αξιοποιούν υψηλότερες συχνότητες παρέχοντας μεγαλύτερο εύρος ζώνης, ενώ υποστηρίζουν εξαιρετικά μεγάλη πυκνότητα σε σταθμούς βάσης και κινητές συσκευές, σχηματίζοντας ένα περιβάλλον ετερογενών δικτύων, το οποίο στοχεύει στο να καλυφθούν οι απαιτήσεις της απόδοσης ως προς την μικρότερη δυνατή συνολική χρονοκαθυστέρηση και κατανάλωση ενέργειας. Η αποδοτική διαχείριση της συνδεσιμότητας σε ένα τόσο ετερογενές δικτυακό περιβάλλον αποτελεί ανοιχτό πρόβλημα, με σκοπό να υποστηρίζεται η κινητικότητα των χρηστών σε δίκτυα διαφορετικών τεχνολογιών και βαθμίδων, αντιμετωπίζοντας θέματα πολυπλοκότητας και διαλειτουργικότητας, υποστηρίζοντας τις απαιτήσεις των τρεχουσών εφαρμογών και των προτιμήσεων των χρηστών και διαχειρίζοντας ταυτόχρονα πολλαπλές δικτυακές διεπαφές. Η συλλογή, η μοντελοποίηση, η διεξαγωγή συμπερασμάτων και η κατανομή πληροφορίας περιεχομένου σε σχέση με δεδομένα αισθητήρων θα παίξουν κρίσιμο ρόλο σε αυτήν την πρόκληση. Με βάση τα παραπάνω, κρίνεται σκόπιμη η αξιοποίηση των αρχών της επίγνωσης περιεχομένου και της αυτονομικότητας, καθώς επιτρέπουν στις δικτυακές οντότητες να είναι ενήμερες του εαυτού τους και του περιβάλλοντός τους, καθώς και να αυτοδιαχειρίζονται τις λειτουργίες τους ώστε να πετυχαίνουν συγκεκριμένους στόχους. Επιπλέον, χρειάζεται ακριβής ποσοτική αξιολόγηση της απόδοσης λύσεων διαχείρισης της συνδεσιμότητας για ετερογενή δίκτυα, οι οποίες παρουσιάζουν διαφορετικές στρατηγικές επίγνωσης περιβάλλοντος, απαιτώντας μια μεθοδολογία που να είναι περιεκτική και γενικά εφαρμόσιμη ώστε να καλύπτει διαφορετικές προσεγγίσεις, καθώς οι υπάρχουσες μεθοδολογίες στην βιβλιογραφία είναι σχετικά περιορισμένες. Tο σύνολο της μελέτης επικεντρώνεται σε δύο θεματικούς άξονες. Στο πρώτο θεματικό μέρος της διατριβής, αναλύεται ο ρόλος της επίγνωσης περιβάλλοντος και της αυτονομικότητας, σε σχέση με την διαχείριση της συνδεσιμότητας, αναπτύσσοντας ένα πλαίσιο ταξινόμησης και κατηγοριοποίησης, επεκτείνοντας την τρέχουσα βιβλιογραφία. Με βάση το προαναφερθέν πλαίσιο, ταξινομήθηκαν και αξιολογήθηκαν λύσεις για την υποστήριξη της κινητικότητας σε ετερογενή δίκτυα, οι οποίες δύνανται να θεωρηθούν ότι παρουσιάζουν επίγνωση περιβάλλοντος και αυτο-διαχειριστικά χαρακτηριστικά. Επιπλέον, μελετήθηκε κατά πόσον οι αποφάσεις που λαμβάνονται ως προς την επιλογή του κατάλληλου δικτύου, σύμφωνα με την κάθε λύση, είναι αποτελεσματικές και προτάθηκαν τρόποι βελτιστοποίησης των υπαρχουσών αρχιτεκτονικών, καθώς και προτάσεων προς περαιτέρω ανάπτυξη σχετικών μελλοντικών λύσεων. Στο δεύτερο θεματικό μέρος της διατριβής, αναπτύχθηκε μια ευέλικτη αναλυτική μεθοδολογία, περιλαμβάνοντας όλους τους παράγοντες που μπορούν να συνεισφέρουν στην συνολική χρονοκαθυστέρηση, λαμβάνοντας υπόψιν την σηματοδοσία, την επεξεργαστική επιβάρυνση και την συμφόρηση (μελέτη ουράς), επεκτείνοντας την τρέχουσα βιβλιογραφία. Η μεθοδολογία είναι περιεκτική, ενώ ταυτόχρονα προσφέρει κλειστού τύπου λύσεις και έχει την δυνατότητα να προσαρμόζεται σε διαφορετικές προσεγγίσεις. Προς απόδειξη αυτού, εφαρμόσαμε την μεθοδολογία σε δύο λύσεις με διαφορετική στρατηγική επίγνωσης περιβάλλοντος (μια μεταδραστική και μια προδραστική). Και για τις δύο προσεγγίσεις, τα αναλυτικά αποτελέσματα επιβεβαιώθηκαν από προσομοιώσεις, επιβεβαιώνοντας την αποτελεσματικότητα και την ακρίβεια της αναλυτικής μεθοδολογίας. Επιπλέον, αποδείχθηκε ότι η προδραστική προσέγγιση εμφανίζει καλύτερη απόδοση ως προς την συνολική χρονοκαθυστέρηση, ενώ χρειάζεται σημαντικά λιγότερους επεξεργαστικούς πόρους, παρουσιάζοντας πιθανά οφέλη και στην συνολική ενεργειακή κατανάλωση και στα λειτουργικά και κεφαλαιουχικά κόστη (OPEX και CAPEX)

Computational intelligence techniques for HVAC systems: a review

Buildings are responsible for 40% of global energy use and contribute towards 30% of the total CO2 emissions. The drive to reduce energy use and associated greenhouse gas emissions from buildings has acted as a catalyst in the development of advanced computational methods for energy efficient design, management and control of buildings and systems. Heating, ventilation and air conditioning (HVAC) systems are the major source of energy consumption in buildings and an ideal candidate for substantial reductions in energy demand. Significant advances have been made in the past decades on the application of computational intelligence (CI) techniques for HVAC design, control, management, optimization, and fault detection and diagnosis. This article presents a comprehensive and critical review on the theory and applications of CI techniques for prediction, optimization, control and diagnosis of HVAC systems.The analysis of trends reveals the minimization of energy consumption was the key optimization objective in the reviewed research, closely followed by the optimization of thermal comfort, indoor air quality and occupant preferences. Hardcoded Matlab program was the most widely used simulation tool, followed by TRNSYS, EnergyPlus, DOE–2, HVACSim+ and ESP–r. Metaheuristic algorithms were the preferred CI method for solving HVAC related problems and in particular genetic algorithms were applied in most of the studies. Despite the low number of studies focussing on MAS, as compared to the other CI techniques, interest in the technique is increasing due to their ability of dividing and conquering an HVAC optimization problem with enhanced overall performance. The paper also identifies prospective future advancements and research directions

Multi-Agent Systems

A multi-agent system (MAS) is a system composed of multiple interacting intelligent agents. Multi-agent systems can be used to solve problems which are difficult or impossible for an individual agent or monolithic system to solve. Agent systems are open and extensible systems that allow for the deployment of autonomous and proactive software components. Multi-agent systems have been brought up and used in several application domains

Machine Learning Meets Communication Networks: Current Trends and Future Challenges

The growing network density and unprecedented increase in network traffic, caused by the massively expanding number of connected devices and online services, require intelligent network operations. Machine Learning (ML) has been applied in this regard in different types of networks and networking technologies to meet the requirements of future communicating devices and services. In this article, we provide a detailed account of current research on the application of ML in communication networks and shed light on future research challenges. Research on the application of ML in communication networks is described in: i) the three layers, i.e., physical, access, and network layers; and ii) novel computing and networking concepts such as Multi-access Edge Computing (MEC), Software Defined Networking (SDN), Network Functions Virtualization (NFV), and a brief overview of ML-based network security. Important future research challenges are identified and presented to help stir further research in key areas in this direction