From Traditional Adaptive Data Caching to Adaptive Context Caching: A Survey

Context data is in demand more than ever with the rapid increase in the development of many context-aware Internet of Things applications. Research in context and context-awareness is being conducted to broaden its applicability in light of many practical and technical challenges. One of the challenges is improving performance when responding to large number of context queries. Context Management Platforms that infer and deliver context to applications measure this problem using Quality of Service (QoS) parameters. Although caching is a proven way to improve QoS, transiency of context and features such as variability, heterogeneity of context queries pose an additional real-time cost management problem. This paper presents a critical survey of state-of-the-art in adaptive data caching with the objective of developing a body of knowledge in cost- and performance-efficient adaptive caching strategies. We comprehensively survey a large number of research publications and evaluate, compare, and contrast different techniques, policies, approaches, and schemes in adaptive caching. Our critical analysis is motivated by the focus on adaptively caching context as a core research problem. A formal definition for adaptive context caching is then proposed, followed by identified features and requirements of a well-designed, objective optimal adaptive context caching strategy.Comment: This paper is currently under review with ACM Computing Surveys Journal at this time of publishing in arxiv.or

Traffic control for energy harvesting virtual small cells via reinforcement learning

Due to the rapid growth of mobile data traffic, future mobile networks are expected to support at least 1000 times more capacity than 4G systems. This trend leads to an increasing energy demand from mobile networks which raises both economic and environmental concerns. Energy costs are becoming an important part of OPEX by Mobile Network Operators (MNOs). As a result, the shift towards energy-oriented design and operation of 5G and beyond systems has been emphasized by academia, industries as well as standard bodies. In particular, Radio Access Network (RAN) is the major energy consuming part of cellular networks. To increase the RAN efficiency, Cloud Radio Access Network (CRAN) has been proposed to enable centralized cloud processing of baseband functions while Base Stations (BSs) are reduced to simple Radio Remote Heads (RRHs). The connection between the RRHs and central cloud is provided by high capacity and very low latency fronthaul. Flexible functional splits between local BS sites and a central cloud are then proposed to relax the CRAN fronthaul requirements via partial processing of baseband functions at the local BS sites. Moreover, Network Function Virtualization (NFV) and Software Defined Networking (SDN) enable flexibility in placement and control of network functions. Relying on SDN/NFV with flexible functional splits, network functions of small BSs can be virtualized and placed at different sites of the network. These small BSs are known as virtual Small Cells (vSCs). More recently, Multi-access Edge Computing (MEC) has been introduced where BSs can leverage cloud computing capabilities and offer computational resources on demand basis. On the other hand, Energy Harvesting (EH) is a promising technology ensuring both cost effectiveness and carbon footprint reduction. However, EH comes with challenges mainly due to intermittent and unreliable energy sources. In EH Base Stations (EHBSs), it is important to intelligently manage the harvested energy as well as to ensure energy storage provision. Consequently, MEC enabled EHBSs can open a new frontier in energy-aware processing and sharing of processing units according to flexible functional split options. The goal of this PhD thesis is to propose energy-aware control algorithms in EH powered vSCs for efficient utilization of harvested energy and lowering the grid energy consumption of RAN, which is the most power consuming part of the network. We leverage on virtualization and MEC technologies for dynamic provision of computational resources according to functional split options employed by the vSCs. After describing the state-of-the-art, the first part of the thesis focuses on offline optimization for efficient harvested energy utilization via dynamic functional split control in vSCs powered by EH. For this purpose, dynamic programming is applied to determine the performance bound and comparison is drawn against static configurations. The second part of the thesis focuses on online control methods where reinforcement learning based controllers are designed and evaluated. In particular, more focus is given towards the design of multi-agent reinforcement learning to overcome the limitations of centralized approaches due to complexity and scalability. Both tabular and deep reinforcement learning algorithms are tailored in a distributed architecture with emphasis on enabling coordination among the agents. Policy comparison among the online controllers and against the offline bound as well as energy and cost saving benefits are also analyzed.Debido al rápido crecimiento del tráfico de datos móviles, se espera que las redes móviles futuras admitan al menos 1000 veces más capacidad que los sistemas 4G. Esta tendencia lleva a una creciente demanda de energía de las redes móviles, lo que plantea preocupaciones económicas y ambientales. Los costos de energía se están convirtiendo en una parte importante de OPEX por parte de los operadores de redes móviles (MNO). Como resultado, la academia, las industrias y los organismos estándar han enfatizado el cambio hacia el diseño orientado a la energía y la operación de sistemas 5G y más allá de los sistemas. En particular, la red de acceso por radio (RAN) es la principal parte de las redes celulares que consume energía. Para aumentar la eficiencia de la RAN, se ha propuesto Cloud Radio Access Network (CRAN) para permitir el procesamiento centralizado en la nube de las funciones de banda base, mientras que las estaciones base (BS) se reducen a simples cabezales remotos de radio (RRH). La conexión entre los RRHs y la nube central es proporcionada por una capacidad frontal de muy alta latencia y muy baja latencia. Luego se proponen divisiones funcionales flexibles entre los sitios de BS locales y una nube central para relajar los requisitos de red de enlace CRAN a través del procesamiento parcial de las funciones de banda base en los sitios de BS locales. Además, la virtualización de funciones de red (NFV) y las redes definidas por software (SDN) permiten flexibilidad en la colocación y el control de las funciones de red. Confiando en SDN / NFV con divisiones funcionales flexibles, las funciones de red de pequeñas BS pueden virtualizarse y ubicarse en diferentes sitios de la red. Estas pequeñas BS se conocen como pequeñas celdas virtuales (vSC). Más recientemente, se introdujo la computación perimetral de acceso múltiple (MEC) donde los BS pueden aprovechar las capacidades de computación en la nube y ofrecer recursos computacionales según la demanda. Por otro lado, Energy Harvesting (EH) es una tecnología prometedora que garantiza tanto la rentabilidad como la reducción de la huella de carbono. Sin embargo, EH presenta desafíos principalmente debido a fuentes de energía intermitentes y poco confiables. En las estaciones base EH (EHBS), es importante administrar de manera inteligente la energía cosechada, así como garantizar el suministro de almacenamiento de energía. En consecuencia, los EHBS habilitados para MEC pueden abrir una nueva frontera en el procesamiento con conciencia energética y el intercambio de unidades de procesamiento de acuerdo con las opciones de división funcional flexible. El objetivo de esta tesis doctoral es proponer algoritmos de control conscientes de la energía en vSC alimentados por EH para la utilización eficiente de la energía cosechada y reducir el consumo de energía de la red de RAN, que es la parte más consumidora de la red. Aprovechamos las tecnologías de virtualización y MEC para la provisión dinámica de recursos computacionales de acuerdo con las opciones de división funcional empleadas por los vSC. La primera parte de la tesis se centra en la optimización fuera de línea para la utilización eficiente de la energía cosechada a través del control dinámico de división funcional en vSC con tecnología EH. Para este propósito, la programación dinámica se aplica para determinar el rendimiento limitado y la comparación se realiza con configuraciones estáticas. La segunda parte de la tesis se centra en los métodos de control en línea donde se diseñan y evalúan los controladores basados en el aprendizaje por refuerzo. En particular, se presta más atención al diseño de aprendizaje de refuerzo de múltiples agentes para superar las limitaciones de los enfoques centralizados debido a la complejidad y la escalabilidad. También se analiza la comparación de políticas entre los controladores en línea y contra los límites fuera de línea,Postprint (published version

SHARING WITH LIVE MIGRATION ENERGY OPTIMIZATION TASK SCHEDULER FOR CLOUD COMPUTING DATACENTRES

The use of cloud computing is expanding, and it is becoming the driver for innovation in all companies to serve their customers around the world. A big attention was drawn to the huge energy that was consumed within those datacentres recently neglecting the energy consumption in the rest of the cloud components. Therefore, the energy consumption should be reduced to minimize performance losses, achieve the target battery lifetime, satisfy performance requirements, minimize power consumption, minimize the CO2 emissions, maximize the profit, and maximize resource utilization. Reducing power consumption in the cloud computing datacentres can be achieved by many ways such as managing or utilizing the resources, controlling redundancy, relocating datacentres, improvement of applications or dynamic voltage and frequency scaling. One of the most efficient ways to reduce power is to use a scheduling technique that will find the best task execution order based on the users demands and with the minimum execution time and cloud resources. It is quite a challenge in cloud environment to design an effective and an efficient task scheduling technique which is done based on the user requirements. The scheduling process is not an easy task because within the datacentre there is dissimilar hardware with different capacities and, to improve the resource utilization, an efficient scheduling algorithm must be applied on the incoming tasks to achieve efficient computing resource allocating and power optimization. The scheduler must maintain the balance between the Quality of Service and fairness among the jobs so that the efficiency may be increased. The aim of this project is to propose a novel method for optimizing energy usage in cloud computing environments that satisfy the Quality of Service (QoS) and the regulations of the Service Level Agreement (SLA). Applying a power- and resource-optimised scheduling algorithm will assist to control and improve the process of mapping between the datacentre servers and the incoming tasks and achieve the optimal deployment of the data centre resources to achieve good computing efficiency, network load minimization and reducing the energy consumption in the datacentre. This thesis explores cloud computing energy aware datacentre structures with diverse scheduling heuristics and propose a novel job scheduling technique with sharing and live migration based on file locality (SLM) aiming to maximize efficiency and save power consumed in the datacentre due to bandwidth usage utilization, minimizing the processing time and the system total make span. The propose SLM energy efficient scheduling strategy have four basic algorithms: 1) Job Classifier, 2) SLM job scheduler, 3) Dual fold VM virtualization and 4) VM threshold margins and consolidation. The SLM job classifier worked on categorising the incoming set of user requests to the datacentre in to two different queues based on these requests type and the source file needed to process them. The processing time of each job fluctuate based on the job type and the number of instructions for each job. The second algorithm, which is the SLM scheduler algorithm, dispatch jobs from both queues according to job arrival time and control the allocation process to the most appropriate and available VM based on job similarity according to a predefined synchronized job characteristic table (SJC). The SLM scheduler uses a replicated host’s infrastructure to save the wasted idle hosts energy by maximizing the basic host’s utilization as long as the system can deal with workflow while setting replicated hosts on off mode. The third SLM algorithm, the dual fold VM algorithm, divide the active VMs in to a top and low level slots to allocate similar jobs concurrently which maximize the host utilization at high workload and reduce the total make span. The VM threshold margins and consolidation algorithm set an upper and lower threshold margin as a trigger for VMs consolidation and load balancing process among running VMs, and deploy a continuous provisioning of overload and underutilize VMs detection scheme to maintain and control the system workload balance. The consolidation and load balancing is achieved by performing a series of dynamic live migrations which provides auto-scaling for the servers with in the datacentres. This thesis begins with cloud computing overview then preview the conceptual cloud resources management strategies with classification of scheduling heuristics. Following this, a Competitive analysis of energy efficient scheduling algorithms and related work is presented. The novel SLM algorithm is proposed and evaluated using the CloudSim toolkit under number of scenarios, then the result compared to Particle Swarm Optimization algorithm (PSO) and Ant Colony Algorithm (ACO) shows a significant improvement in the energy usage readings levels and total make span time which is the total time needed to finish processing all the tasks

Runtime Adaptation of Scientific Service Workflows

Software landscapes are rather subject to change than being complete after having been built. Changes may be caused by a modified customer behavior, the shift to new hardware resources, or otherwise changed requirements. In such situations, several challenges arise. New architectural models have to be designed and implemented, existing software has to be integrated, and, finally, the new software has to be deployed, monitored, and, where appropriate, optimized during runtime under realistic usage scenarios. All of these situations often demand manual intervention, which causes them to be error-prone. This thesis addresses these types of runtime adaptation. Based on service-oriented architectures, an environment is developed that enables the integration of existing software (i.e., the wrapping of legacy software as web services). A workflow modeling tool that aims at an easy-to-use approach by separating the role of the workflow expert and the role of the domain expert. After the development of workflows, tools that observe the executing infrastructure and perform automatic scale-in and scale-out operations are presented. Infrastructure-as-a-Service providers are used to scale the infrastructure in a transparent and cost-efficient way. The deployment of necessary middleware tools is automatically done. The use of a distributed infrastructure can lead to communication problems. In order to keep workflows robust, these exceptional cases need to treated. But, in this way, the process logic of a workflow gets mixed up and bloated with infrastructural details, which yields an increase in its complexity. In this work, a module is presented that can deal automatically with infrastructural faults and that thereby allows to keep the separation of these two layers. When services or their components are hosted in a distributed environment, some requirements need to be addressed at each service separately. Although techniques as object-oriented programming or the usage of design patterns like the interceptor pattern ease the adaptation of service behavior or structures. Still, these methods require to modify the configuration or the implementation of each individual service. On the other side, aspect-oriented programming allows to weave functionality into existing code even without having its source. Since the functionality needs to be woven into the code, it depends on the specific implementation. In a service-oriented architecture, where the implementation of a service is unknown, this approach clearly has its limitations. The request/response aspects presented in this thesis overcome this obstacle and provide a SOA-compliant and new methods to weave functionality into the communication layer of web services. The main contributions of this thesis are the following: Shifting towards a service-oriented architecture: The generic and extensible Legacy Code Description Language and the corresponding framework allow to wrap existing software, e.g., as web services, which afterwards can be composed into a workflow by SimpleBPEL without overburdening the domain expert with technical details that are indeed handled by a workflow expert. Runtime adaption: Based on the standardized Business Process Execution Language an automatic scheduling approach is presented that monitors all used resources and is able to automatically provision new machines in case a scale-out becomes necessary. If the resource's load drops, e.g., because of less workflow executions, a scale-in is also automatically performed. The scheduling algorithm takes the data transfer between the services into account in order to prevent scheduling allocations that eventually increase the workflow's makespan due to unnecessary or disadvantageous data transfers. Furthermore, a multi-objective scheduling algorithm that is based on a genetic algorithm is able to additionally consider cost, in a way that a user can define her own preferences rising from optimized execution times of a workflow and minimized costs. Possible communication errors are automatically detected and, according to certain constraints, corrected. Adaptation of communication: The presented request/response aspects allow to weave functionality into the communication of web services. By defining a pointcut language that only relies on the exchanged documents, the implementation of services must neither be known nor be available. The weaving process itself is modeled using web services. In this way, the concept of request/response aspects is naturally embedded into a service-oriented architecture

Context-based Resource Management and Slicing for SDN-enabled 5G Smart, Connected Environments

Τα συστήματα κινητής επικοινωνίας πέμπτης γενιάς (5G) τα οποία αναμένονται τα αμέσως επόμενα χρόνια, θα αντιμετωπίσουν πρωτοφανείς απαιτήσεις όσον αφορά τον όγκο και το ρυθμό μεταδόσης δεδομένων, τις καθυστερήσεις του δικτύου, καθώς και τον αριθμό των συνδεδεμένων συσκευών. Τα μελλοντικά δικτυακά οικοσυστήματα θα περιλαμβάνουν μια πληθώρα τεχνολογιών ασύρματης επικοινωνίας (είτε τεχνολογιών 3GPP, είτε μη-3GPP) όπως το Wi-Fi, το 3G, το 4G ή LTE, το Bluetooth, κτλ. Τα σενάρια ανάπτυξης του 5G προβλέπουν έναν πολυεπίπεδο συνδυασμό μακρο- και μικρο-κυψελών, όπου πολυλειτουργικές συσκευές –οι οποίες μπορούν να υποστηρίξουν ποικιλία διαφορετικών εφαρμογών και υπηρεσιών- εξυπηρετούνται από διαφορετικές τεχνολογίες. Οι περιορισμοί που υπήρξαν στα παλιότερα συστήματα κινητών επικοινωνιών πρέπει να εξαλειφθούν, ανοίγοντας το δρόμο για ένα νέο κύμα υπηρεσιών και συνολική εμπειρία χρήστη. Ως εκ τούτου, η διαχείριση των ασύρματων πόρων μέσω της χαρτογράφησης και διανομής τους στις κινητές συσκευές, μέσω της πλέον κατάλληλης τεχνολογίας πρόσβασης, η οποία εξυπηρετεί τις ανάγκες των συγκεκριμένων υπηρεσιών/εφαρμογών αποκτά πρωταρχική σημασία. Οι κύριοι μηχανισμοί διαχείρισης πόρων δικτύου πρόσβασης δηλαδή η επιλογή κυψέλης (cell selection/reselection), η παράδοση υπηρεσίας από τη μία κυψέλη στην άλλη (handover), καθώς και ο έλεγχος εισαγωγής κλήσεων/υπηρεσιών (call/service admission control), είναι αυτοί που τελικώς θα μπορέσουν να προσφέρουν στους χρήστες εξαιρετικά υψηλή ποιότητα υπηρεσιών (Quality of Service - QoS) και εμπειρίας (Quality of Experience - QoE) προς τις πολύ απαιτητικές περιπτώσεις χρήσης του 5G. Αυτό θα γίνει εφικτό μέσω της βελτιστοποίησης του συσχετισμού-χαρτογράφησης μεταξύ των διαφορετικών (τελικών) κινητών συσκευών και των συνυπαρχόντων ασύρματων δικτύων πρόσβασης. Επιπλέον της οπτικής του χρήστη, οι Πάροχοι Δικτύων Κινητής θα είναι σε θέση να εκμεταλλευτούν τη μέγιστη αποδοτικότητα και χρήση των –ήδη δυσεύρετων- ασύρματων πόρων. Ευφυείς βελτιστοποιήσεις και αποδοτικές λύσεις όσον αφορά το κόστος και την κατανάλωση ενέργειας πρέπει επίσης να εισαχθούν στα δίκτυα 5ης γενιάς με σκοπό να προάγουν ένα συνεκτικό, στοχευμένο στο χρήστη και πολυδιάστατο οικοσύστημα πληροφοριών. Η παρούσα διατριβή αυτή εστιάζει στη Διαχείριση Ασύρματων Δικτυακών Πόρων (ΔΑΔΠ - RRM) από την οπτική των κύριων διαδικασιών που σχετίζονται με την επιλογή ασύρματης τεχνολογίας πρόσβασης και στρώματος κυψέλης (μικρο-, μάκρο κυψέλη, κτλ.), δηλαδή η επιλογή κυψέλης, η παράδοση υπηρεσίας και ο έλεγχος εισαγωγής κλήσεων/υπηρεσιών. Έπειτα, η διατριβή προχωρά ένα βήμα παραπέρα, με σκοπό να συνδέσει τη ΔΑΔΠ με μία από τις πιο πρόσφατες προσεγγίσεις διαχείρισης δικτυακών πόρων, δηλαδή τον «τεμαχισμό δικτύου» (network slicing), όπως αυτή εισάγεται σε περιβάλλοντα που χρησιμοποιούν τη μέθοδος της Δικτύωσης Βασισμένης στο Λογισμικό (Software Defined Networking), η οποία δημιουργεί μικρότερα, εικονικά τμήματα του δικτύου, προσαρμοσμένα και βελτιστοποιημένα για συκεκριμένες υπηρεσίες και αντίστοιχες απαιτήσεις. Σαν πρώτο βήμα, πραγματοποιήθηκε μια ολοκληρωμένη ανάλυση για τις υπάρχουσες λύσεις – όπως αυτές προδιαγράφονται στα πρότυπα της 3GPP, στη βιβλιογραφία, καθώς και τις σχετικές πατέντες-. Η διατριβή αυτή αρχικά εντοπίζει τους δεσμούς μεταξύ των προσπαθειών της ερευνητικής κοινότητας, των υλοποιήσεων της βιομηχανίας, καθώς και των δράσεων προτυποποίησης, σε μια προσπάθεια να επισημανθούν ρεαλιστικές λύσεις εφαρμογής, να προσδιοριστούν οι κύριοι στόχοι, τα πλεονεκτήματα, αλλά και οι ελλείψεις αυτών των προσπαθειών. Όπως θα δειχθεί, οι υπάρχουσες λύσεις προσπαθούν να εξισορροπήσουν σε ένα σημείο μεταξύ της βέλτιστης λύσης και μιας απλής υλοποίησης. Έτσι, οι λύσεις που έχουν προταθεί είτε είναι απλοποιημένες σε τέτοιο βαθμό που απομακρύνονται από μια ρεαλιστική πρόταση, και επιτυγχάνουν υπο-βέλτιστες λύσεις ή από την άλλη παρέχουν πολύ σημαντικές βελτιώσεις, αλλά η πολυπλοκότητά τους και η επιβάρυνση που επιβάλλουν στο δίκτυο (όσον αφορά για παράδειγμα κόστος σηματοδοσίας, ή επεξεργαστικής ισχύος) τις καθιστούν ελκυστικές για μια πραγματική ανάπτυξη. Προς αυτή την κατεύθυνση, η παρούσα διατριβή εισαγωγή ένα σύνολο μηχανισμών επίγνωσης πλαισίου για τη διαχείριση δικτυακών πόρων, που αποτελείται από τρεις επιμέρους μηχανισμούς με διακριτό ρόλο: Δύο από τους μηχανισμούς χρησιμοποιούν πληροφορία πλαισίου με σκοπό τη βελτίωση τη διαχείριση πόρων και και τη χαρτογράφηση μεταξύ ροών δεδομένων κινητών συσκευών και κυψέλης/τεχνολογίας δικτύου. Ο τρίτος μηχανισμός δρα με έναν ενισχυτικό ρόλο στους δύο προηγούμενους, μέσω μιας προ-επεξεργασίας που πραγματοποιεί πάνω σε πληροφορία πλαισίου, με σκοπό τον περιορισμό του κόστους της επιπλέον σηματοδοσίας που απαιτείται για την μεταφορά της πληροφορίας πλαισίου μεταξύ των διαφόρων ενδιαφερόμενων δικτυακών οντοτήτων. Εκτός από τους τρεις μηχανισμούς αυτούς, πραγματοποιήθηκαν εκτενείς μελέτες σε σχέση με αρχιτεκτονικά ζητήματα και πτυχές, στο πλαίσιο της επικείμενης αρχιτεκτονικής δικτύου 5G και χαρτογράφηση των προτεινόμενων μηχανισμών στα συστατικά στοιχεία του δικτύου 5G -όπως αυτά εισήχθησαν στα τελευταίο κείμενα προτυποποίησης της 3GPP-. Η πρώτη κύρια συμβολή της παρούσας διατριβής είναι το COmpAsS, ένας μηχανισμός επιλογής Τεχνολογίας Ασύρματης Πρόσβασης πολλαπλών κριτηρίων, με γνώμονα το περιβάλλον, το κύριο μέρος του οποίου λειτουργεί στην πλευρά του Εξοπλισμού Χρήστη (UE), ελαχιστοποιώντας με αυτό τον τρόπο τις επιβαρύνσεις σηματοδότησης στη διεπαφή αέρα και το φορτίο υπολογισμού στους σταθμούς βάσης. Ο μηχανισμός COmpAsS εκτελεί παρακολούθηση σε πραγματικό χρόνο, υιοθετώντας την Ασαφή Λογική (Fuzzy Logic -FL) ως μία από τις βασικές προσεγγίσεις αντίληψης και ανάλυσης της κατάστασης του δικτύου. Σε συνδυασμό με ένα σύνολο προκαθορισμένων κανόνων, υπολογίζει μια λίστα με τις καταλληλότερες διαθέσιμες επιλογές πρόσβασης δικτύου, για κάθε μία από τις ροές δεδομένων/υπηρεσίας που είναι ενεργές εκείνη τη στιγμή. Τα πλεονεκτήματα του COmpAsS παρουσιάζονται μέσω μιας εκτεταμένης σειράς σεναρίων προσομοίωσης, ως μέρος των περιπτώσεων χρήσης εξαιρετικά πυκνών δικτύων (UDN) 5G. Τα αποτελέσματα αποδεικνύουν τον τρόπο με τον οποίο ο προτεινόμενος μηχανισμός βελτιστοποιεί τους βασικούς δείκτες επιδόσεων (Key Performance Indicators - KPIs), όταν αντιπαρατίθεται σε έναν από τους καθιερωμένους LTE αλγορίθμους. Η δεύτερη σημαντική συμβολή της παρούσας διατριβής είναι η Μηχανή Εξόρυξης Πλαισίου και Δημιουργίας Προφίλ (Context Extraction and Profiling Engine – CEPE), ένας μηχανισμός διαχείρισης πόρων, ο οποίος αναλύει συμπεριφορικά πρότυπα των χρηστών/κινητών συσκευών, εξάγει ουσιώδη γνώση και δημιουργεί αντίστοιχα προφίλ/πρότυπα συμπεριφοράς, με σκοπό να τα χρησιμοποιήσει για βέλτιστο προγραμματισμό πόρων, καθώς επίσης και για την μελλοντική πρόβλεψη απαιτήσεων πόρων. Το CEPE συλλέγει πληροφορίες σχετικά με τους χρήστες, τις υπηρεσίες, τις κινητές συσκευές, καθώς και τις συνθήκες δικτύου, και μέσω επεξεργασίας -χωρίς σύνδεση, ετεροχρονισμένα- αποκτά ένα μοντέλο γνώσης, το οποίο στη συνέχεια χρησιμοποιείται για τη βελτιστοποίηση των κύριων μηχανισμών ΔΑΔΠ (RRM). Το προαναφερθέν μοντέλο γνώσης μεταφράζεται έπειτα σε προφίλ χρηστών/κινητών συσκευών, τα οποία εφαρμόζονται ως είσοδος κατά τις διαδικασίες ΔΑΔΠ. Η βιωσιμότητα και η εγκυρότητα του CEPE επιδεικνύεται μέσω εκτεταμένων σεναρίων προσομοίωσης. Η τρίτη σημαντική συμβολή είναι το CIP (Context Information Preprocessor), ένας μηχανισμός προεπεξεργασίας πληροφοριών πλαισίου, με στόχο τον εντοπισμό και την απόρριψη περιττών δεδομένων κατά τη σηματοδοσία πριν από την εξαγωγή της γνώσης. Το CIP θα μπορούσε να θεωρηθεί ως αναπόσπαστο μέρος των προαναφερθέντων σχημάτων σχεδίασης, δηλαδή των COmpAsS και CEPE. Ο προτεινόμενος μηχανισμός περιλαμβάνει τη συγκέντρωση και συμπίεση πληροφοριών πλαισίου σχετικά με το δίκτυο ανά μοναδικό αναγνωριστικό κινητής συσκευής/χρήστη, -όπως η διεθνής ταυτότητα συνδρομητή κινητού (IMSI)-, καθώς και τεχνικές που σχετίζονται με την αναγνώριση και την απόρριψη δεδομένων πλαισίου που δε συμβάλλουν στην βελτίωση ή διόρθωση του πρόφιλ χρήστη, πριν από οποιαδήποτε μετάδοση προς το CEPE (ή άλλο μηχανισμό ΔΑΔΠ). Οι βελτιώσεις και τα κέρδη του CIP στη διαδικασία της σηματοδοσίας απεικονίζονται μέσω λεπτομερούς αναλυτικής προσέγγισης, η οποία καθορίζεται από τις καθιερωμένες απαιτήσεις περί χρήσης 5G. Ως τελική σημαντική συμβολή αυτής της διατριβής, διεξάγεται μια εκτεταμένη ανάλυση όσον αφορά τη διασύνδεση των CEPE-COmpAsS, στο πλαίσιο της επικείμενης αρχιτεκτονικής δικτύου 5G και της χαρτογράφησης αυτών με τα τελευταία συστατικά στοιχεία του δικτύου 5G –όπως αυτά παρουσιάστηκαν στις τελευταίες δημοσιεύσεις προτυποποίησης της 3GPP -. Το έργο σε αυτή την ενότητα δείχνει πώς μπορεί να παρουσιαστεί το προτεινόμενο πλαίσιο ως μέρος των συνιστωσών του δικτύου 5G και των λειτουργιών που εισάγονται σε περιβάλλοντα με δυνατότητα SDN, όπως η προσέγγιση του «Τεμαχισμού Δικτύου», ο Μηχανισμός Ανάλυσης Δικτυακών Δεδομένων (Network Data Analytics Function – NWDAF), η λειτουργία επιλογής βέλτιστου τεμαχίου δικτύου (Network Slice Selection Function) - προς περαιτέρω βελτιστοποίηση της διανομής και της διαχείρισης των διαθέσιμων πόρων δικτύου μεταξύ των συσκευών-, καθώς και το ATSSS – Access Traffic Steering, Switching and Splitting, μια οντότητα υπεύθυνη για τη διαχείριση των ροών δεδομένων των UE –με δυνατότητες επαναδρομολόγησης, διαχωρισμού και σύνδεσης της κάθε ροής με την αντίστοιχη βέλτιστη, διαθέσιμη τεχνολογία πρόσβασης. Δύο συμπληρωματικές μελέτες περιλαμβάνονται –τέλος- σε αυτή τη διατριβή: μια αρχική ανάλυση των πολιτικών μηχανικής κυκλοφορίας (Traffic Engineering) που βασίζονται σε προφίλ χρηστών που προκύπτουν από το CEPE, καθώς και μία περίπτωση χρήσης 5G που σχετίζεται με τον τομέα του Διαδικτύου των Πραγμάτων - και πιο συγκεκριμένα την «Καλλιέργεια Ακριβείας» (Precision Farming), με σκοπό να δοθεί έμφαση σε ρητές απαιτήσεις των περιπτώσεων χρήσης 5G, όπως η επικοινωνία τύπου μηχανής κρίσιμης σημασίας (Mission-Critical Machine Type Communication).The fifth-generation (5G) mobile communication systems, which are expected to emerge in the forthcoming years, will address unprecedented demands in terms of system capacity, service latency and number of connected devices. Future 5G network ecosystems will comprise a plethora of 3GPP and non-3GGP Radio Access Technologies (RATs), such as Wi-Fi, 3G, 4G or LTE, Bluetooth, etc. Deployment scenarios envision a multi-layer combination of macro, micro and femto cells where multi-mode end devices, supporting diverse applications, are served by different technologies. Limitations previously posed by legacy generation systems need to be eliminated, paving the way to a new wave of services and overall experience for the user. As a result, the management of radio resources via mapping the end devices to the most appropriate access network becomes of paramount importance; the primary Radio Resource Management (RRM) mechanisms, i.e. cell selection/reselection, handover and call admission control will be able to offer extremely high Quality of Service (QoS) and Experience (QoE) to the users, towards the very demanding 5G use case requirements; this will be realised via an optimal association between the diverse end devices and the coexisting available access networks. Besides the user’s perspective, the Mobile Network Operators (MNOs) will be able to take advantage of the maximum efficiency and utilization over the –already scarce- wireless resources. Intelligent optimizations, as well as cost and energy efficient solutions need to be introduced in 5G networks in order to promote a consistent, user-centred and all-dimensional information ecosystem. This thesis focuses on the radio resource management (RRM) from the perspective of the primary RAT and cell layer selection processes (i.e., cell (re)selection, handover, admission control); afterwards, it goes one step beyond, in order to link the RRM with one of the latest RRM optimization approaches, i.e. the Network Slicing, as introduced in Software Defined Networking (SDN)-enabled environments, which creates smaller, virtual “portions” of the network, adapted and optimized for specific services/requirements. As a first step, a comprehensive analysis for the existing solutions -as these are specified in 3GPP standards, research papers, and patents has taken place. This thesis initially identifies the links between the research community efforts, the industry implementations, as well as the standardization efforts, in an attempt to highlight realistic solution implementations, identify the main goals, advantages and shortcomings of these efforts. As will be shown, existing solutions attempt to balance between implementation simplicity and solution optimality. Thus, solutions are either simple to implement but achieve sub-optimal solutions or provide significant improvements but their complexity and the burden placed on the network components renders them unattractive for a real-life deployment. Towards this end, this thesis introduces a context-based radio resource management (RRM) framework, comprised of three distinct mechanisms: Two out of the three mechanisms exploit contextual information with the aim of optimising the resource management and UE-RAT mapping, while the third mechanism acts with an augmenting role to the former two, by pre-processing the contextual information required by such, context-based mechanisms and –thus- by limiting the signalling cost required for communicating this contextual information among network entities. In addition to the three mechanisms, comprehensive analysis has taken place in relation to architectural aspects, in the context of the forthcoming 5G network architecture and by mapping them with the latest 5G network components –as these were introduced in the latest 3GPP work-. The first major contribution of this thesis is COmpAsS, a context-aware, multi-criteria RAT selection mechanism, the main part of which operates on the User Equipment (UE) side, minimizing signalling overhead over the air interface and computation load on the base stations. COmpAsS mechanism performs real-time monitoring and adopts Fuzzy Logic (FL) as one the core logic modules, responsible for the perception of the network situation and, in combination with a set of pre-defined rules, calculates a list of the most suitable available access network options. The merits of COmpAsS are showcased via an extensive series of simulation scenarios, as part of 5G ultra dense networks (UDN) use cases. The results prove how the proposed mechanism optimises Key Performance Indicators (KPIs), when juxtaposed to a well-established LTE handover algorithm. The second major contribution of the current thesis the Context Extraction and Profiling Engine (CEPE), a resource management framework, which analyzes user behavioral patterns, extracts meaningful knowledge and performs user profiling in order to apply it for optimal resource planning, as well as prediction of resource requirements. CEPE collects information about users, services, terminals and network conditions and –based on offline processing– derives a knowledge model, which is subsequently used for the optimization of the primary RRM mechanisms. Then, the extracted context information is translated into user profiles and is finally applied as input for enhanced cell (re)selection, handover or admission control. The viability and validity of CEPE is demonstrated via an extensive set of simulation scenarios. The third major contribution is CIP, a Context Information Pre-processing scheme, aiming to identify and discard redundant or unnecessary data during network signalling and before knowledge extraction. CIP could be considered as an integral part of the afore described profiling schemes, i.e. COmpAsS and CEPE. The module comprises aggregating and compressing mobile network-related context information per unique identifier, such as the end device’s International Mobile Subscriber Identity (IMSI), as well as techniques related to identifying and discarding user profile-redundant or unnecessary context data, before any transmission to CEPE. CIP gains are illustrated via a detailed analytical approach, guided by well-established 5G use case requirements. As a final major contribution of this thesis, a comprehensive analysis takes place with regard to the CEPE-COmpAsS interworking, in the context of the forthcoming 5G network architecture and by mapping them with the latest 5G network components –as these were introduced in the latest 3GPP work-. The work in this section shows how the proposed framework can be instantiated as part of the 5G network components and functions introduced in SDN-enabled environments, such as the Network Slicing approach, the Network Data Analytics and the Network Slice Selection Functions, towards further optimising the distribution and management of the available infrastructure and network resources among the UEs, as well as the Access Traffic Steering, Switching and Splitting (ATSSS), responsible for managing the UE data flows and mapping each single UE flow with the optimal available access technology.. Two supplementary studies are finally included in this dissertation: a preliminary analysis on traffic engineering policies based on user profiling realised by CEPE, as well as a 5G use case related to the Internet of Things domain -and more specifically, Precision Farming-, aiming to highlight explicit requirements such as mission-critical machine type communication

Energy and Performance: Management of Virtual Machines: Provisioning, Placement, and Consolidation

Cloud computing is a new computing paradigm that offers scalable storage and compute resources to users on demand through Internet. Public cloud providers operate large-scale data centers around the world to handle a large number of users request. However, data centers consume an immense amount of electrical energy that can lead to high operating costs and carbon emissions. One of the most common and effective method in order to reduce energy consumption is Dynamic Virtual Machines Consolidation (DVMC) enabled by the virtualization technology. DVMC dynamically consolidates Virtual Machines (VMs) into the minimum number of active servers and then switches the idle servers into a power-saving mode to save energy. However, maintaining the desired level of Quality-of-Service (QoS) between data centers and their users is critical for satisfying users’ expectations concerning performance. Therefore, the main challenge is to minimize the data center energy consumption while maintaining the required QoS. This thesis address this challenge by presenting novel DVMC approaches to reduce the energy consumption of data centers and improve resource utilization under workload independent quality of service constraints. These approaches can be divided into three main categories: heuristic, meta-heuristic and machine learning. Our first contribution is a heuristic algorithm for solving the DVMC problem. The algorithm uses a linear regression-based prediction model to detect over-loaded servers based on the historical utilization data. Then it migrates some VMs from the over-loaded servers to avoid further performance degradations. Moreover, our algorithm consolidates VMs on fewer number of server for energy saving. The second and third contributions are two novel DVMC algorithms based on the Reinforcement Learning (RL) approach. RL is interesting for highly adaptive and autonomous management in dynamic environments. For this reason, we use RL to solve two main sub-problems in VM consolidation. The first sub-problem is the server power mode detection (sleep or active). The second sub-problem is to find an effective solution for server status detection (overloaded or non-overloaded). The fourth contribution of this thesis is an online optimization meta-heuristic algorithm called Ant Colony System-based Placement Optimization (ACS-PO). ACS is a suitable approach for VM consolidation due to the ease of parallelization, that it is close to the optimal solution, and its polynomial worst-case time complexity. The simulation results show that ACS-PO provides substantial improvement over other heuristic algorithms in reducing energy consumption, the number of VM migrations, and performance degradations. Our fifth contribution is a Hierarchical VM management (HiVM) architecture based on a three-tier data center topology which is very common use in data centers. HiVM has the ability to scale across many thousands of servers with energy efficiency. Our sixth contribution is a Utilization Prediction-aware Best Fit Decreasing (UP-BFD) algorithm. UP-BFD can avoid SLA violations and needless migrations by taking into consideration the current and predicted future resource requirements for allocation, consolidation, and placement of VMs. Finally, the seventh and the last contribution is a novel Self-Adaptive Resource Management System (SARMS) in data centers. To achieve scalability, SARMS uses a hierarchical architecture that is partially inspired from HiVM. Moreover, SARMS provides self-adaptive ability for resource management by dynamically adjusting the utilization thresholds for each server in data centers.Siirretty Doriast