On the benefits of resource disaggregation for virtual data centre provisioning in optical data centres

Virtual Data Centre (VDC) allocation requires the provisioning of both computing and network resources. Their joint provisioning allows for an optimal utilization of the physical Data Centre (DC) infrastructure resources. However, traditional DCs can suffer from computing resource underutilization due to the rigid capacity configurations of the server units, resulting in high computing resource fragmentation across the DC servers. To overcome these limitations, the disaggregated DC paradigm has been recently introduced. Thanks to resource disaggregation, it is possible to allocate the exact amount of resources needed to provision a VDC instance. In this paper, we focus on the static planning of a shared optically interconnected disaggregated DC infrastructure to support a known set of VDC instances to be deployed on top. To this end, we provide optimal and sub-optimal techniques to determine the necessary capacity (both in terms of computing and network resources) required to support the expected set of VDC demands. Next, we quantitatively evaluate the benefits yielded by the disaggregated DC paradigm in front of traditional DC architectures, considering various VDC profiles and Data Centre Network (DCN) topologies.Peer ReviewedPostprint (author's final draft

Profit-aware distributed online scheduling for data-oriented tasks in cloud datacenters

As there is an increasing trend to deploy geographically distributed (geo-distributed) cloud datacenters (DCs), the scheduling of data-oriented tasks in such cloud DC systems becomes an appealing research topic. Specifically, it is challenging to achieve the distributed online scheduling that can handle the tasks\u27 acceptance, data-transfers, and processing jointly and efficiently. In this paper, by considering the store-and-forward and anycast schemes, we formulate an optimization problem to maximize the time-average profit from serving data-oriented tasks in a cloud DC system and then leverage the Lyapunov optimization techniques to propose an efficient scheduling algorithm, i.e., GlobalAny. We also extend the proposed algorithm by designing a data-transfer acceleration scheme to reduce the data-transfer latency. Extensive simulations verify that our algorithms can maximize the time-average profit in a distributed online manner. The results also indicate that GlobalAny and GlobalAnyExt (i.e., GlobalAny with data-transfer acceleration) outperform several existing algorithms in terms of both time-average profit and computation time

On Incentive-Driven VNF Service Chaining in Inter-Datacenter Elastic Optical Networks: A Hierarchical Game-Theoretic Mechanism

In this paper, we propose an incentive-driven virtual network function service chaining (VNF-SC) framework for optimizing the cross-stratum resource provisioning in multi-broker orchestrated inter-datacenter elastic optical networks (IDC-EONs). The proposed framework employs a non-cooperative hierarchical game-theoretic mechanism, where the resource brokers and the VNF-SC users play the leader and the follower games, respectively. In the leader game, the brokers calculate VNF-SC service schemes for users and compete for the provisioning tasks. While in the follower game, the users compete for VNF-SC services for jointly optimizing the resource cost and the received quality-of-service. We first elaborate on the modeling of the follower game, discuss the existence of Nash equilibrium and propose a mixed-strategy gaming approach enabled by an auxiliary graph-based algorithm to facilitate users selecting the most appropriate service schemes. Then, under the assumption that the brokers are aware of the principle of the follower game, we present the model for the leader game and develop a time-efficient heuristic algorithm for brokers to compete for the provisioning tasks. Simulations show that the proposed incentive-driven VNF-SC framework significantly improves the network throughput (i.e., >4.8× blocking reduction) while assisting users and brokers in achieving higher utilities compared with existing solutions

Integrated IT and SDN Orchestration of multi-domain multi-layer transport networks

Telecom operators networks' management and control remains partitioned by technology, equipment supplier and networking layer. In some segments, the network operations are highly costly due to the need of the individual, and even manual, configuration of the network equipment by highly specialized personnel. In multi-vendor networks, expensive and never ending integration processes between Network Management Systems (NMSs) and the rest of systems (OSSs, BSSs) is a common situation, due to lack of adoption of standard interfaces in the management systems of the different equipment suppliers. Moreover, the increasing impact of the new traffic flows introduced by the deployment of massive Data Centers (DCs) is also imposing new challenges that traditional networking is not ready to overcome. The Fifth Generation of Mobile Technology (5G) is also introducing stringent network requirements such as the need of connecting to the network billions of new devices in IoT paradigm, new ultra-low latency applications (i.e., remote surgery) and vehicular communications. All these new services, together with enhanced broadband network access, are supposed to be delivered over the same network infrastructure. In this PhD Thesis, an holistic view of Network and Cloud Computing resources, based on the recent innovations introduced by Software Defined Networking (SDN), is proposed as the solution for designing an end-to-end multi-layer, multi-technology and multi-domain cloud and transport network management architecture, capable to offer end-to-end services from the DC networks to customers access networks and the virtualization of network resources, allowing new ways of slicing the network resources for the forthcoming 5G deployments. The first contribution of this PhD Thesis deals with the design and validation of SDN based network orchestration architectures capable to improve the current solutions for the management and control of multi-layer, multi-domain backbone transport networks. These problems have been assessed and progressively solved by different control and management architectures which has been designed and evaluated in real evaluation environments. One of the major findings of this work has been the need of developed a common information model for transport network's management, capable to describe the resources and services of multilayer networks. In this line, the Control Orchestration Protocol (COP) has been proposed as a first contriution towards an standard management interface based on the main principles driven by SDN. Furthermore, this PhD Thesis introduces a novel architecture capable to coordinate the management of IT computing resources together with inter- and intra-DC networks. The provisioning and migration of virtual machines together with the dynamic reconfiguration of the network has been successfully demonstrated in a feasible timescale. Moreover, a resource optimization engine is introduced in the architecture to introduce optimization algorithms capable to solve allocation problems such the optimal deployment of Virtual Machine Graphs over different DCs locations minimizing the inter-DC network resources allocation. A baseline blocking probability results over different network loads are also presented. The third major contribution is the result of the previous two. With a converged cloud and network infrastructure controlled and operated jointly, the holistic view of the network allows the on-demand provisioning of network slices consisting of dedicated network and cloud resources over a distributed DC infrastructure interconnected by an optical transport network. The last chapters of this thesis discuss the management and orchestration of 5G slices based over the control and management components designed in the previous chapters. The design of one of the first network slicing architectures and the deployment of a 5G network slice in a real Testbed, is one of the major contributions of this PhD Thesis.La gestión y el control de las redes de los operadores de red (Telcos), todavía hoy, está segmentado por tecnología, por proveedor de equipamiento y por capa de red. En algunos segmentos (por ejemplo en IP) la operación de la red es tremendamente costosa, ya que en muchos casos aún se requiere con guración individual, e incluso manual, de los equipos por parte de personal altamente especializado. En redes con múltiples proveedores, los procesos de integración entre los sistemas de gestión de red (NMS) y el resto de sistemas (p. ej., OSS/BSS) son habitualmente largos y extremadamente costosos debido a la falta de adopción de interfaces estándar por parte de los diferentes proveedores de red. Además, el impacto creciente en las redes de transporte de los nuevos flujos de tráfico introducidos por el despliegue masivo de Data Centers (DC), introduce nuevos desafíos que las arquitecturas de gestión y control de las redes tradicionales no están preparadas para afrontar. La quinta generación de tecnología móvil (5G) introduce nuevos requisitos de red, como la necesidad de conectar a la red billones de dispositivos nuevos (Internet de las cosas - IoT), aplicaciones de ultra baja latencia (p. ej., cirugía a distancia) y las comunicaciones vehiculares. Todos estos servicios, junto con un acceso mejorado a la red de banda ancha, deberán ser proporcionados a través de la misma infraestructura de red. Esta tesis doctoral propone una visión holística de los recursos de red y cloud, basada en los principios introducidos por Software Defined Networking (SDN), como la solución para el diseño de una arquitectura de gestión extremo a extremo (E2E) para escenarios de red multi-capa y multi-dominio, capaz de ofrecer servicios de E2E, desde las redes intra-DC hasta las redes de acceso, y ofrecer ademas virtualización de los recursos de la red, permitiendo nuevas formas de segmentación en las redes de transporte y la infrastructura de cloud, para los próximos despliegues de 5G. La primera contribución de esta tesis consiste en la validación de arquitecturas de orquestración de red, basadas en SDN, para la gestión y control de redes de transporte troncales multi-dominio y multi-capa. Estos problemas (gestion de redes multi-capa y multi-dominio), han sido evaluados de manera incremental, mediante el diseño y la evaluación experimental, en entornos de pruebas reales, de diferentes arquitecturas de control y gestión. Uno de los principales hallazgos de este trabajo ha sido la necesidad de un modelo de información común para las interfaces de gestión entre entidades de control SDN. En esta línea, el Protocolo de Control Orchestration (COP) ha sido propuesto como interfaz de gestión de red estándar para redes SDN de transporte multi-capa. Además, en esta tesis presentamos una arquitectura capaz de coordinar la gestión de los recursos IT y red. La provisión y la migración de máquinas virtuales junto con la reconfiguración dinámica de la red, han sido demostradas con éxito en una escala de tiempo factible. Además, la arquitectura incorpora una plataforma para la ejecución de algoritmos de optimización de recursos capaces de resolver diferentes problemas de asignación, como el despliegue óptimo de Grafos de Máquinas Virtuales (VMG) en diferentes DCs que minimizan la asignación de recursos de red. Esta tesis propone una solución para este problema, que ha sido evaluada en terminos de probabilidad de bloqueo para diferentes cargas de red. La tercera contribución es el resultado de las dos anteriores. La arquitectura integrada de red y cloud presentada permite la creación bajo demanda de "network slices", que consisten en sub-conjuntos de recursos de red y cloud dedicados para diferentes clientes sobre una infraestructura común. El diseño de una de las primeras arquitecturas de "network slicing" y el despliegue de un "slice" de red 5G totalmente operativo en un Testbed real, es una de las principales contribuciones de esta tesis.La gestió i el control de les xarxes dels operadors de telecomunicacions (Telcos), encara avui, està segmentat per tecnologia, per proveïdors d’equipament i per capes de xarxa. En alguns segments (Per exemple en IP) l’operació de la xarxa és tremendament costosa, ja que en molts casos encara es requereix de configuració individual, i fins i tot manual, dels equips per part de personal altament especialitzat. En xarxes amb múltiples proveïdors, els processos d’integració entre els Sistemes de gestió de xarxa (NMS) i la resta de sistemes (per exemple, Sistemes de suport d’operacions - OSS i Sistemes de suport de negocis - BSS) són habitualment interminables i extremadament costosos a causa de la falta d’adopció d’interfícies estàndard per part dels diferents proveïdors de xarxa. A més, l’impacte creixent en les xarxes de transport dels nous fluxos de trànsit introduïts pel desplegament massius de Data Centers (DC), introdueix nous desafiaments que les arquitectures de gestió i control de les xarxes tradicionals que no estan llestes per afrontar. Per acabar de descriure el context, la cinquena generació de tecnologia mòbil (5G) també presenta nous requisits de xarxa altament exigents, com la necessitat de connectar a la xarxa milers de milions de dispositius nous, dins el context de l’Internet de les coses (IOT), o les noves aplicacions d’ultra baixa latència (com ara la cirurgia a distància) i les comunicacions vehiculars. Se suposa que tots aquests nous serveis, juntament amb l’accés millorat a la xarxa de banda ampla, es lliuraran a través de la mateixa infraestructura de xarxa. Aquesta tesi doctoral proposa una visió holística dels recursos de xarxa i cloud, basada en els principis introduïts per Software Defined Networking (SDN), com la solució per al disseny de una arquitectura de gestió extrem a extrem per a escenaris de xarxa multi-capa, multi-domini i consistents en múltiples tecnologies de transport. Aquesta arquitectura de gestió i control de xarxes transport i recursos IT, ha de ser capaç d’oferir serveis d’extrem a extrem, des de les xarxes intra-DC fins a les xarxes d’accés dels clients i oferir a més virtualització dels recursos de la xarxa, obrint la porta a noves formes de segmentació a les xarxes de transport i la infrastructura de cloud, pels propers desplegaments de 5G. La primera contribució d’aquesta tesi doctoral consisteix en la validació de diferents arquitectures d’orquestració de xarxa basades en SDN capaces de millorar les solucions existents per a la gestió i control de xarxes de transport troncals multi-domini i multicapa. Aquests problemes (gestió de xarxes multicapa i multi-domini), han estat avaluats de manera incremental, mitjançant el disseny i l’avaluació experimental, en entorns de proves reals, de diferents arquitectures de control i gestió. Un dels principals troballes d’aquest treball ha estat la necessitat de dissenyar un model d’informació comú per a les interfícies de gestió de xarxes, capaç de descriure els recursos i serveis de la xarxes transport multicapa. En aquesta línia, el Protocol de Control Orchestration (COP, en les seves sigles en anglès) ha estat proposat en aquesta Tesi, com una primera contribució cap a una interfície de gestió de xarxa estàndard basada en els principis bàsics de SDN. A més, en aquesta tesi presentem una arquitectura innovadora capaç de coordinar la gestió de els recursos IT juntament amb les xarxes inter i intra-DC. L’aprovisionament i la migració de màquines virtuals juntament amb la reconfiguració dinàmica de la xarxa, ha estat demostrat amb èxit en una escala de temps factible. A més, l’arquitectura incorpora una plataforma per a l’execució d’algorismes d’optimització de recursos, capaços de resoldre diferents problemes d’assignació, com el desplegament òptim de Grafs de Màquines Virtuals (VMG) en diferents ubicacions de DC que minimitzen la assignació de recursos de xarxa entre DC. També es presenta una solució bàsica per a aquest problema, així com els resultats de probabilitat de bloqueig per a diferents càrregues de xarxa. La tercera contribució principal és el resultat dels dos anteriors. Amb una infraestructura de xarxa i cloud convergent, controlada i operada de manera conjunta, la visió holística de la xarxa permet l’aprovisionament sota demanda de "network slices" que consisteixen en subconjunts de recursos d’xarxa i cloud, dedicats per a diferents clients, sobre una infraestructura de Data Centers distribuïda i interconnectada per una xarxa de transport òptica. Els últims capítols d’aquesta tesi tracten sobre la gestió i organització de "network slices" per a xarxes 5G en funció dels components de control i administració dissenyats i desenvolupats en els capítols anteriors. El disseny d’una de les primeres arquitectures de "network slicing" i el desplegament d’un "slice" de xarxa 5G totalment operatiu en un Testbed real, és una de les principals contribucions d’aquesta tesi.Postprint (published version

Power aware resource allocation and virtualization algorithms for 5G core networks

Most of the algorithms that solved the resource allocation problem, used to apply greedy algorithms to select the physical nodes and shortest paths to select the physical edges, without sufficient coordination between selecting the physical nodes and edges. This lack of coordination may degrade the overall acceptance ratios and network performance as whole, in addition, that may include non-necessary physical resources, which will consume more power and computational processing capacities, as well as cause more delays. Therefore, the main objective of this PhD thesis is to develop power aware resource allocation and virtualization algorithms for 5G core networks, which will be achieved through developing a virtualization resource allocation technique to perform virtual nodes and edges allocations in full coordination, and on the least physical resources. The algorithms will be general and solve the resource allocation problem for virtual network embedding and network function virtualization frameworks, while minimizing the total consumed power in the physical network, and consider end-to-end delay and migration as new optional features. This thesis suggested to solve the power aware resource allocation problem through brand new algorithms adopting a new technique called segmentation, which fully coordinates allocating the virtual nodes and edges together, and guarantees to use the very least physical resources to minimize the total power consumption, through consolidating the virtual machines into least number of nodes as much as possible. The proposed algorithms, solves virtual network embedding problem for off-line and on-line scenarios, and solves resource allocations for network function virtualization environment for off-line, on-line, and migration scenarios. The evaluations of the proposed off-line virtual network embedding algorithm, PaCoVNE, showed that it managed to save physical network power consumption by 57% in average, and the on-line algorithm, oPaCoVNE, managed to minimize the average power consumption in the physical network by 24% in average. Regarding allocation times of PaCoVNE and oPaCoVNE, they were in the ranges of 20-40 ms. For network function virtualization environment, the evaluations of the proposed offline NFV power aware algorithm, PaNFV, showed that on average it had lower total costs and lower migration cost by 32% and 65:5% respectively, compared to the state-of-art algorithms, while the on-line algorithm, oPaNFV, managed to allocate the Network Services in average times of 60 ms, and it had very negligible migrations. Nevertheless, this thesis suggests that future enhancements for the proposed algorithms need to be focused around modifying the proposed segmentation technique to solve the resource allocation problem for multiple paths, in addition to consider power aware network slicing, especially for mobile edge computing, and modify the algorithms for application aware resource allocations for very large scale networks. Moreover, future work can modify the segmentation technique and the proposed algorithms, by integrating machine learning techniques for smart traffic and optimal paths prediction, as well as applying machine learning for better energy efficiency, faster load balancing, much accurate resource allocations based on verity of quality of service metrics.La mayoría de los algoritmos que resolvieron el problema de asignación de recursos, se utilizaron para aplicar algoritmos codiciosos para seleccionar los nodos físicos y las rutas más cortas para seleccionar los bordes físicos, sin una coordinación suficiente entre la selección de los nodos físicos y los bordes. Esta falta de coordinación puede degradar los índices de aceptación generales y el rendimiento de la red en su totalidad, además, que puede incluir recursos físicos no necesarios, que consumirán más potencia y capacidades de procesamiento computacional, además de causar más retrasos. Por lo tanto, el objetivo principal de esta tesis doctoral es desarrollar algoritmos de virtualización y asignación de recursos para las redes centrales 5G, que se lograrán mediante el desarrollo de una técnica de asignación de recursos de virtualización para realizar nodos virtuales y asignaciones de bordes en total coordinación, y al menos recursos físicos. Los algoritmos serán generales y resolverán el problema de asignación de recursos para la integración de redes virtuales y los marcos de virtualización de funciones de red, al tiempo que minimizan la potencia total consumida en la red física y consideran el retraso y la migración de extremo a extremo como nuevas características opcionales. Esta tesis sugirió resolver el problema de la asignación de recursos conscientes de la potencia a través de nuevos algoritmos que adoptan una nueva técnica llamada segmentación, que coordina completamente la asignación de los nodos virtuales y los bordes, y garantiza el uso de los recursos físicos mínimos para minimizar el consumo total de energía, a través de consolidar las máquinas virtuales en el menor número de nodos tanto como sea posible. Los algoritmos propuestos solucionan el problema de integración de la red virtual para los escenarios sin conexión y en línea, y resuelve las asignaciones de recursos para el entorno de virtualización de la función de red para los escenarios sin conexión, en línea y de migración. Las evaluaciones del algoritmo de integración de red virtual sin conexión propuesto, PaCoVNE, mostraron que logró ahorrar el consumo de energía de la red física en un 57% en promedio, y el algoritmo en línea, oPaCoVNE, logró minimizar el consumo de energía promedio en la red física en un 24% en promedio. Con respecto a los tiempos de asignación de PaCoVNE y oPaCoVNE, estuvieron en los rangos de 20-40 ms. Para el entorno de virtualización de la función de red, las evaluaciones del algoritmo consciente de la potencia NFV sin conexión propuesto, PaNFV, mostraron que, en promedio, tenía menores costos totales y menores costos de migración en un 32% y 65: 5% respectivamente, en comparación con el estado de la técnica. Los algoritmos, mientras que el algoritmo en línea, oPaNFV, logró asignar los Servicios de Red en tiempos promedio de 60 ms, y tuvo migraciones muy insignificantes. Sin embargo, esta tesis sugiere que las futuras mejoras para los algoritmos propuestos deben centrarse en modificar la técnica de segmentación propuesta para resolver el problema de asignación de recursos para múltiples rutas, además de considerar el corte de la red que requiere energía, especialmente para la computación de borde móvil, y modificar el Algoritmos para asignaciones de recursos conscientes de la aplicación para redes de gran escala. Además, el trabajo futuro puede modificar la técnica de segmentación y los algoritmos propuestos, mediante la integración de técnicas de aprendizaje automático para el tráfico inteligente y la predicción de rutas óptimas, así como la aplicación del aprendizaje automático para una mejor eficiencia energética, un equilibrio de carga más rápido, asignaciones de recursos mucho más precisas basadas en la veracidad de Métricas de calidad de servicio

Low-latency and Resource-efficient Service Function Chaining Orchestration in Network Function Virtualization

© 2014 IEEE. Recently, network function virtualization (NFV) has been proposed to solve the dilemma faced by traditional networks and to improve network performance through hardware and software decoupling. The deployment of the service function chain (SFC) is a key technology that affects the performance of virtual network function (VNF). The key issue in the deployment of SFCs is proposing effective algorithms to achieve efficient use of resources. In this article, we propose an SFC deployment optimization (SFCDO) algorithm based on a breadth-first search (BFS). The algorithm first uses a BFS-based algorithm to find the shortest path between the source node and the destination node. Then, based on the shortest path, the path with the fewest hops is preferentially chosen to implement the SFC deployment. Finally, we compare the performances with the greedy and simulated annealing (G-SA) algorithm. The experiment results show that the proposed algorithm is optimized in terms of end-to-end delay and bandwidth resource consumption. In addition, we also consider the load rate of the nodes to achieve network load balancing