Scheduling of data-intensive workloads in a brokered virtualized environment

Providing performance predictability guarantees is increasingly important in cloud platforms, especially for data-intensive applications, for which performance depends greatly on the available rates of data transfer between the various computing/storage hosts underlying the virtualized resources assigned to the application. With the increased prevalence of brokerage services in cloud platforms, there is a need for resource management solutions that consider the brokered nature of these workloads, as well as the special demands of their intra-dependent components. In this paper, we present an offline mechanism for scheduling batches of brokered data-intensive workloads, which can be extended to an online setting. The objective of the mechanism is to decide on a packing of the workloads in a batch that minimizes the broker's incurred costs, Moreover, considering the brokered nature of such workloads, we define a payment model that provides incentives to these workloads to be scheduled as part of a batch, which we analyze theoretically. Finally, we evaluate the proposed scheduling algorithm, and exemplify the fairness of the payment model in practical settings via trace-based experiments

New Challenges in Quality of Services Control Architectures in Next Generation Networks

A mesura que Internet i les xarxes IP s'han anat integrant dins la societat i les corporacions, han anat creixent les expectatives de nous serveis convergents així com les expectatives de qualitat en les comunicacions. Les Next Generation Networks (NGN) donen resposta a les noves necessitats i representen el nou paradigma d'Internet a partir de la convergència IP. Un dels aspectes menys desenvolupats de les NGN és el control de la Qualitat del Servei (QoS), especialment crític en les comunicacions multimèdia a través de xarxes heterogènies i/o de diferents operadors. A més a més, les NGN incorporen nativament el protocol IPv6 que, malgrat les deficiències i esgotament d'adreces IPv4, encara no ha tingut l'impuls definitiu.Aquesta tesi està enfocada des d'un punt de vista pràctic. Així doncs, per tal de poder fer recerca sobre xarxes de proves (o testbeds) que suportin IPv6 amb garanties de funcionament, es fa un estudi en profunditat del protocol IPv6, del seu grau d'implementació i dels tests de conformància i interoperabilitat existents que avaluen la qualitat d'aquestes implementacions. A continuació s'avalua la qualitat de cinc sistemes operatius que suporten IPv6 mitjançant un test de conformància i s'implementa el testbed IPv6 bàsic, a partir del qual es farà la recerca, amb la implementació que ofereix més garanties.El QoS Broker és l'aportació principal d'aquesta tesi: un marc integrat que inclou un sistema automatitzat per gestionar el control de la QoS a través de sistemes multi-domini/multi-operador seguint les recomanacions de les NGN. El sistema automatitza els mecanismes associats a la configuració de la QoS dins d'un mateix domini (sistema autònom) mitjançant la gestió basada en polítiques de QoS i automatitza la negociació dinàmica de QoS entre QoS Brokers de diferents dominis, de forma que permet garantir QoS extrem-extrem sense fissures. Aquesta arquitectura es valida sobre un testbed de proves multi-domini que utilitza el mecanisme DiffServ de QoS i suporta IPv6.L'arquitectura definida en les NGN permet gestionar la QoS tant a nivell 3 (IP) com a nivell 2 (Ethernet, WiFi, etc.) de forma que permet gestionar també xarxes PLC. Aquesta tesi proposa una aproximació teòrica per aplicar aquesta arquitectura de control, mitjançant un QoS Broker, a les noves xarxes PLC que s'estan acabant d'estandarditzar, i discuteix les possibilitats d'aplicació sobre les futures xarxes de comunicació de les Smart Grids.Finalment, s'integra en el QoS Broker un mòdul per gestionar l'enginyeria del tràfic optimitzant els dominis mitjançant tècniques de intel·ligència artificial. La validació en simulacions i sobre un testbed amb routers Cisco demostra que els algorismes genètics híbrids són una opció eficaç en aquest camp.En general, les observacions i avenços assolits en aquesta tesi contribueixen a augmentar la comprensió del funcionament de la QoS en les NGN i a preparar aquests sistemes per afrontar problemes del món real de gran complexitat.A medida que Internet y las redes IP se han ido integrando dentro de la sociedad y las corporaciones, han ido creciendo las expectativas de nuevos servicios convergentes así como las expectativas de calidad en las comunicaciones. Las Next Generation Networks (NGN) dan respuesta a las nuevas necesidades y representan el nuevo paradigma de Internet a partir de la convergencia IP. Uno de los aspectos menos desarrollados de las NGN es el control de la Calidad del Servicio (QoS), especialmente crítico en las comunicaciones multimedia a través de redes heterogéneas y/o de diferentes operadores. Además, las NGN incorporan nativamente el protocolo IPv6 que, a pesar de las deficiencias y agotamiento de direcciones IPv4, aún no ha tenido el impulso definitivo.Esta tesis está enfocada desde un punto de vista práctico. Así pues, con tal de poder hacer investigación sobre redes de prueba (o testbeds) que suporten IPv6 con garantías de funcionamiento, se hace un estudio en profundidad del protocolo IPv6, de su grado de implementación y de los tests de conformancia e interoperabilidad existentes que evalúan la calidad de estas implementaciones. A continuación se evalua la calidad de cinco sistemas operativos que soportan IPv6 mediante un test de conformancia y se implementa el testbed IPv6 básico, a partir del cual se realizará la investigación, con la implementación que ofrece más garantías.El QoS Broker es la aportación principal de esta tesis: un marco integrado que incluye un sistema automatitzado para gestionar el control de la QoS a través de sistemas multi-dominio/multi-operador siguiendo las recomendaciones de las NGN. El sistema automatiza los mecanismos asociados a la configuración de la QoS dentro de un mismo dominio (sistema autónomo) mediante la gestión basada en políticas de QoS y automatiza la negociación dinámica de QoS entre QoS brokers de diferentes dominios, de forma que permite garantizar QoS extremo-extremo sin fisuras. Esta arquitectura se valida sobre un testbed de pruebas multi-dominio que utiliza el mecanismo DiffServ de QoS y soporta IPv6. La arquitectura definida en las NGN permite gestionar la QoS tanto a nivel 3 (IP) o como a nivel 2 (Ethernet, WiFi, etc.) de forma que permite gestionar también redes PLC. Esta tesis propone una aproximación teórica para aplicar esta arquitectura de control, mediante un QoS Broker, a las noves redes PLC que se están acabando de estandardizar, y discute las posibilidades de aplicación sobre las futuras redes de comunicación de las Smart Grids.Finalmente, se integra en el QoS Broker un módulo para gestionar la ingeniería del tráfico optimizando los dominios mediante técnicas de inteligencia artificial. La validación en simulaciones y sobre un testbed con routers Cisco demuestra que los algoritmos genéticos híbridos son una opción eficaz en este campo.En general, las observaciones y avances i avances alcanzados en esta tesis contribuyen a augmentar la comprensión del funcionamiento de la QoS en las NGN y en preparar estos sistemas para afrontar problemas del mundo real de gran complejidad.The steady growth of Internet along with the IP networks and their integration into society and corporations has brought with it increased expectations of new converged services as well as greater demands on quality in communications. The Next Generation Networks (NGNs) respond to these new needs and represent the new Internet paradigm from the IP convergence. One of the least developed aspects in the NGNs is the Quality of Service (QoS) control, which is especially critical in the multimedia communication through heterogeneous networks and/or different operators. Furthermore, the NGNs natively incorporate the IPv6 protocol which, despite its shortcomings and the depletion of IPv4 addresses has not been boosted yet.This thesis has been developed with a practical focus. Therefore, with the aim of carrying out research over testbeds supporting the IPv6 with performance guarantees, an in-depth study of the IPv6 protocol development has been conducted and its degree of implementation and the existing conformance and interoperability tests that evaluate these implementations have been studied. Next, the quality of five implementations has been evaluated through a conformance test and the basic IPv6 testbed has been implemented, from which the research will be carried out. The QoS Broker is the main contribution to this thesis: an integrated framework including an automated system for QoS control management through multi-domain/multi-operator systems according to NGN recommendations. The system automates the mechanisms associated to the QoS configuration inside the same domain (autonomous system) through policy-based management and automates the QoS dynamic negotiation between peer QoS Brokers belonging to different domains, so it allows the guarantee of seamless end-to-end QoS. This architecture is validated over a multi-domain testbed which uses the QoS DiffServ mechanism and supports IPv6.The architecture defined in the NGN allows QoS management at level 3 (IP) as well as at level 2 (e.g. Ethernet, WiFi) so it also facilitates the management of PLC networks. Through the use of a QoS Broker, this thesis proposes a theoretical approach for applying this control architecture to the newly standardized PLC networks, and discusses the possibilities of applying it over the future communication networks of the Smart Grids.Finally, a module for managing traffic engineering which optimizes the network domains through artificial intelligence techniques is integrated in the QoS Broker. The validations by simulations and over a Cisco router testbed demonstrate that hybrid genetic algorithms are an effective option in this area.Overall, the advances and key insights provided in this thesis help advance our understanding of QoS functioning in the NGNs and prepare these systems to face increasingly complex problems, which abound in current industrial and scientific applications

Resilient availability and bandwidth-aware multipath provisioning for media transfer over the internet (Best Paper Award)

Traditional routing in the Internet is best-effort. Path differentiation including multipath routing is a promising technique to be used for meeting QoS requirements of media intensive applications. Since different paths have different characteristics in terms of latency, availability and bandwidth, they offer flexibility in QoS and congestion control. Additionally protection techniques can be used to enhance the reliability of the network. This paper studies the problem of how to optimally find paths ensuring maximal bandwidth and resiliency of media transfer over the network. In particular, we propose two algorithms to reserve network paths with minimal new resources while increasing the availability of the paths and enabling congestion control. The first algorithm is based on Integer Linear Programming which minimizes the cost of the paths and the used resources. The second one is a heuristic-based algorithm which solves the scalability limitations of the ILP approach. The algorithms ensure resiliency against any single link failure in the network. The experimental results indicate that using the proposed schemes the connections availability improve significantly and a more balanced load is achieved in the network compared to the shortest path-based approaches

Network virtualization in next generation cellular networks

The complexity of operation and management of emerging cellular networks significantly increases, as they evolve to correspond to increasing QoS needs, data rates and diversity of offered services. Thus critical challenges appear regarding their performance. At the same time, network sustainability pushes toward the utilization of haring Radio Access Network (RAN) infrastructure between Mobile Network Operators (MNOs). This requires advanced network management techniques which have to be developed based on characteristics of these networks and traffic demands. Therefore it is necessary to provide solutions enabling the creation of logically isolated network partitions over shared physical network infrastructure. Multiple heterogeneous virtual networks should simultaneously coexist and support resource aggregation so as to appear as a single resource to serve different traffic types on demand. Hence in this thesis, we study RAN virtualization and slicing solutions destined to tackle these challenges. In the first part, we present our approach to map virtual network elements onto radio resources of the substrate physical network, in a dense multi-tier LTE-A scenario owned by a MNO. We propose a virtualization solution at BS level, where baseband modules of distributed BSs, interconnected via logical point-to-point X2 interface, cooperate to reallocate radio resources on a traffic need basis. Our proposal enhances system performance by achieving 53% throughput gain compared with benchmark schemes without substantial signaling overhead. In the second part of the thesis, we concentrate on facilitating resource provisioning between multiple Virtual MNOs (MVNOs), by integrating the capacity broker in the 3GPP network management architecture with minimum set of enhancements. A MNO owns the network and provides RAN access on demand to several MVNOs. Furthermore we propose an algorithm for on-demand resource allocation considering two types of traffic. Our proposal achieves 50% more admitted requests without Service Level Agreement (SLA) violation compared with benchmark schemes. In the third part, we devise and study a solution for BS agnostic network slicing leveraging BS virtualization in a multi-tenant scenario. This scenario is composed of different traffic types (e.g., tight latency requirements and high data rate demands) along with BSs characterized by different access and transport capabilities (i.e., Remote Radio Heads, RRHs, Small Cells, SCs and future 5G NodeBs, gNBs with various functional splits having ideal and non-ideal transport network). Our solution achieves 67% average spectrum usage gain and 16.6% Baseband Unit processing load reduction compared with baseline scenarios. Finally, we conclude the thesis by providing insightful research challenges for future works.La complejidad de la operación y la gestión de las emergentes redes celulares aumenta a medida que evolucionan para hacer frente a las crecientes necesidades de calidad de servicio (QoS), las tasas de datos y la diversidad de los servicios ofrecidos. De esta forma aparecen desafíos críticos con respecto a su rendimiento. Al mismo tiempo, la sostenibilidad de la red empuja hacia la utilización de la infraestructura de red de acceso radio (RAN) compartida entre operadores de redes móviles (MNO). Esto requiere técnicas avanzadas de gestión de redes que deben desarrollarse en función de las características especiales de estas redes y las demandas de tráfico. Por lo tanto, es necesario proporcionar soluciones que permitan la creación de particiones de red aisladas lógicamente sobre la infraestructura de red física compartida. Para ello, en esta tesis, estudiamos las soluciones de virtualización de la RAN destinadas a abordar estos desafíos. En la primera parte de la tesis, nos centramos en mapear elementos de red virtual en recursos de radio de la red física, en un escenario LTE-A de múltiples niveles que es propiedad de un solo MNO. Proponemos una solución de virtualización a nivel de estación base (BS), donde los módulos de banda base de BSs distribuidas, interconectadas a través de la interfaz lógica X2, cooperan para reasignar los recursos radio en función de las necesidades de tráfico. Nuestra propuesta mejora el rendimiento del sistema al obtener un rendimiento 53% en comparación con esquemas de referencia. En la segunda parte de la tesis, nos concentramos en facilitar el aprovisionamiento de recursos entre muchos operadores de redes virtuales móviles (MVNO), al integrar el capacity broker en la arquitectura de administración de red 3GPP con un conjunto míinimo de mejoras. En este escenario, un MNO es el propietario de la red y proporciona acceso bajo demanda (en inglés on-demand) a varios MVNOs. Además, para aprovechar al máximo las capacidades del capacity broker, proponemos un algoritmo para la asignación de recursos bajo demanda, considerando dos tipos de tráfico con distintas características. Nuestra propuesta alcanza 50% más de solicitudes admitidas sin violación del Acuerdo de Nivel de Servicio (SLA) en comparación con otros esquemas. En la tercera parte de la tesis, estudiamos una solución para el slicing de red independiente del tipo de BS, considerando la virtualización de BS en un escenario de múltiples MVNOs (multi-tenants). Este escenario se compone de diferentes tipos de tráfico (por ejemplo, usuarios con requisitos de latencia estrictos y usuarios con altas demandas de velocidad de datos) junto con BSs caracterizadas por diferentes capacidades de acceso y transporte (por ejemplo, Remote Radio Heads, RRHs, Small cells, SC y 5G NodeBs, gNBs con varias divisiones funcionales que tienen una red de transporte ideal y no ideal). Nuestra solución logra una ganancia promedio de uso de espectro de 67% y una reducción de la carga de procesamiento de la banda base de 16.6% en comparación con escenarios de referencia. Finalmente, concluimos la tesis al proporcionando los desafíos y retos de investigación para trabajos futuros.Postprint (published version

Link State Contract Routing

The Internet's simple design resulted in huge success in basic telecommunicationservices. However, the current Internet architecture has failed in terms of introducingmany innovative technologies as end-to-end (E2E) services such as multicasting,guaranteed quality of services (QoS) and many others. We argue that contractingover static service level agreements (SLA) and point-to-anywhere service definitionsare the main reasons behind this failure. In that sense, the Internet architecture needsmajor shifts since it neither allows (i) users to indicate their value choices at sufficientgranularity nor (ii) providers to manage risks involved in investment for new innovativeQoS technologies and business relationships with other providers as well as users.To allow these much needed economic flexibilities, we introduce contract-switching asa new paradigm for the design of future Internet architecture. In this work, we implementcontract-routing framework with specific focus on long-term contracted servicesin Link State Contract Routing scheme. Our work shows that E2e guaranteed QoSservices can be achieved in routing over contracted edge-to-edge service abstractionswhich are built on today's popular protocols with reasonable protocol overhead