In-operation planning in flexgrid optical core networks

New generation applications, such as cloud computing or video distribution, can run in a telecom cloud infrastructure where the datacenters (DCs) of telecom operators are integrated in their networks thus, increasing connections' dynamicity and resulting in time-varying traffic capacities, which might also entail changes in the traffic direction along the day. As a result, a flexible optical technology able to dynamically set-up variable-capacity connections, such as flexgrid, is needed. Nonetheless, network dynamicity might entail network performance degradation thus, requiring re-optimizing the network while it is in operation. This thesis is devoted to devise new algorithms to solve in-operation network planning problems aiming at enhancing the performance of optical networks and at studying their feasibility in experimental environments. In-operation network planning requires from an architecture enabling the deployment of algorithms that must be solved in stringent times. That architecture can be based on a Path Computation Element (PCE) or a Software Defined Networks controller. In this thesis, we assume the former split in a front-end PCE, in charge of provisioning paths and handling network events, and a specialized planning tool in the form of a back-end PCE responsible for solving in-operation planning problems. After the architecture to support in-operation planning is assessed, we focus on studying the following applications: 1) Spectrum fragmentation is one of the most important problems in optical networks. To alleviate it to some extent without traffic disruption, we propose a hitless spectrum defragmentation strategy. 2) Each connection affected by a failure can be recovered using multiple paths to increase traffic restorability at the cost of poor resource utilization. We propose re-optimizing the network after repairing the failure to aggregate and reroute those connections to release spectral resources. 3) We study two approaches to provide multicast services: establishing a point-to-multipoint connections at the optical layer and using multi-purpose virtual network topologies (VNT) to serve both unicast and multicast connectivity requests. 4) The telecom cloud infrastructure, enables placing contents closer to the users. Based on it, we propose a hierarchical content distribution architecture where VNTs permanently interconnect core DCs and metro DCs periodically synchronize contents to the core DCs. 5) When the capacity of the optical backbone network becomes exhausted, we propose using a planning tool with access to inventory and operation databases to periodically decide the equipment and connectivity to be installed at the minimum cost reducing capacity overprovisioning. 6) In multi-domain multi-operator scenarios, a broker on top of the optical domains can provision multi-domain connections. We propose performing intra-domain spectrum defragmentation when no contiguous spectrum can be found for a new connection request. 7) Packet nodes belonging to a VNT can collect and send incoming traffic monitoring data to a big data repository. We propose using the collected data to predict next period traffic and to adapt the VNT to future conditions. The methodology followed in this thesis consists in proposing a problem statement and/or a mathematical formulation for the problems identified and then, devising algorithms for solving them. Those algorithms are simulated and then, they are experimentally assessed in real test-beds. This thesis demonstrates the feasibility of performing in-operation planning in optical networks, shows that it enhances the performance of the network and validates the feasibility of its deployment in real networks. It shall be mentioned that part of the work reported in this thesis has been done within the framework of several research projects, namely IDEALIST (FP7-ICT-2011-8) and GEANT (238875) funded by the EC and SYNERGY (TEC2014-59995-R) funded by the MINECO.Les aplicacions de nova generació, com ara el cloud computing o la distribució de vídeo, es poden executar a infraestructures de telecom cloud (TCI) on operadors integren els seus datacenters (DC) a les seves xarxes. Aquestes aplicacions fan que incrementi tant la dinamicitat de les connexions, com la variabilitat de les seves capacitats en el temps, arribant a canviar de direcció al llarg del dia. Llavors, cal disposar de tecnologies òptiques flexibles, tals com flexgrid, que suportin aquesta dinamicitat a les connexions. Aquesta dinamicitat pot degradar el rendiment de la xarxa, obligant a re-optimitzar-la mentre és en operació. Aquesta tesis està dedicada a idear nous algorismes per a resoldre problemes de planificació sobre xarxes en operació (in-operation network planning) per millorar el rendiment de les xarxes òptiques i a estudiar la seva factibilitat en entorns experimentals. Aquests problemes requereixen d’una arquitectura que permeti desplegar algorismes que donin solucions en temps restrictius. L’arquitectura pot estar basada en un Element de Computació de Rutes (PCE) o en un controlador de Xarxes Definides per Software. En aquesta tesis, assumim un PCE principal encarregat d’aprovisionar rutes i gestionar esdeveniments de la xarxa, i una eina de planificació especialitzada en forma de PCE de suport per resoldre problemes d’in-operation planning. Un cop validada l’arquitectura que dona suport a in-operation planning, estudiarem les següents aplicacions: 1) La fragmentació d’espectre és un dels principals problemes a les xarxes òptiques. Proposem reduir-la en certa mesura, fent servir una estratègia que no afecta al tràfic durant la desfragmentació. 2) Cada connexió afectada per una fallada pot ser recuperada fent servir múltiples rutes incrementant la restaurabilitat de la xarxa, tot i empitjorar-ne la utilització de recursos. Proposem re-optimitzar la xarxa després de reparar una fallada per agregar i re-enrutar aquestes connexions tractant d’alliberar recursos espectrals. 3) Estudiem dues solucions per aprovisionar serveis multicast: establir connexions punt-a-multipunt sobre la xarxa òptica i utilitzar Virtual Network Topologies (VNT) multi-propòsit per a servir peticions de connectivitat tant unicast com multicast. 4) La TCI permet mantenir els continguts a prop dels usuaris. Proposem una arquitectura jeràrquica de distribució de continguts basada en la TCI, on els DC principals s’interconnecten per mitjà de VNTs permanents i els DCs metropolitans periòdicament sincronitzen continguts amb els principals. 5) Quan la capacitat de la xarxa òptica s’exhaureix, proposem utilitzar una eina de planificació amb accés a bases de dades d’inventari i operacionals per decidir periòdicament l’equipament i connectivitats a instal·lar al mínim cost i reduir el sobre-aprovisionament de capacitat. 6) En entorns multi-domini multi-operador, un broker per sobre dels dominis òptics pot aprovisionar connexions multi-domini. Proposem aplicar desfragmentació d’espectre intra-domini quan no es pot trobar espectre contigu per a noves peticions de connexió. 7) Els nodes d’una VNT poden recollir i enviar informació de monitorització de tràfic entrant a un repositori de big data. Proposem utilitzar aquesta informació per adaptar la VNT per a futures condicions. La metodologia que hem seguit en aquesta tesis consisteix en formalitzar matemàticament els problemes un cop aquests son identificats i, després, idear algorismes per a resoldre’ls. Aquests algorismes son simulats i finalment validats experimentalment en entorns reals. Aquesta tesis demostra la factibilitat d’implementar mecanismes d’in-operation planning en xarxes òptiques, mostra els beneficis que aquests aporten i valida la seva aplicabilitat en xarxes reals. Part del treball presentat en aquesta tesis ha estat dut a terme en el marc dels projectes de recerca IDEALIST (FP7-ICT-2011-8) i GEANT (238875), finançats per la CE, i SYNERGY (TEC2014-59995-R), finançat per el MINECO.Postprint (published version

Experimental Demonstration of Multivendor and Multidomain EON With Data and Control Interoperability Over a Pan-European Test Bed

The operation of multidomain and multivendor EONs can be achieved by interoperable sliceable bandwidth variable transponders (S-BVTs), a GMPLS/BGP-LS-based control plane, and a planning tool. The control plane is extended to include the control of S-BVTs and elastic cross connects, which combine a large port-count fiber-switch (optical backplane) and bandwidth-variable wavelength-selective switches, enabling the end-to-end provisioning and recovery of network services. A multipartner testbed is built to demonstrate and validate the proposed end-to-end architecture. Interoperability among S-BVTs is experimentally tested between different implementations. In this case, transponders are configured using the proposed control plane. The achieved performance with hard-decision and soft-decision FECs using only the information distributed by the control plane is measured against the performance of the single-vendor implementation, where proprietary information is used, demonstrating error-free transmission up to 300 km.Peer ReviewedPostprint (author's final draft

Off-line and in-operation optical core networks planning

The ever increasing IP traffic volume has finally brought to light the high inefficiency of current wavelength-routed over rigid-grid optical networks in matching the client layer requirements. Such an issue results in the deployment of large-size, expensive and power-consuming Multiprotocol Label Switching (MPLS) layers to perform the required grooming/aggregation functionality. To deal with this problem, the emerging flexgrid technology, allowing for reduced size frequency grids, is being standardized. Flexgrid optical networks divide the spectrum into frequency slots providing finer granularity than rigid networks based on Dense Wavelength Division Multiplexing (DWDM). To find a feasible allocation, new Routing and Spectrum Allocation (RSA) algorithms for flexgrid optical networks need to be designed and evaluated. Furthermore, due to the flexibility of flexible optical networks, the aggregation functions and statistical multiplexing can be partially located in the optical layer. In addition, given the special characteristics of flexible optical networks, the traditional mechanisms for protection and recovery must be reformulated. Optical transport platforms are designed to facilitate the setting up and tearing down of optical connections (lightpaths). Combining remotely configurable optical cross-connects (OXCs) with a control plane provides the capability of automated lightpath set-up for regular provisioning, and real-time reaction to the failures, being thus able to reduce Operational Expenditures (OPEX). However, to exploit existing capacity, increase dynamicity, and provide automation in future networks, current management architectures, utilizing legacy Network Management Systems (NMS) need to be radically transformed. This thesis is devoted to design optical networks and to devise algorithms to operate them. Network design objective consists of: i. Analyzing the cost implications that a set of frequency slot widths have on the Capital Expenditures (CAPEX) investments required to deploy MPLS-over-flexgrid networks; ii. Studying recovery schemes, where a new recovery scheme specifically designed for flexgrid-based optical networks is proposed. As for network operation, we focus on: i. Studying provisioning, where two provisioning algorithms are proposed: the first one targets at solving the RSA problem in flexgrid networks, whereas the second one studies provisioning considering optical impairments in translucent DWDM networks; ii. Getting back to the recovery problem, we focus on algorithms to cope with restoration in dynamic scenarios. Several algorithms are proposed for both single layer and multilayer networks to be deployed in the centralized Path Computation Element (PCE); iii. One of the main problems in flexgrid networks is spectrum defragmentation. In view of that, we propose an algorithm to reallocate already established optical connections so as to make room for incoming requests. This algorithm is extended with elasticity to deal with time-varying traffic. The above algorithms are firstly implemented and validated by using simulation, and finally experimentally assessed in real test-beds. In view of PCE architectures do not facilitate network reconfiguration, we propose a control and management architecture to allow the network to be dynamically operated; network resources can be made available by reconfiguring and/or re-optimizing the network on demand and in real-time. We call that as in-operation network planning. It shall be mentioned that part of the work reported in this thesis has been done within the framework of several European and National projects, namely STRONGEST (FP7-247674), IDEALIST (FP7-ICT-2011-8), and GEANT (FP7-238875) funded by the European Commission, and ENGINE (TEC2008-02634) and ELASTIC (TEC2011-27310) funded by the Spanish Science Ministry.El volumen creciente del tráfico IP, finalmente, ha puesto de manifiesto la alta ineficiencia de las redes ópticas actuales de grid rígido basadas en WDM en la adecuación a los requisitos de capa de cliente. Dicho problema genera que se deba desplegar una red con capas MPLS de gran tamaño, costosa y de alto consumo energético para poder realizar la funcionalidad de agregación requerida. Para hacer frente a este problema, la tecnología flexgrid emergente, que permite grids con frecuencias de menor tamaño, está siendo estandarizada. Las redes ópticas flexgrid dividen el espectro en slots de frecuencia, lo que proporciona una granularidad más fina en comparación a las redes rígidas basadas en WDM. Para encontrar una asignación factible, nuevos algoritmos de enrutamiento y asignación de espectro (RSA) para redes ópticas flexgrid deben ser diseñados y evaluados. Además, debido a la flexibilidad de las redes ópticas flexibles, las funciones de agregación y de multiplexación estadística pueden ser parcialmente situadas en la capa óptica. Asimismo, dadas las características especiales de las redes ópticas flexibles, los mecanismos tradicionales de protección y recuperación deben reformularse. Las plataformas de transporte ópticas están diseñadas para facilitar la creación y destrucción de conexiones ópticas. La combinación de OXCs configurables remotamente con un plano de control, proporciona la capacidad de crear conexiones automáticamente para el aprovisionamiento habitual, y la reacción en tiempo real a los fallos, para así poder reducir el OPEX. Sin embargo, para aprovechar la capacidad existente, aumentar la dinamicidad y proporcionar automatización a las redes del futuro, las arquitecturas actuales de gestión, que utilizan sistemas legados de NMS, necesitan ser transformadas de manera radical. Esta tesis está dedicada al diseño de redes ópticas y a la creación de algoritmos para operarlas. El objetivo de diseño de red se compone de: 1. El análisis de las implicancias en el costo que tiene un conjunto de slots de frecuencia en el CAPEX necesario para implementar redes MPLS-over-flexgrid; 2. El estudio de esquemas de recuperación, donde se propone un nuevo esquema de recuperación diseñado específicamente para las redes ópticas basadas en flexgrid. En cuanto a la operación de la red: 1. El estudio de aprovisionamiento, donde se proponen dos algoritmos de aprovisionamiento: el primero de ellos tiene como objetivo solucionar el problema de RSA en redes flexgrid, mientras que el segundo estudia aprovisionamiento considerando la degradación óptica en redes WDM translúcidas; 2. Volviendo al problema de la recuperación, nos centramos en algoritmos de restauración para escenarios dinámicos. Se proponen varios algoritmos, tanto para redes mono-capa como multi-capa, que serán desplegados en un PCE centralizado; 3. Uno de los principales problemas en las redes flexgrid es la desfragmentación del espectro. Para ello, se propone un algoritmo para reasignar las conexiones ópticas ya establecidas con el fin de hacer espacio a las entrantes. Este algoritmo se extiende con elasticidad para ser utilizado en escenarios con tráfico variable en el tiempo. Los algoritmos anteriores son primero implementados y validados utilizando simulación, y finalmente son evaluados experimentalmente en testbeds reales. En vista de que las arquitecturas de PCE no facilitan la reconfiguración de la red, proponemos una arquitectura de control y gestión para permitir que la red pueda ser operada de forma dinámica; hacer que los recursos de la red estén disponibles mediante reconfiguración y/o re-optimización de la red bajo demanda y en tiempo real. A eso lo llamamos planificación en operación de la red. El trabajo presentado en esta tesis se ha realizado en el marco de proyectos europeos y nacionales: STRONGEST (FP7-247674), IDEALIST (FP7-2011-8), y GEANT (FP7-238875) financiados por la CE, y ENGINE (TEC2008-02634) y ELASTIC (TEC2011-27310) financiados por el MINEC

Towards cognitive in-operation network planning

Next-generation internet services such as live TV and video on demand require high bandwidth and ultra-low latency. The ever-increasing volume, dynamicity and stringent requirements of these services’ demands are generating new challenges to nowadays telecom networks. To decrease expenses, service-layer content providers are delivering their content near the end users, thus allowing a low latency and tailored content delivery. As a consequence of this, unseen metro and even core traffic dynamicity is arising with changes in the volume and direction of the traffic along the day. A tremendous effort to efficiently manage networks is currently ongoing towards the realisation of 5G networks. This translates in looking for network architectures supporting dynamic resource allocation, fulfilling strict service requirements and minimising the total cost of ownership (TCO). In this regard, in-operation network planning was recently proven to successfully support various network reconfiguration use cases in prospective scenarios. Nevertheless, additional research to extend in-operation planning capabilities from typical reactive optimization schemes to proactive and predictive schemes based on the analysis of network monitoring data is required. A hot topic raising increasing attention is cognitive networking, where an elevated knowledge about the network could be obtained as a result of introducing data analytics in the telecom operator’s infrastructure. By using predictive knowledge about the network traffic, in-operation network planning mechanisms could be enhanced to efficiently adapt the network by means of future traffic prediction, thus achieving cognitive in-operation network planning. In this thesis, we focus on studying mechanisms to enable cognitive in-operation network planning in core networks. In particular, we focus on dynamically reconfiguring virtual network topologies (VNT) at the MPLS layer, covering a number of detailed objectives. First, we start studying mechanisms to allow network traffic flow modelling, from monitoring and data transformation to the estimation of predictive traffic model based on this data. By means of these traffic models, then we tackle a cognitive approach to periodically adapt the core VNT to current and future traffic, using predicted traffic matrices based on origin-destination (OD) predictive models. This optimization approach, named VENTURE, is efficiently solved using dedicated heuristic algorithms and its feasibility is demonstrated in an experimental in-operation network planning environment. Finally, we extend VENTURE to consider core flows dynamicity as a result of metro flows re-routing, which represents a meaningful dynamic traffic scenario. This extension, which entails enhancements to coordinate metro and core network controllers with the aim of allowing fast adaption of core OD traffic models, is evaluated and validated in terms of traffic models accuracy and experimental feasibility.Els serveis d’internet de nova generació tals com la televisió en viu o el vídeo sota demanda requereixen d’un gran ample de banda i d’ultra-baixa latència. L’increment continu del volum, dinamicitat i requeriments d’aquests serveis està generant nous reptes pels teleoperadors de xarxa. Per reduir costs, els proveïdors de contingut estan disposant aquests més a prop dels usuaris finals, aconseguint així una entrega de contingut feta a mida. Conseqüentment, estem presenciant una dinamicitat mai vista en el tràfic de xarxes de metro amb canvis en la direcció i el volum del tràfic al llarg del dia. Actualment, s’està duent a terme un gran esforç cap a la realització de xarxes 5G. Aquest esforç es tradueix en cercar noves arquitectures de xarxa que suportin l’assignació dinàmica de recursos, complint requeriments de servei estrictes i minimitzant el cost total de la propietat. En aquest sentit, recentment s’ha demostrat com l’aplicació de “in-operation network planning” permet exitosament suportar diversos casos d’ús de reconfiguració de xarxa en escenaris prospectius. No obstant, és necessari dur a terme més recerca per tal d’estendre “in-operation network planning” des d’un esquema reactiu d’optimització cap a un nou esquema proactiu basat en l’analítica de dades provinents del monitoritzat de la xarxa. El concepte de xarxes cognitives es també troba al centre d’atenció, on un elevat coneixement de la xarxa s’obtindria com a resultat d’introduir analítica de dades en la infraestructura del teleoperador. Mitjançant un coneixement predictiu sobre el tràfic de xarxa, els mecanismes de in-operation network planning es podrien millorar per adaptar la xarxa eficientment basant-se en predicció de tràfic, assolint així el que anomenem com a “cognitive in-operation network Planning”. En aquesta tesi ens centrem en l’estudi de mecanismes que permetin establir “el cognitive in-operation network Planning” en xarxes de core. En particular, ens centrem en reconfigurar dinàmicament topologies de xarxa virtual (VNT) a la capa MPLS, cobrint una sèrie d’objectius detallats. Primer comencem estudiant mecanismes pel modelat de fluxos de tràfic de xarxa, des del seu monitoritzat i transformació fins a l’estimació de models predictius de tràfic. Posteriorment, i mitjançant aquests models predictius, tractem un esquema cognitiu per adaptar periòdicament la VNT utilitzant matrius de tràfic basades en predicció de parells origen-destí (OD). Aquesta optimització, anomenada VENTURE, és resolta eficientment fent servir heurístiques dedicades i és posteriorment avaluada sota escenaris de tràfic de xarxa dinàmics. A continuació, estenem VENTURE considerant la dinamicitat dels fluxos de tràfic de xarxes de metro, el qual representa un escenari rellevant de dinamicitat de tràfic. Aquesta extensió involucra millores per coordinar els operadors de metro i core amb l’objectiu d’aconseguir una ràpida adaptació de models de tràfic OD. Finalment, proposem dues arquitectures de xarxa necessàries per aplicar els mecanismes anteriors en entorns experimentals, emprant protocols estat-de-l’art com són OpenFlow i IPFIX. La metodologia emprada per avaluar el treball anterior consisteix en una primera avaluació numèrica fent servir un simulador de xarxes íntegrament dissenyat i desenvolupat per a aquesta tesi. Després d’aquesta validació basada en simulació, la factibilitat experimental de les arquitectures de xarxa proposades és avaluada en un entorn de proves distribuït

Towards cognitive in-operation network planning

Next-generation internet services such as live TV and video on demand require high bandwidth and ultra-low latency. The ever-increasing volume, dynamicity and stringent requirements of these services’ demands are generating new challenges to nowadays telecom networks. To decrease expenses, service-layer content providers are delivering their content near the end users, thus allowing a low latency and tailored content delivery. As a consequence of this, unseen metro and even core traffic dynamicity is arising with changes in the volume and direction of the traffic along the day. A tremendous effort to efficiently manage networks is currently ongoing towards the realisation of 5G networks. This translates in looking for network architectures supporting dynamic resource allocation, fulfilling strict service requirements and minimising the total cost of ownership (TCO). In this regard, in-operation network planning was recently proven to successfully support various network reconfiguration use cases in prospective scenarios. Nevertheless, additional research to extend in-operation planning capabilities from typical reactive optimization schemes to proactive and predictive schemes based on the analysis of network monitoring data is required. A hot topic raising increasing attention is cognitive networking, where an elevated knowledge about the network could be obtained as a result of introducing data analytics in the telecom operator’s infrastructure. By using predictive knowledge about the network traffic, in-operation network planning mechanisms could be enhanced to efficiently adapt the network by means of future traffic prediction, thus achieving cognitive in-operation network planning. In this thesis, we focus on studying mechanisms to enable cognitive in-operation network planning in core networks. In particular, we focus on dynamically reconfiguring virtual network topologies (VNT) at the MPLS layer, covering a number of detailed objectives. First, we start studying mechanisms to allow network traffic flow modelling, from monitoring and data transformation to the estimation of predictive traffic model based on this data. By means of these traffic models, then we tackle a cognitive approach to periodically adapt the core VNT to current and future traffic, using predicted traffic matrices based on origin-destination (OD) predictive models. This optimization approach, named VENTURE, is efficiently solved using dedicated heuristic algorithms and its feasibility is demonstrated in an experimental in-operation network planning environment. Finally, we extend VENTURE to consider core flows dynamicity as a result of metro flows re-routing, which represents a meaningful dynamic traffic scenario. This extension, which entails enhancements to coordinate metro and core network controllers with the aim of allowing fast adaption of core OD traffic models, is evaluated and validated in terms of traffic models accuracy and experimental feasibility.Els serveis d’internet de nova generació tals com la televisió en viu o el vídeo sota demanda requereixen d’un gran ample de banda i d’ultra-baixa latència. L’increment continu del volum, dinamicitat i requeriments d’aquests serveis està generant nous reptes pels teleoperadors de xarxa. Per reduir costs, els proveïdors de contingut estan disposant aquests més a prop dels usuaris finals, aconseguint així una entrega de contingut feta a mida. Conseqüentment, estem presenciant una dinamicitat mai vista en el tràfic de xarxes de metro amb canvis en la direcció i el volum del tràfic al llarg del dia. Actualment, s’està duent a terme un gran esforç cap a la realització de xarxes 5G. Aquest esforç es tradueix en cercar noves arquitectures de xarxa que suportin l’assignació dinàmica de recursos, complint requeriments de servei estrictes i minimitzant el cost total de la propietat. En aquest sentit, recentment s’ha demostrat com l’aplicació de “in-operation network planning” permet exitosament suportar diversos casos d’ús de reconfiguració de xarxa en escenaris prospectius. No obstant, és necessari dur a terme més recerca per tal d’estendre “in-operation network planning” des d’un esquema reactiu d’optimització cap a un nou esquema proactiu basat en l’analítica de dades provinents del monitoritzat de la xarxa. El concepte de xarxes cognitives es també troba al centre d’atenció, on un elevat coneixement de la xarxa s’obtindria com a resultat d’introduir analítica de dades en la infraestructura del teleoperador. Mitjançant un coneixement predictiu sobre el tràfic de xarxa, els mecanismes de in-operation network planning es podrien millorar per adaptar la xarxa eficientment basant-se en predicció de tràfic, assolint així el que anomenem com a “cognitive in-operation network Planning”. En aquesta tesi ens centrem en l’estudi de mecanismes que permetin establir “el cognitive in-operation network Planning” en xarxes de core. En particular, ens centrem en reconfigurar dinàmicament topologies de xarxa virtual (VNT) a la capa MPLS, cobrint una sèrie d’objectius detallats. Primer comencem estudiant mecanismes pel modelat de fluxos de tràfic de xarxa, des del seu monitoritzat i transformació fins a l’estimació de models predictius de tràfic. Posteriorment, i mitjançant aquests models predictius, tractem un esquema cognitiu per adaptar periòdicament la VNT utilitzant matrius de tràfic basades en predicció de parells origen-destí (OD). Aquesta optimització, anomenada VENTURE, és resolta eficientment fent servir heurístiques dedicades i és posteriorment avaluada sota escenaris de tràfic de xarxa dinàmics. A continuació, estenem VENTURE considerant la dinamicitat dels fluxos de tràfic de xarxes de metro, el qual representa un escenari rellevant de dinamicitat de tràfic. Aquesta extensió involucra millores per coordinar els operadors de metro i core amb l’objectiu d’aconseguir una ràpida adaptació de models de tràfic OD. Finalment, proposem dues arquitectures de xarxa necessàries per aplicar els mecanismes anteriors en entorns experimentals, emprant protocols estat-de-l’art com són OpenFlow i IPFIX. La metodologia emprada per avaluar el treball anterior consisteix en una primera avaluació numèrica fent servir un simulador de xarxes íntegrament dissenyat i desenvolupat per a aquesta tesi. Després d’aquesta validació basada en simulació, la factibilitat experimental de les arquitectures de xarxa proposades és avaluada en un entorn de proves distribuït.Postprint (published version

On the resource abstraction, partitioning and composition for virtual GMPLS-controlled multi-layer optical networks

Virtual optical networking supports the dynamic provisioning of dedicated networks over the same network infrastructure, which has received a lot of attention by network providers. The stringent network requirements (e.g., Quality of Service -QoS-, Service Level Agreement -SLA-, dynamicity) of the emerging high bandwidth and dynamic applications such as high-definition video streaming (e.g., telepresence, television, remote surgery, etc.), and cloud computing (e.g., real-time data backup, remote desktop, etc.) can be supported by the deployment of dynamic infrastructure services to build ad-hoc Virtual Optical Networks (VON), which is known as Infrastructure as a Service (IaaS). Future Internet should support two separate entities: infrastructure providers (who manage the physical infrastructure) and service providers (who deploy network protocols and offer end-to-end services). Thus, network service providers shall request, on a per-need basis, a dedicated and application-specific VON and have full control over it. Optical network virtualization technologies allow the partitioning/composition of the network infrastructure (i.e., physical optical nodes and links) into independent virtual resources, adopting the same functionality as the physical resource. The composition of these virtual resources (i.e., virtual optical nodes and links) allows the deployment of multiple VONs. A VON must be composed of not only a virtual transport plane but also of a virtual control plane, with the purpose of providing the required independent and full control functionalities (i.e., automated connection provisioning and recovery (protection/restauration), traffic engineering (e.g., QoS, SLA), etc.). This PhD Thesis focuses on optical network virtualization, with three main objectives. The first objective consists on the design, implementation and evaluation of an architecture and the necessary protocols and interfaces for the virtualization of a Generalized Multi-Protocol Label Switching (GMPLS) controlled Wavelength Switched Optical Network (WSON) and the introduction of a resource broker for dynamic virtual GMPLS-controlled WSON infrastructure services, whose task is to dynamically deploy VONs from service provider requests. The introduction of a resource broker implies the need for virtual resource management and allocation algorithms for optimal usage of the shared physical infrastructure. Also, the deployment of independent virtual GMPLS control plane on top of each VON shall be performed by the resource broker. This objective also includes the introduction of optical network virtualization for Elastic Optical Networks (EON). The second objective is to design, implement and experimentally evaluate a system architecture for deploying virtual GMPLS-controlled Multi-Protocol Label Switching Transport Profile (MPLS-TP) networks over a shared WSON. With this purpose, this PhD Thesis also focuses on the design and development of MPLS-TP nodes which are deployed on the WSON of the ADRENALINE Testbed at CTTC premises. Finally, the third objective is the composition of multiple virtual optical networks with heterogeneous control domains (e.g., GMPLS, OpenFlow). A multi-domain resource broker has been designed, implemented and evaluated.La gestió de xarxes òptiques virtuals permet la provisió dinàmica de xarxes dedicades a sobre la mateixa infraestructura de xarxa i ha cridat molt l’atenció als proveïdors de xarxes. Els requisits de xarxa (per exemple la qualitat de servei, els acords de nivell de servei o la dinamicitat) són cada cop més astringents per a les aplicacions emergents d'elevat ample de banda i dinàmiques, que inclouen per exemple la reproducció en temps real de vídeo d'alta definició (telepresència, televisió, telemedicina) i serveis d’informàtica en núvol (còpies de seguretat en temps real, escriptori remot). Aquests requisits poden ser assolits a través del desplegament de serveis de infraestructura dinàmics per construir xarxes òptiques virtuals (VON, en anglès), fet que és conegut com a infraestructura com a servei (IaaS). La internet del futur hauria de suportar dos entitats diferenciades: els proveïdors d'infraestructures (responsables de gestionar la infraestructura física), i els proveïdors de serveis (responsables dels protocols de xarxa i d'oferir els serveis finals). D'aquesta forma els proveïdors de serveis podrien sol•licitar i gestionar en funció de les necessitats xarxes òptiques virtuals dedicades i específiques per les aplicacions. Les tecnologies de virtualització de xarxes òptiques virtuals permeten la partició i composició de infraestructura de xarxa (nodes i enllaços òptics) en recursos virtuals independents que adopten les mateixes funcionalitats que els recursos físics. La composició d'aquests recursos virtuals (nodes i enllaços òptics virtuals) permet el desplegament de múltiples VONs. Una VON no sols està composada per un pla de transport virtual, sinó també per un pla de control virtual, amb l'objectiu d'incorporar les funcionalitats necessàries a la VON (provisió de connexions automàtiques i recuperació (protecció/restauració), enginyeria de tràfic, etc.). Aquesta tesis es centra en la virtualització de xarxes òptiques amb tres objectius principals. El primer objectiu consisteix en el disseny, implementació i avaluació de l'arquitectura i els protocols i interfícies necessaris per la virtualització de xarxes encaminades a través de la longitud d'ona i controlades per GMPLS. També inclou la introducció d'un gestor de recursos per desplegar xarxes òptiques virtuals de forma dinàmica. La introducció d'aquest gestor de recursos implica la necessitat d'una gestió dels recursos virtuals i d’algoritmes d’assignació de recursos per a la utilització òptima dels recursos físics. A més el gestor de recursos ha de ser capaç del desplegament dels recursos assignats, incloent un pla de control GMPLS virtual independent per a cada VON desplegada. Finalment, aquest objectiu inclou la introducció de mecanismes de virtualització per a xarxes elàstiques òptiques (EON, en anglès). El segon objectiu és el disseny, la implementació i l’avaluació experimental d'una arquitectura de sistema per oferir xarxes MPLS-TP virtuals controlades per GMPLS sobre una infraestructura i WSON compartida. Per això, aquesta tesis també es centra en el disseny i desenvolupament d'un node MPLS-TP que ha estat desplegat al demostrador ADRENALINE, al CTTC. Finalment, el tercer objectiu és la composició de múltiples xarxes òptiques virtuals en dominis de control heterogenis (GMPLS i OpenFlow). Un gestor de recursos multi-domini ha estat dissenyat, implementat i avaluat.La gestión de redes ópticas virtuales permite la provisión dinámica de redes dedicadas encima la misma infraestructura de red y ha llamado mucho la atención a los proveedores de redes. Los requisitos de red (por ejemplo la calidad de servicio, los acuerdos de nivel de servicio o la dinamicidad) son cada vez más estringentes para las aplicaciones emergentes de elevado ancho de banda y dinámicas, que incluyen por ejemplo la reproducción en tiempo real de vídeo de alta definición (telepresencia, televisión, telemedicina) y servicios de computación en la nube (copias de seguridad en tiempo real, escritorio remoto). Estos requisitos pueden ser logrados a través del despliegue de servicios de infraestructura dinámicos para construir redes ópticas virtuales (VON, en inglés), hecho que es conocido como infraestructura como servicio (IaaS). La internet del futuro tendrá que soportar dos entidades diferenciadas: los proveedores de infraestructuras (responsables de gestionar la infraestructura física), y los proveedores de servicios (responsables de los protocolos de red y de ofrecer los servicios finales). De esta forma los proveedores de servicios podrán solicitar y gestionar en función de las necesitados redes ópticas virtuales dedicadas y específicas por las aplicaciones. Las tecnologías de virtualización de redes ópticas virtuales permiten la partición y composición de infraestructura de red (nodos y enlaces ópticos) en recursos virtuales independientes que adoptan las mismas funcionalidades que los recursos físicos. La composición de estos recursos virtuales (nodos y enlaces ópticos virtuales) permite el despliegue de múltiples VONs. Una VON no sólo está compuesta por un plan de transporte virtual, sino también por un plan de control virtual, con el objetivo de incorporar las funcionalidades necesarias a la VON (provisión de conexiones automáticas y recuperación (protección/restauración), ingeniería de tráfico, etc.). Esta tesis se centra en la virtualización de redes ópticas con tres objetivos principales. El primer objetivo consiste en el diseño, implementación y evaluación de la arquitectura y los protocolos e interfaces necesarios por la virtualización de redes encaminadas a través de la longitud de ola y controladas por GMPLS. También incluye la introducción de un gestor de recursos para desplegar redes ópticas virtuales de forma dinámica. La introducción de este gestor de recursos implica la necesidad de una gestión de los recursos virtuales y de algoritmos de asignación de recursos para la utilización óptima de los recursos físicos. Además el gestor de recursos tiene que ser capaz del despliegue de los recursos asignados, incluyendo un plan de control GMPLS virtual independiente para cada VON desplegada. Finalmente, este objetivo incluye la introducción de mecanismos de virtualización para redes elásticas ópticas (EON, en inglés). El segundo objetivo es el diseño, la implementación y la evaluación experimental de una arquitectura de sistema para ofrecer redes MPLS-TP virtuales controladas por GMPLS sobre una infraestructura WSON compartida. Por eso, esta tesis también se centra en el diseño y desarrollo de un nodo MPLS-TP que ha sido desplegado al demostrador ADRENALINE, en el CTTC. Finalmente, el tercer objetivo es la composición de múltiples redes ópticas virtuales en dominios de control heterogéneos (GMPLS y OpenFlow). Un gestor de recursos multi-dominio ha sido diseñado, implementado y evaluado

Integrated IT and SDN Orchestration of multi-domain multi-layer transport networks

Telecom operators networks' management and control remains partitioned by technology, equipment supplier and networking layer. In some segments, the network operations are highly costly due to the need of the individual, and even manual, configuration of the network equipment by highly specialized personnel. In multi-vendor networks, expensive and never ending integration processes between Network Management Systems (NMSs) and the rest of systems (OSSs, BSSs) is a common situation, due to lack of adoption of standard interfaces in the management systems of the different equipment suppliers. Moreover, the increasing impact of the new traffic flows introduced by the deployment of massive Data Centers (DCs) is also imposing new challenges that traditional networking is not ready to overcome. The Fifth Generation of Mobile Technology (5G) is also introducing stringent network requirements such as the need of connecting to the network billions of new devices in IoT paradigm, new ultra-low latency applications (i.e., remote surgery) and vehicular communications. All these new services, together with enhanced broadband network access, are supposed to be delivered over the same network infrastructure. In this PhD Thesis, an holistic view of Network and Cloud Computing resources, based on the recent innovations introduced by Software Defined Networking (SDN), is proposed as the solution for designing an end-to-end multi-layer, multi-technology and multi-domain cloud and transport network management architecture, capable to offer end-to-end services from the DC networks to customers access networks and the virtualization of network resources, allowing new ways of slicing the network resources for the forthcoming 5G deployments. The first contribution of this PhD Thesis deals with the design and validation of SDN based network orchestration architectures capable to improve the current solutions for the management and control of multi-layer, multi-domain backbone transport networks. These problems have been assessed and progressively solved by different control and management architectures which has been designed and evaluated in real evaluation environments. One of the major findings of this work has been the need of developed a common information model for transport network's management, capable to describe the resources and services of multilayer networks. In this line, the Control Orchestration Protocol (COP) has been proposed as a first contriution towards an standard management interface based on the main principles driven by SDN. Furthermore, this PhD Thesis introduces a novel architecture capable to coordinate the management of IT computing resources together with inter- and intra-DC networks. The provisioning and migration of virtual machines together with the dynamic reconfiguration of the network has been successfully demonstrated in a feasible timescale. Moreover, a resource optimization engine is introduced in the architecture to introduce optimization algorithms capable to solve allocation problems such the optimal deployment of Virtual Machine Graphs over different DCs locations minimizing the inter-DC network resources allocation. A baseline blocking probability results over different network loads are also presented. The third major contribution is the result of the previous two. With a converged cloud and network infrastructure controlled and operated jointly, the holistic view of the network allows the on-demand provisioning of network slices consisting of dedicated network and cloud resources over a distributed DC infrastructure interconnected by an optical transport network. The last chapters of this thesis discuss the management and orchestration of 5G slices based over the control and management components designed in the previous chapters. The design of one of the first network slicing architectures and the deployment of a 5G network slice in a real Testbed, is one of the major contributions of this PhD Thesis.La gestión y el control de las redes de los operadores de red (Telcos), todavía hoy, está segmentado por tecnología, por proveedor de equipamiento y por capa de red. En algunos segmentos (por ejemplo en IP) la operación de la red es tremendamente costosa, ya que en muchos casos aún se requiere con guración individual, e incluso manual, de los equipos por parte de personal altamente especializado. En redes con múltiples proveedores, los procesos de integración entre los sistemas de gestión de red (NMS) y el resto de sistemas (p. ej., OSS/BSS) son habitualmente largos y extremadamente costosos debido a la falta de adopción de interfaces estándar por parte de los diferentes proveedores de red. Además, el impacto creciente en las redes de transporte de los nuevos flujos de tráfico introducidos por el despliegue masivo de Data Centers (DC), introduce nuevos desafíos que las arquitecturas de gestión y control de las redes tradicionales no están preparadas para afrontar. La quinta generación de tecnología móvil (5G) introduce nuevos requisitos de red, como la necesidad de conectar a la red billones de dispositivos nuevos (Internet de las cosas - IoT), aplicaciones de ultra baja latencia (p. ej., cirugía a distancia) y las comunicaciones vehiculares. Todos estos servicios, junto con un acceso mejorado a la red de banda ancha, deberán ser proporcionados a través de la misma infraestructura de red. Esta tesis doctoral propone una visión holística de los recursos de red y cloud, basada en los principios introducidos por Software Defined Networking (SDN), como la solución para el diseño de una arquitectura de gestión extremo a extremo (E2E) para escenarios de red multi-capa y multi-dominio, capaz de ofrecer servicios de E2E, desde las redes intra-DC hasta las redes de acceso, y ofrecer ademas virtualización de los recursos de la red, permitiendo nuevas formas de segmentación en las redes de transporte y la infrastructura de cloud, para los próximos despliegues de 5G. La primera contribución de esta tesis consiste en la validación de arquitecturas de orquestración de red, basadas en SDN, para la gestión y control de redes de transporte troncales multi-dominio y multi-capa. Estos problemas (gestion de redes multi-capa y multi-dominio), han sido evaluados de manera incremental, mediante el diseño y la evaluación experimental, en entornos de pruebas reales, de diferentes arquitecturas de control y gestión. Uno de los principales hallazgos de este trabajo ha sido la necesidad de un modelo de información común para las interfaces de gestión entre entidades de control SDN. En esta línea, el Protocolo de Control Orchestration (COP) ha sido propuesto como interfaz de gestión de red estándar para redes SDN de transporte multi-capa. Además, en esta tesis presentamos una arquitectura capaz de coordinar la gestión de los recursos IT y red. La provisión y la migración de máquinas virtuales junto con la reconfiguración dinámica de la red, han sido demostradas con éxito en una escala de tiempo factible. Además, la arquitectura incorpora una plataforma para la ejecución de algoritmos de optimización de recursos capaces de resolver diferentes problemas de asignación, como el despliegue óptimo de Grafos de Máquinas Virtuales (VMG) en diferentes DCs que minimizan la asignación de recursos de red. Esta tesis propone una solución para este problema, que ha sido evaluada en terminos de probabilidad de bloqueo para diferentes cargas de red. La tercera contribución es el resultado de las dos anteriores. La arquitectura integrada de red y cloud presentada permite la creación bajo demanda de "network slices", que consisten en sub-conjuntos de recursos de red y cloud dedicados para diferentes clientes sobre una infraestructura común. El diseño de una de las primeras arquitecturas de "network slicing" y el despliegue de un "slice" de red 5G totalmente operativo en un Testbed real, es una de las principales contribuciones de esta tesis.La gestió i el control de les xarxes dels operadors de telecomunicacions (Telcos), encara avui, està segmentat per tecnologia, per proveïdors d’equipament i per capes de xarxa. En alguns segments (Per exemple en IP) l’operació de la xarxa és tremendament costosa, ja que en molts casos encara es requereix de configuració individual, i fins i tot manual, dels equips per part de personal altament especialitzat. En xarxes amb múltiples proveïdors, els processos d’integració entre els Sistemes de gestió de xarxa (NMS) i la resta de sistemes (per exemple, Sistemes de suport d’operacions - OSS i Sistemes de suport de negocis - BSS) són habitualment interminables i extremadament costosos a causa de la falta d’adopció d’interfícies estàndard per part dels diferents proveïdors de xarxa. A més, l’impacte creixent en les xarxes de transport dels nous fluxos de trànsit introduïts pel desplegament massius de Data Centers (DC), introdueix nous desafiaments que les arquitectures de gestió i control de les xarxes tradicionals que no estan llestes per afrontar. Per acabar de descriure el context, la cinquena generació de tecnologia mòbil (5G) també presenta nous requisits de xarxa altament exigents, com la necessitat de connectar a la xarxa milers de milions de dispositius nous, dins el context de l’Internet de les coses (IOT), o les noves aplicacions d’ultra baixa latència (com ara la cirurgia a distància) i les comunicacions vehiculars. Se suposa que tots aquests nous serveis, juntament amb l’accés millorat a la xarxa de banda ampla, es lliuraran a través de la mateixa infraestructura de xarxa. Aquesta tesi doctoral proposa una visió holística dels recursos de xarxa i cloud, basada en els principis introduïts per Software Defined Networking (SDN), com la solució per al disseny de una arquitectura de gestió extrem a extrem per a escenaris de xarxa multi-capa, multi-domini i consistents en múltiples tecnologies de transport. Aquesta arquitectura de gestió i control de xarxes transport i recursos IT, ha de ser capaç d’oferir serveis d’extrem a extrem, des de les xarxes intra-DC fins a les xarxes d’accés dels clients i oferir a més virtualització dels recursos de la xarxa, obrint la porta a noves formes de segmentació a les xarxes de transport i la infrastructura de cloud, pels propers desplegaments de 5G. La primera contribució d’aquesta tesi doctoral consisteix en la validació de diferents arquitectures d’orquestració de xarxa basades en SDN capaces de millorar les solucions existents per a la gestió i control de xarxes de transport troncals multi-domini i multicapa. Aquests problemes (gestió de xarxes multicapa i multi-domini), han estat avaluats de manera incremental, mitjançant el disseny i l’avaluació experimental, en entorns de proves reals, de diferents arquitectures de control i gestió. Un dels principals troballes d’aquest treball ha estat la necessitat de dissenyar un model d’informació comú per a les interfícies de gestió de xarxes, capaç de descriure els recursos i serveis de la xarxes transport multicapa. En aquesta línia, el Protocol de Control Orchestration (COP, en les seves sigles en anglès) ha estat proposat en aquesta Tesi, com una primera contribució cap a una interfície de gestió de xarxa estàndard basada en els principis bàsics de SDN. A més, en aquesta tesi presentem una arquitectura innovadora capaç de coordinar la gestió de els recursos IT juntament amb les xarxes inter i intra-DC. L’aprovisionament i la migració de màquines virtuals juntament amb la reconfiguració dinàmica de la xarxa, ha estat demostrat amb èxit en una escala de temps factible. A més, l’arquitectura incorpora una plataforma per a l’execució d’algorismes d’optimització de recursos, capaços de resoldre diferents problemes d’assignació, com el desplegament òptim de Grafs de Màquines Virtuals (VMG) en diferents ubicacions de DC que minimitzen la assignació de recursos de xarxa entre DC. També es presenta una solució bàsica per a aquest problema, així com els resultats de probabilitat de bloqueig per a diferents càrregues de xarxa. La tercera contribució principal és el resultat dels dos anteriors. Amb una infraestructura de xarxa i cloud convergent, controlada i operada de manera conjunta, la visió holística de la xarxa permet l’aprovisionament sota demanda de "network slices" que consisteixen en subconjunts de recursos d’xarxa i cloud, dedicats per a diferents clients, sobre una infraestructura de Data Centers distribuïda i interconnectada per una xarxa de transport òptica. Els últims capítols d’aquesta tesi tracten sobre la gestió i organització de "network slices" per a xarxes 5G en funció dels components de control i administració dissenyats i desenvolupats en els capítols anteriors. El disseny d’una de les primeres arquitectures de "network slicing" i el desplegament d’un "slice" de xarxa 5G totalment operatiu en un Testbed real, és una de les principals contribucions d’aquesta tesi.Postprint (published version

Next generation control of transport networks

It is widely understood by telecom operators and industry analysts that bandwidth demand is increasing dramatically, year on year, with typical growth figures of 50% for Internet-based traffic [5]. This trend means that the consumers will have both a wide variety of devices attaching to their networks and a range of high bandwidth service requirements. The corresponding impact is the effect on the traffic engineered network (often referred to as the “transport network”) to ensure that the current rate of growth of network traffic is supported and meets predicted future demands. As traffic demands increase and newer services continuously arise, novel network elements are needed to provide more flexibility, scalability, resilience, and adaptability to today’s transport network. The transport network provides transparent traffic engineered communication of user, application, and device traffic between attached clients (software and hardware) and establishing and maintaining point-to-point or point-to-multipoint connections. The research documented in this thesis was based on three initial research questions posed while performing research at British Telecom research labs and investigating control of transport networks of future transport networks: 1. How can we meet Internet bandwidth growth yet minimise network costs? 2. Which enabling network technologies might be leveraged to control network layers and functions cooperatively, instead of separated network layer and technology control? 3. Is it possible to utilise both centralised and distributed control mechanisms for automation and traffic optimisation? This thesis aims to provide the classification, motivation, invention, and evolution of a next generation control framework for transport networks, and special consideration of delivering broadcast video traffic to UK subscribers. The document outlines pertinent telecoms technology and current art, how requirements I gathered, and research I conducted, and by which the transport control framework functional components are identified and selected, and by which method the architecture was implemented and applied to key research projects requiring next generation control capabilities, both at British Telecom and the wider research community. Finally, in the closing chapters, the thesis outlines the next steps for ongoing research and development of the transport network framework and key areas for further study