Methods and design issues for next generation network-aware applications

Networks are becoming an essential component of modern cyberinfrastructure and this work describes methods of designing distributed applications for high-speed networks to improve application scalability, performance and capabilities. As the amount of data generated by scientific applications continues to grow, to be able to handle and process it, applications should be designed to use parallel, distributed resources and high-speed networks. For scalable application design developers should move away from the current component-based approach and implement instead an integrated, non-layered architecture where applications can use specialized low-level interfaces. The main focus of this research is on interactive, collaborative visualization of large datasets. This work describes how a visualization application can be improved through using distributed resources and high-speed network links to interactively visualize tens of gigabytes of data and handle terabyte datasets while maintaining high quality. The application supports interactive frame rates, high resolution, collaborative visualization and sustains remote I/O bandwidths of several Gbps (up to 30 times faster than local I/O). Motivated by the distributed visualization application, this work also researches remote data access systems. Because wide-area networks may have a high latency, the remote I/O system uses an architecture that effectively hides latency. Five remote data access architectures are analyzed and the results show that an architecture that combines bulk and pipeline processing is the best solution for high-throughput remote data access. The resulting system, also supporting high-speed transport protocols and configurable remote operations, is up to 400 times faster than a comparable existing remote data access system. Transport protocols are compared to understand which protocol can best utilize high-speed network connections, concluding that a rate-based protocol is the best solution, being 8 times faster than standard TCP. An HD-based remote teaching application experiment is conducted, illustrating the potential of network-aware applications in a production environment. Future research areas are presented, with emphasis on network-aware optimization, execution and deployment scenarios

Transport Layer solution for bulk data transfers over Heterogeneous Long Fat Networks in Next Generation Networks

Aquesta tesi per compendi centra les seves contribucions en l'aprenentatge i innovació de les Xarxes de Nova Generació. És per això que es proposen diferents contribucions en diferents àmbits (Smart Cities, Smart Grids, Smart Campus, Smart Learning, Mitjana, eHealth, Indústria 4.0 entre d'altres) mitjançant l'aplicació i combinació de diferents disciplines (Internet of Things, Building Information Modeling, Cloud Storage, Ciberseguretat, Big Data, Internet de el Futur, Transformació Digital). Concretament, es detalla el monitoratge sostenible del confort a l'Smart Campus, la que potser es la meva aportació més representativa dins de la conceptualització de Xarxes de Nova Generació. Dins d'aquest innovador concepte de monitorització s'integren diferents disciplines, per poder oferir informació sobre el nivell de confort de les persones. Aquesta investigació demostra el llarg recorregut que hi ha en la transformació digital dels sectors tradicionals i les NGNs. Durant aquest llarg aprenentatge sobre les NGN a través de les diferents investigacions, es va poder observar una problemàtica que afectava de manera transversal als diferents camps d'aplicació de les NGNs i que aquesta podia tenir una afectació en aquests sectors. Aquesta problemàtica consisteix en el baix rendiment durant l'intercanvi de grans volums de dades sobre xarxes amb gran capacitat d'ample de banda i remotament separades geogràficament, conegudes com a xarxes elefant. Concretament, això afecta al cas d'ús d'intercanvi massiu de dades entre regions Cloud (Cloud Data Sharing use case). És per això que es va estudiar aquest cas d'ús i les diferents alternatives a nivell de protocols de transport,. S'estudien les diferents problemàtiques que pateixen els protocols i s'observa per què aquests no són capaços d'arribar a rendiments òptims. Deguda a aquesta situació, s'hipotetiza que la introducció de mecanismes que analitzen les mètriques de la xarxa i que exploten eficientment la capacitat de la mateixa milloren el rendiment dels protocols de transport sobre xarxes elefant heterogènies durant l'enviament massiu de dades. Primerament, es dissenya l’Adaptative and Aggressive Transport Protocol (AATP), un protocol de transport adaptatiu i eficient amb l'objectiu de millorar el rendiment sobre aquest tipus de xarxes elefant. El protocol AATP s'implementa i es prova en un simulador de xarxes i un testbed sota diferents situacions i condicions per la seva validació. Implementat i provat amb èxit el protocol AATP, es decideix millorar el propi protocol, Enhanced-AATP, sobre xarxes elefant heterogènies. Per això, es dissenya un mecanisme basat en el Jitter Ràtio que permet fer aquesta diferenciació. A més, per tal de millorar el comportament del protocol, s’adapta el seu sistema de fairness per al repartiment just dels recursos amb altres fluxos Enhanced-AATP. Aquesta evolució s'implementa en el simulador de xarxes i es realitzen una sèrie de proves. A l'acabar aquesta tesi, es conclou que les Xarxes de Nova Generació tenen molt recorregut i moltes coses a millorar causa de la transformació digital de la societat i de l'aparició de nova tecnologia disruptiva. A més, es confirma que la introducció de mecanismes específics en la concepció i operació dels protocols de transport millora el rendiment d'aquests sobre xarxes elefant heterogènies.Esta tesis por compendio centra sus contribuciones en el aprendizaje e innovación de las Redes de Nueva Generación. Es por ello que se proponen distintas contribuciones en diferentes ámbitos (Smart Cities, Smart Grids, Smart Campus, Smart Learning, Media, eHealth, Industria 4.0 entre otros) mediante la aplicación y combinación de diferentes disciplinas (Internet of Things, Building Information Modeling, Cloud Storage, Ciberseguridad, Big Data, Internet del Futuro, Transformación Digital). Concretamente, se detalla la monitorización sostenible del confort en el Smart Campus, la que se podría considerar mi aportación más representativa dentro de la conceptualización de Redes de Nueva Generación. Dentro de este innovador concepto de monitorización se integran diferentes disciplinas, para poder ofrecer información sobre el nivel de confort de las personas. Esta investigación demuestra el recorrido que existe en la transformación digital de los sectores tradicionales y las NGNs. Durante este largo aprendizaje sobre las NGN a través de las diferentes investigaciones, se pudo observar una problemática que afectaba de manera transversal a los diferentes campos de aplicación de las NGNs y que ésta podía tener una afectación en estos sectores. Esta problemática consiste en el bajo rendimiento durante el intercambio de grandes volúmenes de datos sobre redes con gran capacidad de ancho de banda y remotamente separadas geográficamente, conocidas como redes elefante, o Long Fat Networks (LFNs). Concretamente, esto afecta al caso de uso de intercambio de datos entre regiones Cloud (Cloud Data Data use case). Es por ello que se estudió este caso de uso y las diferentes alternativas a nivel de protocolos de transporte. Se estudian las diferentes problemáticas que sufren los protocolos y se observa por qué no son capaces de alcanzar rendimientos óptimos. Debida a esta situación, se hipotetiza que la introducción de mecanismos que analizan las métricas de la red y que explotan eficientemente la capacidad de la misma mejoran el rendimiento de los protocolos de transporte sobre redes elefante heterogéneas durante el envío masivo de datos. Primeramente, se diseña el Adaptative and Aggressive Transport Protocol (AATP), un protocolo de transporte adaptativo y eficiente con el objetivo maximizar el rendimiento sobre este tipo de redes elefante. El protocolo AATP se implementa y se prueba en un simulador de redes y un testbed bajo diferentes situaciones y condiciones para su validación. Implementado y probado con éxito el protocolo AATP, se decide mejorar el propio protocolo, Enhanced-AATP, sobre redes elefante heterogéneas. Además, con tal de mejorar el comportamiento del protocolo, se mejora su sistema de fairness para el reparto justo de los recursos con otros flujos Enhanced-AATP. Esta evolución se implementa en el simulador de redes y se realizan una serie de pruebas. Al finalizar esta tesis, se concluye que las Redes de Nueva Generación tienen mucho recorrido y muchas cosas a mejorar debido a la transformación digital de la sociedad y a la aparición de nueva tecnología disruptiva. Se confirma que la introducción de mecanismos específicos en la concepción y operación de los protocolos de transporte mejora el rendimiento de estos sobre redes elefante heterogéneas.This compendium thesis focuses its contributions on the learning and innovation of the New Generation Networks. That is why different contributions are proposed in different areas (Smart Cities, Smart Grids, Smart Campus, Smart Learning, Media, eHealth, Industry 4.0, among others) through the application and combination of different disciplines (Internet of Things, Building Information Modeling, Cloud Storage, Cybersecurity, Big Data, Future Internet, Digital Transformation). Specifically, the sustainable comfort monitoring in the Smart Campus is detailed, which can be considered my most representative contribution within the conceptualization of New Generation Networks. Within this innovative monitoring concept, different disciplines are integrated in order to offer information on people's comfort levels. . This research demonstrates the long journey that exists in the digital transformation of traditional sectors and New Generation Networks. During this long learning about the NGNs through the different investigations, it was possible to observe a problematic that affected the different application fields of the NGNs in a transversal way and that, depending on the service and its requirements, it could have a critical impact on any of these sectors. This issue consists of a low performance operation during the exchange of large volumes of data on networks with high bandwidth capacity and remotely geographically separated, also known as Elephant networks, or Long Fat Networks (LFNs). Specifically, this critically affects the Cloud Data Sharing use case. That is why this use case and the different alternatives at the transport protocol level were studied. For this reason, the performance and operation problems suffered by layer 4 protocols are studied and it is observed why these traditional protocols are not capable of achieving optimal performance. Due to this situation, it is hypothesized that the introduction of mechanisms that analyze network metrics and efficiently exploit network’s capacity meliorates the performance of Transport Layer protocols over Heterogeneous Long Fat Networks during bulk data transfers. First, the Adaptive and Aggressive Transport Protocol (AATP) is designed. An adaptive and efficient transport protocol with the aim of maximizing its performance over this type of elephant network.. The AATP protocol is implemented and tested in a network simulator and a testbed under different situations and conditions for its validation. Once the AATP protocol was designed, implemented and tested successfully, it was decided to improve the protocol itself, Enhanced-AATP, to improve its performance over heterogeneous elephant networks. In addition, in order to upgrade the behavior of the protocol, its fairness system is improved for the fair distribution of resources among other Enhanced-AATP flows. Finally, this evolution is implemented in the network simulator and a set of tests are carried out. At the end of this thesis, it is concluded that the New Generation Networks have a long way to go and many things to improve due to the digital transformation of society and the appearance of brand-new disruptive technology. Furthermore, it is confirmed that the introduction of specific mechanisms in the conception and operation of transport protocols improves their performance on Heterogeneous Long Fat Networks

Efficient High Performance Protocols For Long Distance Big Data File Transfer

Data sets are collected daily in large amounts (Big Data) and they are increasing rapidly due to various use cases and the number of devices used. Researchers require easy access to Big Data in order to analyze and process it. At some point this data may need to be transferred over the network to various distant locations for further processing and analysis by researchers around the globe. Such data transfers require the use of data transfer protocols that would ensure efficient and fast delivery on high speed networks. There have been several new data transfer protocols introduced which are either TCP-based or UDP-based, and the literature has some comparative analysis studies on such protocols, but not a side-by-side comparison of the protocols used in this work. I considered several data transfer protocols and congestion control mechanisms GridFTP, FASP, QUIC, BBR, and LEDBAT, which are potential candidates for comparison in various scenarios. These protocols aim to utilize the available bandwidth fairly among competing flows and to provide reduced packet loss, reduced latency, and fast delivery of data. In this thesis, I have investigated the behaviour and performance of the data transfer protocols in various scenarios. These scenarios included transfers with various file sizes, multiple flows, background and competing traffic. The results show that FASP and GridFTP had the best performance among all the protocols in most of the scenarios, especially for long distance transfers with large bandwidth delay product (BDP). The performance of QUIC was the lowest due to the nature of its current implementation, which limits the size of the transferred data and the bandwidth used. TCP BBR performed well in short distance scenarios, but its performance degraded as the distance increased. The performance of LEDBAT was unpredictable, so a complete evaluation was not possible. Comparing the performance of protocols with background traffic and competing traffic showed that most of the protocols were fair except for FASP, which was aggressive. Also, the resource utilization for each protocol on the sender and receiver side was measured with QUIC and FASP having the highest CPU utilization

TCP RAPID: FROM THEORY TO PRACTICE

Delay and bandwidth-based alternatives to TCP congestion-control have been around for nearly three decades and have seen a recent surge in interest. However, such designs have faced significant resistance in being deployed on a wide-scale across the Internet—this has been mostly due to serious concerns about noise in delay measurements, pacing inter-packet gaps, and required changes to the standard TCP stack. With the advent of high-speed networking, some of these concerns become even more significant. This thesis considers Rapid, a recent proposal for ultra-high speed congestion control, which perhaps stretches each of these challenges to the greatest extent. Rapid adopts a framework of continuous fine-scale bandwidth probing and rate adapting. It requires finely-controlled inter-packet gaps, high-precision timestamping of received packets, and reliance on fine-scale changes in interpacket gaps. While simulation-based evaluations of Rapid show that it has outstanding performance gains along several important dimensions, these will not translate to the real-world unless the above challenges are addressed. This thesis identifies the key challenges TCP Rapid faces on real high-speed networks, including deployability in standard protocol stacks, precise inter-packet gap creation, achieving robust bandwidth estimation in the presence of noise, and a stability/adaptability trade-off. A Linux implementation of Rapid is designed and developed after carefully considering each of these challenges. The evaluations on a 10Gbps testbed confirm that the implementation can indeed achieve the claimed performance gains, and that it would not have been possible unless each of the above challenges was addressed.Doctor of Philosoph

Integrating Fronthaul and Backhaul Networks: Transport Challenges and Feasibility Results

In Press / En PrensaIn addition to CPRI, new functional splits have been defined in 5G creating diverse fronthaul transport bandwidth and latency requirements. These fronthaul requirements shall be fulfilled simultaneously together with the backhaul requirements by an integrated fronthaul and backhaul transport solution. In this paper, we analyze the technical challenges to achieve an integrated transport solution in 5G and propose specific solutions to address these challenges. These solutions have been implemented and verified with commercially available equipment. Our results confirm that an integrated fronthaul and backhaul transport dubbed Crosshaul can meet all the requirements of 5G fronthaul and backhaul in a cost-efficient manner.Special thanks to the 5G-Crosshaul and 5G-TRANSFORMER team, in particular to Jaime Jose Garcia Reinoso, Chenguang Lu, Daniel Cederholm and Jakub Kocur who helped during the experimentation. This work has been partially funded by the EU H2020 project "5G-TRANSFORMER: 5G Mobile Transport Platform for Verticals" (grant no. 761536)

On the resource abstraction, partitioning and composition for virtual GMPLS-controlled multi-layer optical networks

Virtual optical networking supports the dynamic provisioning of dedicated networks over the same network infrastructure, which has received a lot of attention by network providers. The stringent network requirements (e.g., Quality of Service -QoS-, Service Level Agreement -SLA-, dynamicity) of the emerging high bandwidth and dynamic applications such as high-definition video streaming (e.g., telepresence, television, remote surgery, etc.), and cloud computing (e.g., real-time data backup, remote desktop, etc.) can be supported by the deployment of dynamic infrastructure services to build ad-hoc Virtual Optical Networks (VON), which is known as Infrastructure as a Service (IaaS). Future Internet should support two separate entities: infrastructure providers (who manage the physical infrastructure) and service providers (who deploy network protocols and offer end-to-end services). Thus, network service providers shall request, on a per-need basis, a dedicated and application-specific VON and have full control over it. Optical network virtualization technologies allow the partitioning/composition of the network infrastructure (i.e., physical optical nodes and links) into independent virtual resources, adopting the same functionality as the physical resource. The composition of these virtual resources (i.e., virtual optical nodes and links) allows the deployment of multiple VONs. A VON must be composed of not only a virtual transport plane but also of a virtual control plane, with the purpose of providing the required independent and full control functionalities (i.e., automated connection provisioning and recovery (protection/restauration), traffic engineering (e.g., QoS, SLA), etc.). This PhD Thesis focuses on optical network virtualization, with three main objectives. The first objective consists on the design, implementation and evaluation of an architecture and the necessary protocols and interfaces for the virtualization of a Generalized Multi-Protocol Label Switching (GMPLS) controlled Wavelength Switched Optical Network (WSON) and the introduction of a resource broker for dynamic virtual GMPLS-controlled WSON infrastructure services, whose task is to dynamically deploy VONs from service provider requests. The introduction of a resource broker implies the need for virtual resource management and allocation algorithms for optimal usage of the shared physical infrastructure. Also, the deployment of independent virtual GMPLS control plane on top of each VON shall be performed by the resource broker. This objective also includes the introduction of optical network virtualization for Elastic Optical Networks (EON). The second objective is to design, implement and experimentally evaluate a system architecture for deploying virtual GMPLS-controlled Multi-Protocol Label Switching Transport Profile (MPLS-TP) networks over a shared WSON. With this purpose, this PhD Thesis also focuses on the design and development of MPLS-TP nodes which are deployed on the WSON of the ADRENALINE Testbed at CTTC premises. Finally, the third objective is the composition of multiple virtual optical networks with heterogeneous control domains (e.g., GMPLS, OpenFlow). A multi-domain resource broker has been designed, implemented and evaluated.La gestió de xarxes òptiques virtuals permet la provisió dinàmica de xarxes dedicades a sobre la mateixa infraestructura de xarxa i ha cridat molt l’atenció als proveïdors de xarxes. Els requisits de xarxa (per exemple la qualitat de servei, els acords de nivell de servei o la dinamicitat) són cada cop més astringents per a les aplicacions emergents d'elevat ample de banda i dinàmiques, que inclouen per exemple la reproducció en temps real de vídeo d'alta definició (telepresència, televisió, telemedicina) i serveis d’informàtica en núvol (còpies de seguretat en temps real, escriptori remot). Aquests requisits poden ser assolits a través del desplegament de serveis de infraestructura dinàmics per construir xarxes òptiques virtuals (VON, en anglès), fet que és conegut com a infraestructura com a servei (IaaS). La internet del futur hauria de suportar dos entitats diferenciades: els proveïdors d'infraestructures (responsables de gestionar la infraestructura física), i els proveïdors de serveis (responsables dels protocols de xarxa i d'oferir els serveis finals). D'aquesta forma els proveïdors de serveis podrien sol•licitar i gestionar en funció de les necessitats xarxes òptiques virtuals dedicades i específiques per les aplicacions. Les tecnologies de virtualització de xarxes òptiques virtuals permeten la partició i composició de infraestructura de xarxa (nodes i enllaços òptics) en recursos virtuals independents que adopten les mateixes funcionalitats que els recursos físics. La composició d'aquests recursos virtuals (nodes i enllaços òptics virtuals) permet el desplegament de múltiples VONs. Una VON no sols està composada per un pla de transport virtual, sinó també per un pla de control virtual, amb l'objectiu d'incorporar les funcionalitats necessàries a la VON (provisió de connexions automàtiques i recuperació (protecció/restauració), enginyeria de tràfic, etc.). Aquesta tesis es centra en la virtualització de xarxes òptiques amb tres objectius principals. El primer objectiu consisteix en el disseny, implementació i avaluació de l'arquitectura i els protocols i interfícies necessaris per la virtualització de xarxes encaminades a través de la longitud d'ona i controlades per GMPLS. També inclou la introducció d'un gestor de recursos per desplegar xarxes òptiques virtuals de forma dinàmica. La introducció d'aquest gestor de recursos implica la necessitat d'una gestió dels recursos virtuals i d’algoritmes d’assignació de recursos per a la utilització òptima dels recursos físics. A més el gestor de recursos ha de ser capaç del desplegament dels recursos assignats, incloent un pla de control GMPLS virtual independent per a cada VON desplegada. Finalment, aquest objectiu inclou la introducció de mecanismes de virtualització per a xarxes elàstiques òptiques (EON, en anglès). El segon objectiu és el disseny, la implementació i l’avaluació experimental d'una arquitectura de sistema per oferir xarxes MPLS-TP virtuals controlades per GMPLS sobre una infraestructura i WSON compartida. Per això, aquesta tesis també es centra en el disseny i desenvolupament d'un node MPLS-TP que ha estat desplegat al demostrador ADRENALINE, al CTTC. Finalment, el tercer objectiu és la composició de múltiples xarxes òptiques virtuals en dominis de control heterogenis (GMPLS i OpenFlow). Un gestor de recursos multi-domini ha estat dissenyat, implementat i avaluat.La gestión de redes ópticas virtuales permite la provisión dinámica de redes dedicadas encima la misma infraestructura de red y ha llamado mucho la atención a los proveedores de redes. Los requisitos de red (por ejemplo la calidad de servicio, los acuerdos de nivel de servicio o la dinamicidad) son cada vez más estringentes para las aplicaciones emergentes de elevado ancho de banda y dinámicas, que incluyen por ejemplo la reproducción en tiempo real de vídeo de alta definición (telepresencia, televisión, telemedicina) y servicios de computación en la nube (copias de seguridad en tiempo real, escritorio remoto). Estos requisitos pueden ser logrados a través del despliegue de servicios de infraestructura dinámicos para construir redes ópticas virtuales (VON, en inglés), hecho que es conocido como infraestructura como servicio (IaaS). La internet del futuro tendrá que soportar dos entidades diferenciadas: los proveedores de infraestructuras (responsables de gestionar la infraestructura física), y los proveedores de servicios (responsables de los protocolos de red y de ofrecer los servicios finales). De esta forma los proveedores de servicios podrán solicitar y gestionar en función de las necesitados redes ópticas virtuales dedicadas y específicas por las aplicaciones. Las tecnologías de virtualización de redes ópticas virtuales permiten la partición y composición de infraestructura de red (nodos y enlaces ópticos) en recursos virtuales independientes que adoptan las mismas funcionalidades que los recursos físicos. La composición de estos recursos virtuales (nodos y enlaces ópticos virtuales) permite el despliegue de múltiples VONs. Una VON no sólo está compuesta por un plan de transporte virtual, sino también por un plan de control virtual, con el objetivo de incorporar las funcionalidades necesarias a la VON (provisión de conexiones automáticas y recuperación (protección/restauración), ingeniería de tráfico, etc.). Esta tesis se centra en la virtualización de redes ópticas con tres objetivos principales. El primer objetivo consiste en el diseño, implementación y evaluación de la arquitectura y los protocolos e interfaces necesarios por la virtualización de redes encaminadas a través de la longitud de ola y controladas por GMPLS. También incluye la introducción de un gestor de recursos para desplegar redes ópticas virtuales de forma dinámica. La introducción de este gestor de recursos implica la necesidad de una gestión de los recursos virtuales y de algoritmos de asignación de recursos para la utilización óptima de los recursos físicos. Además el gestor de recursos tiene que ser capaz del despliegue de los recursos asignados, incluyendo un plan de control GMPLS virtual independiente para cada VON desplegada. Finalmente, este objetivo incluye la introducción de mecanismos de virtualización para redes elásticas ópticas (EON, en inglés). El segundo objetivo es el diseño, la implementación y la evaluación experimental de una arquitectura de sistema para ofrecer redes MPLS-TP virtuales controladas por GMPLS sobre una infraestructura WSON compartida. Por eso, esta tesis también se centra en el diseño y desarrollo de un nodo MPLS-TP que ha sido desplegado al demostrador ADRENALINE, en el CTTC. Finalmente, el tercer objetivo es la composición de múltiples redes ópticas virtuales en dominios de control heterogéneos (GMPLS y OpenFlow). Un gestor de recursos multi-dominio ha sido diseñado, implementado y evaluado