Building collaboration in multi-agent systems using reinforcement learning

© Springer Nature Switzerland AG 2018. This paper presents a proof-of concept study for demonstrating the viability of building collaboration among multiple agents through standard Q learning algorithm embedded in particle swarm optimisation. Collaboration is formulated to be achieved among the agents via competition, where the agents are expected to balance their action in such a way that none of them drifts away of the team and none intervene any fellow neighbours territory, either. Particles are devised with Q learning for self training to learn how to act as members of a swarm and how to produce collaborative/collective behaviours. The produced experimental results are supportive to the proposed idea suggesting that a substantive collaboration can be build via proposed learning algorithm

Mechanisms for QoE optimisation of video traffic: a review paper

Transmission of video traffic over the Internet has grown exponentially in the past few years with no sign of waning. This increasing demand for video services has changed user expectation of quality. Various mechanisms have been proposed to optimise the Quality of Experience (QoE) of end users’ video. Studying these approaches are necessary for new methods to be proposed or combination of existing ones to be tailored. We discuss challenges facing the optimisation of QoE for video traffic in this paper. It surveys and classifies these mechanisms based on their functions. The limitation of each of them is identified and future directions are highlighted

Optimization of Mobility Parameters using Fuzzy Logic and Reinforcement Learning in Self-Organizing Networks

In this thesis, several optimization techniques for next-generation wireless networks are proposed to solve different problems in the field of Self-Organizing Networks and heterogeneous networks. The common basis of these problems is that network parameters are automatically tuned to deal with the specific problem. As the set of network parameters is extremely large, this work mainly focuses on parameters involved in mobility management. In addition, the proposed self-tuning schemes are based on Fuzzy Logic Controllers (FLC), whose potential lies in the capability to express the knowledge in a similar way to the human perception and reasoning. In addition, in those cases in which a mathematical approach has been required to optimize the behavior of the FLC, the selected solution has been Reinforcement Learning, since this methodology is especially appropriate for learning from interaction, which becomes essential in complex systems such as wireless networks. Taking this into account, firstly, a new Mobility Load Balancing (MLB) scheme is proposed to solve persistent congestion problems in next-generation wireless networks, in particular, due to an uneven spatial traffic distribution, which typically leads to an inefficient usage of resources. A key feature of the proposed algorithm is that not only the parameters are optimized, but also the parameter tuning strategy. Secondly, a novel MLB algorithm for enterprise femtocells scenarios is proposed. Such scenarios are characterized by the lack of a thorough deployment of these low-cost nodes, meaning that a more efficient use of radio resources can be achieved by applying effective MLB schemes. As in the previous problem, the optimization of the self-tuning process is also studied in this case. Thirdly, a new self-tuning algorithm for Mobility Robustness Optimization (MRO) is proposed. This study includes the impact of context factors such as the system load and user speed, as well as a proposal for coordination between the designed MLB and MRO functions. Fourthly, a novel self-tuning algorithm for Traffic Steering (TS) in heterogeneous networks is proposed. The main features of the proposed algorithm are the flexibility to support different operator policies and the adaptation capability to network variations. Finally, with the aim of validating the proposed techniques, a dynamic system-level simulator for Long-Term Evolution (LTE) networks has been designed

Opportunistic device-to-device communication in cellular networks: from theory to practice

Mención Internacional en el título de doctorCellular service providers have been struggling with users’ demand since the emergence of mobile Internet. As a result, each generation of cellular network prevailed over its predecessors mainly in terms of connection speed. However, the fifth generation (5G) of cellular network promises to go beyond this trend by revolutionizing the network architecture. Device-to-Device (D2D) communication is one of the revolutionary changes that enables mobile users to communicate directly without traversing a base station. This feature is being actively studied in 3GPP with special focus on public safety as it allows mobiles to operate in adhoc mode. Although under the (partial) control of the network, D2D communications open the door to many other use-cases. This dissertation studies different aspects of D2D communications and its impact on the key performance indicators of the network. We design an architecture for the collaboration of cellular users by means of timely exploited D2D opportunities. We begin by presenting the analytical study on opportunistic outband D2D communications. The study reveals the great potential of opportunistic outband D2D communications for enhancing energy efficiency, fairness, and capacity of cellular networks when groups of D2D users can be form and managed in the cellular network. Then we introduce a protocol that is compatible with the latest release of IEEE and 3GPP standards and allows for implementation of our proposal in a today’s cellular network. To validate our analytical findings, we use our experimental Software Defined Radio (SDR)-based testbed to further study our proposal in a real world scenario. The experimental results confirm the outstanding potential of opportunistic outband D2D communications. Finally, we investigate the performance merits and disadvantages of different D2D “modes”. Our investigation reveals, despite the common belief, that all D2D modes are complementary and their merits are scenario based.This work has been supported by IMDEA Networks Institute.Programa Oficial de Doctorado en Ingeniería TelemáticaPresidente: Douglas Leith.- Secretario: Albert Banchs Roca.- Vocal: Carla Fabiana Chiasserin

Cost based optimization for strategic mobile radio access network planning using metaheuristics

La evolución experimentada por las comunicaciones móviles a lo largo de las últimas décadas ha sido motivada por dos factores principales: el surgimiento de nuevas aplicaciones y necesidades por parte del usuario, así como los avances tecnológicos. Los servicios ofrecidos para términales móviles han evolucionado desde el clásico servicio de voz y mensajes cortos (SMS), a servicios más atractivos y por lo tanto con una rápida aceptación por parte de usuario final como, video telephony, video streaming, online gaming, and the internet broadband access (MBAS). Todos estos nuevos servicios se han convertido en una realidad gracias a los avances técnologicos, avances tales como nuevas técnicas de acceso al medio compartido, nuevos esquemas de codificiación y modulación de la información intercambiada, sistemas de transmisión y recepción basados en múltiples antenas (MIMO), etc. Un aspecto importante en esta evolución fue la liberación del sector a principios de los años 90, donde la función reguladora llevado a cabo por las autoridades regulatorias nacionales (NRA) se ha antojado fundamental. Uno de los principales problemas tratados por la NRA espcífica de cada nación es la determinación de los costes por servicios mayoristas, esto es los servicios entre operadores de servicios móvilles, entre los que cabe destacar el coste por terminación de llamada o de inteconexión. El servicio de interconexión hace posible la comunicación de usuarios de diferente operadores, así como el acceso a la totalidad de servicios, incluso a aquellos no prestados por un operador en concreto gracias al uso de una red perteneciente a otro operador, por parte de todos los usuarios. El objetivo principal de esta tesis es la minimización de los costes de inversión en equipamiento de red, lo cual repercute en el establecimiento de las tarifas de interconexión como se verá a lo largo de este trabajo. La consecución de dicho objetivo se divide en dos partes: en primer lugar, el desarrollo de un conjunto de algoritmos para el dimesionado óptimo de una red de acceso radio (RAN) para un sistema de comunicaciones móvilles. En segundo lugar, el diseño y aplicación de algoritmos de optimización para la distribución óptima de los servicios sobre el conjunto de tecnologías móviles existentes (OSDP). El modulo de diseño de red proporciona cuatro algoritmos diferenciados encargados del dimensionado y planificación de la red de acceso móvil. Estos algoritmos se aplican en un entorno multi-tecnología, considerando sistemas de segunda (2G), tercera (3G) y cuarta (4G) generación, multi-usuario, teniendo en cuenta diferentes perfiles de usuarios con su respectiva carga de tráfico, y multo-servicio, incluyendo voz, servicios de datos de baja velocidad (64-144 Kbps), y acceso a internet de banda ancha móvil. La segunda parte de la tesis se encarga de distribuir de una manera óptima el conjunto de servicios sobre las tecnologías a desplegar. El objetivo de esta parte es hacer un uso eficiente de las tecnologías existentes reduciendo los costes de inversión en equipamiento de red. Esto es posible gracias a las diferencias tecnológicas existente entre los diferentes sistemas móviles, que hacen que los sistemas de segunda generación sean adecuados para proporcionar el servicio de voz y mensajería corta, mientras que redes de tercera generación muestran un mejor rendimiento en la transmisión de servicios de datos. Por último, el servicio de banda ancha móvil es nativo de redes de última generadón, como High Speed Data Acces (HSPA) y 4G. Ambos módulos han sido aplicados a un extenso conjunto de experimentos para el desarrollo de análisis tecno-económicos tales como el estudio del rendimiento de las tecnologías de HSPA y 4G para la prestación del servicio de banda ancha móvil, así como el análisis de escenarios reales de despliegue para redes 4G que tendrán lugar a partir del próximo año coinicidiendo con la licitación de las frecuencias en la banda de 800 MHz. Así mismo, se ha llevado a cabo un estudio sobre el despliegue de redes de 4G en las bandas de 800 MHz, 1800 MHz y 2600 MHz, comparando los costes de inversión obtenidos tras la optimización. En todos los casos se ha demostrado la mejora, en términos de costes de inversión, obtenida tras la aplicación de ambos módulos, posibilitando una reducción en la determinación de los costes de provisión de servicios. Los estudios realizados en esta tesis se centran en la nación de España, sin embargo todos los algoritmos implementados son aplicables a cualquier otro país europeo, prueba de ello es que los algoritmos de diseño de red han sido utilizados en diversos proyectos de regulación