51 research outputs found

    GAN-powered Deep Distributional Reinforcement Learning for Resource Management in Network Slicing

    Full text link
    Network slicing is a key technology in 5G communications system. Its purpose is to dynamically and efficiently allocate resources for diversified services with distinct requirements over a common underlying physical infrastructure. Therein, demand-aware resource allocation is of significant importance to network slicing. In this paper, we consider a scenario that contains several slices in a radio access network with base stations that share the same physical resources (e.g., bandwidth or slots). We leverage deep reinforcement learning (DRL) to solve this problem by considering the varying service demands as the environment state and the allocated resources as the environment action. In order to reduce the effects of the annoying randomness and noise embedded in the received service level agreement (SLA) satisfaction ratio (SSR) and spectrum efficiency (SE), we primarily propose generative adversarial network-powered deep distributional Q network (GAN-DDQN) to learn the action-value distribution driven by minimizing the discrepancy between the estimated action-value distribution and the target action-value distribution. We put forward a reward-clipping mechanism to stabilize GAN-DDQN training against the effects of widely-spanning utility values. Moreover, we further develop Dueling GAN-DDQN, which uses a specially designed dueling generator, to learn the action-value distribution by estimating the state-value distribution and the action advantage function. Finally, we verify the performance of the proposed GAN-DDQN and Dueling GAN-DDQN algorithms through extensive simulations

    Performance Comparison Between VoLTE and non-VoLTE Voice Calls During Mobility in Commercial Deployment: A Drive Test-Based Analysis

    Full text link
    The optimization of network performance is vital for the delivery of services using standard cellular technologies for mobile communications. Call setup delay and User Equipment (UE) battery savings significantly influence network performance. Improving these factors is vital for ensuring optimal service delivery. In comparison to traditional circuit-switched voice calls, VoLTE (Voice over LTE) technology offers faster call setup durations and better battery-saving performance. To validate these claims, a drive test was carried out using the XCAL drive test tool to collect real-time network parameter details in VoLTE and non-VoLTE voice calls. The findings highlight the analysis of real-time network characteristics, such as the call setup delay calculation, battery-saving performance, and DRX mechanism. The study contributes to the understanding of network optimization strategies and provides insights for enhancing the quality of service (QoS) in mobile communication networks. Examining VoLTE and non-VoLTE operations, this research highlights the substantial energy savings obtained by VoLTE. Specifically, VoLTE saves approximately 60.76% of energy before the Service Request and approximately 38.97% of energy after the Service Request. Moreover, VoLTE to VoLTE calls have a 72.6% faster call setup delay than non-VoLTE-based LTE to LTE calls, because of fewer signaling messages required. Furthermore, as compared to non-VoLTE to non-VoLTE calls, VoLTE to non-VoLTE calls offer an 18.6% faster call setup delay. These results showcase the performance advantages of VoLTE and reinforce its potential for offering better services in wireless communication networks.Comment: Accepted for presentation and Publication on the IEEE 10th International Conference on Electrical Engineering, Computer Science and Informatics (EECSI 2023

    A methodology for obtaining More Realistic Cross-Layer QoS Measurements in mobile networks: A VoIP over LTE Use Case

    Get PDF
    Los servicios de voz han sido durante mucho tiempo la primera fuente de ingresos para los operadores móviles. Incluso con el protagonismo creciente del tráfico de datos, los servicios de voz seguirán jugando un papel importante y no desaparecerán con la transición a redes basadas en el protocolo IP. Por otra parte, hace años que los principales actores en la industria móvil detectaron claramente que los usuarios no aceptarían una degradación en la calidad de los servicios de voz. Es por esto que resulta crítico garantizar la experiencia de usuario (QoE) en la transición a redes de nueva generación basadas en conmutación de paquetes. El trabajo realizado durante esta tesis ha buscado analizar el comportamiento y las dependencias de los diferentes servicios de Voz sobre IP (VoIP), así como identificar configuraciones óptimas, mejoras potenciales y metodologías que permitan asegurar niveles de calidad aceptables al mismo tiempo que se trate de minimizar los costes. La caracterización del rendimiento del tráfico de datos en redes móviles desde el punto de vista de los usuarios finales es un proceso costoso que implica la monitorización y análisis de un amplio rango de protocolos y parámetros con complejas dependencias. Para abordar desde la raíz este problema, se requiere realizar medidas que relacionen y correlen el comportamiento de las diferentes capas. La metodología de caracterización propuesta en esta tesis proporciona la posibilidad de recoger información clave para la resolución de problemas en las comunicaciones IP, relaciolándola con efectos asociados a la propagación radio, como cambios de celda o pérdida de enlaces, o con carga de la red y limitaciones de recursos en zonas geográficas específicas. Dicha metodología se sustenta en la utilización de herramientas nativas de monitorización y registro de información en smartphones, y la aplicación de cadenas de herramientas para la experimentación extensiva tanto en redes reales y como en entornos de prueba controlados. Con los resultados proporcionados por esta serie de herramientas, tanto operadores móviles y proveedores de servicio como desarrolladores móviles podrían ganar acceso a información sobre la experiencia real del usuario y sobre cómo mejorar la cobertura, optimizar los servicios y adaptar el funcionamiento de las aplicaciones y el uso de protocolos móviles basados en IP en este contexto. Las principales contribuciones de las herramientas y métodos introducidos en esta tesis son los siguientes: - Una herramienta de monitorización multicapa para smartphones Android, llamada TestelDroid, que permite la captura de indicadores clave de rendimiento desde el propio equipo de usuario. Asimismo proporciona la capacidad de generar tráfico de forma activa y de verificar el estado de alcanzabilidad del terminal, realizando pruebas de conectividad. - Una metodología de post-procesado para correlar la información presente en las diferentes capas de las medidas realizadas. De igual forma, se proporciona la opción a los usuarios de acceder directamente a la información sobre el tráfico IP y las medidas radio y de aplicar metodologías propias para la obtención de métricas. - Se ha realizado la aplicación de la metodología y de las herramientas usando como caso de uso el estudio y evaluación del rendimiento de las comunicaciones basadas en IP a bordo de trenes de alta velocidad. - Se ha contribuido a la creación de un entorno de prueba realista y altamente configurable para la realización de experimentos avanzados sobre LTE. - Se han detectado posibles sinergias en la utilización de instrumentación avanzada de I+D en el campo de las comunicaciones móviles, tanto para la enseñanza como para la investigación en un entorno universitario

    Mobility management in multi-RAT multiI-band heterogeneous networks

    Get PDF
    Support for user mobility is the raison d'etre of mobile cellular networks. However, mounting pressure for more capacity is leading to adaption of multi-band multi-RAT ultra-dense network design, particularly with the increased use of mmWave based small cells. While such design for emerging cellular networks is expected to offer manyfold more capacity, it gives rise to a new set of challenges in user mobility management. Among others, frequent handovers (HO) and thus higher impact of poor mobility management on quality of user experience (QoE) as well as link capacity, lack of an intelligent solution to manage dual connectivity (of user with both 4G and 5G cells) activation/deactivation, and mmWave cell discovery are the most critical challenges. In this dissertation, I propose and evaluate a set of solutions to address the aforementioned challenges. The beginning outcome of our investigations into the aforementioned problems is the first ever taxonomy of mobility related 3GPP defined network parameters and Key Performance Indicators (KPIs) followed by a tutorial on 3GPP-based 5G mobility management procedures. The first major contribution of the thesis here is a novel framework to characterize the relationship between the 28 critical mobility-related network parameters and 8 most vital KPIs. A critical hurdle in addressing all mobility related challenges in emerging networks is the complexity of modeling realistic mobility and HO process. Mathematical models are not suitable here as they cannot capture the dynamics as well as the myriad parameters and KPIs involved. Existing simulators also mostly either omit or overly abstract the HO and user mobility, chiefly because the problems caused by poor HO management had relatively less impact on overall performance in legacy networks as they were not multi-RAT multi-band and therefore incurred much smaller number of HOs compared to emerging networks. The second key contribution of this dissertation is development of a first of its kind system level simulator, called SyntheticNET that can help the research community in overcoming the hurdle of realistic mobility and HO process modeling. SyntheticNET is the very first python-based simulator that fully conforms to 3GPP Release 15 5G standard. Compared to the existing simulators, SyntheticNET includes a modular structure, flexible propagation modeling, adaptive numerology, realistic mobility patterns, and detailed HO evaluation criteria. SyntheticNET’s python-based platform allows the effective application of Artificial Intelligence (AI) to various network functionalities. Another key challenge in emerging multi-RAT technologies is the lack of an intelligent solution to manage dual connectivity with 4G as well 5G cell needed by a user to access 5G infrastructure. The 3rd contribution of this thesis is a solution to address this challenge. I present a QoE-aware E-UTRAN New Radio-Dual Connectivity (EN-DC) activation scheme where AI is leveraged to develop a model that can accurately predict radio link failure (RLF) and voice muting using the low-level measurements collected from a real network. The insights from the AI based RLF and mute prediction models are then leveraged to configure sets of 3GPP parameters to maximize EN-DC activation while keeping the QoE-affecting RLF and mute anomalies to minimum. The last contribution of this dissertation is a novel solution to address mmWave cell discovery problem. This problem stems from the highly directional nature of mmWave transmission. The proposed mmWave cell discovery scheme builds upon a joint search method where mmWave cells exploit an overlay coverage layer from macro cells sharing the UE location to the mmWave cell. The proposed scheme is made more practical by investigating and developing solutions for the data sparsity issue in model training. Ability to work with sparse data makes the proposed scheme feasible in realistic scenarios where user density is often not high enough to provide coverage reports from each bin of the coverage area. Simulation results show that the proposed scheme, efficiently activates EN-DC to a nearby mmWave 5G cell and thus substantially reduces the mmWave cell discovery failures compared to the state of the art cell discovery methods

    A Data-Driven Customer Quality of Experience System for a Cellular Network

    Get PDF

    Cellular and Wi-Fi technologies evolution: from complementarity to competition

    Get PDF
    This PhD thesis has the characteristic to span over a long time because while working on it, I was working as a research engineer at CTTC with highly demanding development duties. This has delayed the deposit more than I would have liked. On the other hand, this has given me the privilege of witnessing and studying how wireless technologies have been evolving over a decade from 4G to 5G and beyond. When I started my PhD thesis, IEEE and 3GPP were defining the two main wireless technologies at the time, Wi-Fi and LTE, for covering two substantially complementary market targets. Wi-Fi was designed to operate mostly indoor, in unlicensed spectrum, and was aimed to be a simple and cheap technology. Its primary technology for coexistence was based on the assumption that the spectrum on which it was operating was for free, and so it was designed with interference avoidance through the famous CSMA/CA protocol. On the other hand, 3GPP was designing technologies for licensed spectrum, a costly kind of spectrum. As a result, LTE was designed to take the best advantage of it while providing the best QoE in mainly outdoor scenarios. The PhD thesis starts in this context and evolves with these two technologies. In the first chapters, the thesis studies radio resource management solutions for standalone operation of Wi-Fi in unlicensed and LTE in licensed spectrum. We anticipated the now fundamental machine learning trend by working on machine learning-based radio resource management solutions to improve LTE and Wi-Fi operation in their respective spectrum. We pay particular attention to small cell deployments aimed at improving the spectrum efficiency in licensed spectrum, reproducing small range scenarios typical of Wi-Fi settings. IEEE and 3GPP followed evolving the technologies over the years: Wi-Fi has grown into a much more complex and sophisticated technology, incorporating the key features of cellular technologies, like HARQ, OFDMA, MU-MIMO, MAC scheduling and spatial reuse. On the other hand, since Release 13, cellular networks have also been designed for unlicensed spectrum. As a result, the two last chapters of this thesis focus on coexistence scenarios, in which LTE needs to be designed to coexist with Wi-Fi fairly, and NR, the radio access for 5G, with Wi-Fi in 5 GHz and WiGig in 60 GHz. Unlike LTE, which was adapted to operate in unlicensed spectrum, NR-U is natively designed with this feature, including its capability to operate in unlicensed in a complete standalone fashion, a fundamental new milestone for cellular. In this context, our focus of analysis changes. We consider that these two technological families are no longer targeting complementarity but are now competing, and we claim that this will be the trend for the years to come. To enable the research in these multi-RAT scenarios, another fundamental result of this PhD thesis, besides the scientific contributions, is the release of high fidelity models for LTE and NR and their coexistence with Wi-Fi and WiGig to the ns-3 open-source community. ns-3 is a popular open-source network simulator, with the characteristic to be multi-RAT and so naturally allows the evaluation of coexistence scenarios between different technologies. These models, for which I led the development, are by academic citations, the most used open-source simulation models for LTE and NR and havereceived fundings from industry (Ubiquisys, WFA, SpiderCloud, Interdigital, Facebook) and federal agencies (NIST, LLNL) over the years.Aquesta tesi doctoral té la característica d’allargar-se durant un llarg període de temps ja que mentre treballava en ella, treballava com a enginyera investigadora a CTTC amb tasques de desenvolupament molt exigents. Això ha endarrerit el dipositar-la més del que m’hagués agradat. D’altra banda, això m’ha donat el privilegi de ser testimoni i estudiar com han evolucionat les tecnologies sense fils durant més d’una dècada des del 4G fins al 5G i més enllà. Quan vaig començar la tesi doctoral, IEEE i 3GPP estaven definint les dues tecnologies sense fils principals en aquell moment, Wi-Fi i LTE, que cobreixen dos objectius de mercat substancialment complementaris. Wi-Fi va ser dissenyat per funcionar principalment en interiors, en espectre sense llicència, i pretenia ser una tecnologia senzilla i barata. La seva tecnologia primària per a la convivència es basava en el supòsit que l’espectre en el que estava operant era de franc, i, per tant, es va dissenyar simplement evitant interferències a través del famós protocol CSMA/CA. D’altra banda, 3GPP estava dissenyant tecnologies per a espectres amb llicència, un tipus d’espectre costós. Com a resultat, LTE està dissenyat per treure’n el màxim profit alhora que proporciona el millor QoE en escenaris principalment a l’aire lliure. La tesi doctoral comença amb aquest context i evoluciona amb aquestes dues tecnologies. En els primers capítols, estudiem solucions de gestió de recursos de radio per a operacions en espectre de Wi-Fi sense llicència i LTE amb llicència. Hem anticipat l’actual tendència fonamental d’aprenentatge automàtic treballant solucions de gestió de recursos de radio basades en l’aprenentatge automàtic per millorar l’LTE i Wi-Fi en el seu espectre respectiu. Prestem especial atenció als desplegaments de cèl·lules petites destinades a millorar la eficiència d’espectre llicenciat, reproduint escenaris de petit abast típics de la configuració Wi-Fi. IEEE i 3GPP van seguir evolucionant les tecnologies al llarg dels anys: El Wi-Fi s’ha convertit en una tecnologia molt més complexa i sofisticada, incorporant les característiques clau de les tecnologies cel·lulars, com ara HARQ i la reutilització espacial. D’altra banda, des de la versió 13, també s’han dissenyat xarxes cel·lulars per a espectre sense llicència. Com a resultat, els dos darrers capítols d’aquesta tesi es centren en aquests escenaris de convivència, on s’ha de dissenyar LTE per conviure amb la Wi-Fi de manera justa, i NR, l’accés a la radio per a 5G amb Wi-Fi a 5 GHz i WiGig a 60 GHz. A diferència de LTE, que es va adaptar per funcionar en espectre sense llicència, NR-U està dissenyat de forma nativa amb aquesta característica, inclosa la seva capacitat per operar sense llicència de forma autònoma completa, una nova fita fonamental per al mòbil. En aquest context, el nostre focus d’anàlisi canvia. Considerem que aquestes dues famílies de tecnologia ja no estan orientades cap a la complementarietat, sinó que ara competeixen, i afirmem que aquesta serà el tendència per als propers anys. Per permetre la investigació en aquests escenaris multi-RAT, un altre resultat fonamental d’aquesta tesi doctoral, a més de les aportacions científiques, és l’alliberament de models d’alta fidelitat per a LTE i NR i la seva coexistència amb Wi-Fi a la comunitat de codi obert ns-3. ns-3 és un popular simulador de xarxa de codi obert, amb la característica de ser multi-RAT i, per tant, permet l’avaluació de manera natural d’escenaris de convivència entre diferents tecnologies. Aquests models, pels quals he liderat el desenvolupament, són per cites acadèmiques, els models de simulació de codi obert més utilitzats per a LTE i NR i que han rebut finançament de la indústria (Ubiquisys, WFA, SpiderCloud, Interdigital, Facebook) i agències federals (NIST, LLNL) al llarg dels anys.Esta tesis doctoral tiene la característica de extenderse durante mucho tiempo porque mientras trabajaba en ella, trabajaba como ingeniera de investigación en CTTC con tareas de desarrollo muy exigentes. Esto ha retrasado el depósito más de lo que me hubiera gustado. Por otro lado, gracias a ello, he tenido el privilegio de presenciar y estudiar como las tecnologías inalámbricas han evolucionado durante una década, de 4G a 5G y más allá. Cuando comencé mi tesis doctoral, IEEE y 3GPP estaban definiendo las dos principales tecnologías inalámbricas en ese momento, Wi-Fi y LTE, cumpliendo dos objetivos de mercado sustancialmente complementarios. Wi-Fi fue diseñado para funcionar principalmente en interiores, en un espectro sin licencia, y estaba destinado a ser una tecnología simple y barata. Su tecnología primaria para la convivencia se basaba en el supuesto en que el espectro en el que estaba operando era gratis, y así fue diseñado simplemente evitando interferencias a través del famoso protocolo CSMA/CA. Por otro lado, 3GPP estaba diseñando tecnologías para espectro con licencia, un tipo de espectro costoso. Como resultado, LTE está diseñado para aprovechar el espectro al máximo proporcionando al mismo tiempo el mejor QoE en escenarios principalmente al aire libre. La tesis doctoral parte de este contexto y evoluciona con estas dos tecnologías. En los primeros capítulos, estudiamos las soluciones de gestión de recursos de radio para operación en espectro Wi-Fi sin licencia y LTE con licencia. Anticipamos la tendencia ahora fundamental de aprendizaje automático trabajando en soluciones de gestión de recursos de radio para mejorar LTE y funcionamiento deWi-Fi en su respectivo espectro. Prestamos especial atención a las implementaciones de células pequeñas destinadas a mejorar la eficiencia de espectro licenciado, reproduciendo los típicos escenarios de rango pequeño de la configuración Wi-Fi. IEEE y 3GPP siguieron evolucionando las tecnologías a lo largo de los años: Wi-Fi se ha convertido en una tecnología mucho más compleja y sofisticada, incorporando las características clave de las tecnologías celulares, como HARQ, OFDMA, MU-MIMO, MAC scheduling y la reutilización espacial. Por otro lado, desde la Release 13, también se han diseñado redes celulares para espectro sin licencia. Como resultado, los dos últimos capítulos de esta tesis se centran en estos escenarios de convivencia, donde LTE debe diseñarse para coexistir con Wi-Fi de manera justa, y NR, el acceso por radio para 5G con Wi-Fi en 5 GHz y WiGig en 60 GHz. A diferencia de LTE, que se adaptó para operar en espectro sin licencia, NR-U está diseñado de forma nativa con esta función, incluyendo su capacidad para operar sin licencia de forma completamente independiente, un nuevo hito fundamental para los celulares. En este contexto, cambia nuestro enfoque de análisis. Consideramos que estas dos familias tecnológicas ya no tienen como objetivo la complementariedad, sino que ahora están compitiendo, y afirmamos que esta será la tendencia para los próximos años. Para permitir la investigación en estos escenarios de múltiples RAT, otro resultado fundamental de esta tesis doctoral, además de los aportes científicos, es el lanzamiento de modelos de alta fidelidad para LTE y NR y su coexistencia con Wi-Fi y WiGig a la comunidad de código abierto de ns-3. ns-3 es un simulador popular de red de código abierto, con la característica de ser multi-RAT y así, naturalmente, permite la evaluación de escenarios de convivencia entre diferentes tecnologías. Estos modelos, para los cuales lideré el desarrollo, son por citas académicas, los modelos de simulación de código abierto más utilizados para LTE y NR y han recibido fondos de la industria (Ubiquisys, WFA, SpiderCloud, Interdigital, Facebook) y agencias federales (NIST, LLNL) a lo largo de los años.Postprint (published version
    • …
    corecore