Thirty Years of Machine Learning: The Road to Pareto-Optimal Wireless Networks

Future wireless networks have a substantial potential in terms of supporting a broad range of complex compelling applications both in military and civilian fields, where the users are able to enjoy high-rate, low-latency, low-cost and reliable information services. Achieving this ambitious goal requires new radio techniques for adaptive learning and intelligent decision making because of the complex heterogeneous nature of the network structures and wireless services. Machine learning (ML) algorithms have great success in supporting big data analytics, efficient parameter estimation and interactive decision making. Hence, in this article, we review the thirty-year history of ML by elaborating on supervised learning, unsupervised learning, reinforcement learning and deep learning. Furthermore, we investigate their employment in the compelling applications of wireless networks, including heterogeneous networks (HetNets), cognitive radios (CR), Internet of things (IoT), machine to machine networks (M2M), and so on. This article aims for assisting the readers in clarifying the motivation and methodology of the various ML algorithms, so as to invoke them for hitherto unexplored services as well as scenarios of future wireless networks.Comment: 46 pages, 22 fig

A survey of machine learning techniques applied to self organizing cellular networks

In this paper, a survey of the literature of the past fifteen years involving Machine Learning (ML) algorithms applied to self organizing cellular networks is performed. In order for future networks to overcome the current limitations and address the issues of current cellular systems, it is clear that more intelligence needs to be deployed, so that a fully autonomous and flexible network can be enabled. This paper focuses on the learning perspective of Self Organizing Networks (SON) solutions and provides, not only an overview of the most common ML techniques encountered in cellular networks, but also manages to classify each paper in terms of its learning solution, while also giving some examples. The authors also classify each paper in terms of its self-organizing use-case and discuss how each proposed solution performed. In addition, a comparison between the most commonly found ML algorithms in terms of certain SON metrics is performed and general guidelines on when to choose each ML algorithm for each SON function are proposed. Lastly, this work also provides future research directions and new paradigms that the use of more robust and intelligent algorithms, together with data gathered by operators, can bring to the cellular networks domain and fully enable the concept of SON in the near future

Efficient handover mechanism for radio access network slicing by exploiting distributed learning

Network slicing is identified as a fundamental architectural technology for future mobile networks since it can logically separate networks into multiple slices and provide tailored quality of service (QoS). However, the introduction of network slicing into radio access networks (RAN) can greatly increase user handover complexity in cellular networks. Specifically, both physical resource constraints on base stations (BSs) and logical connection constraints on network slices (NSs) should be considered when making a handover decision. Moreover, various service types call for an intelligent handover scheme to guarantee the diversified QoS requirements. As such, in this paper, a multi-agent reinforcement LEarning based Smart handover Scheme, named LESS, is proposed, with the purpose of minimizing handover cost while maintaining user QoS. Due to the large action space introduced by multiple users and the data sparsity caused by user mobility, conventional reinforcement learning algorithms cannot be applied directly. To solve these difficulties, LESS exploits the unique characteristics of slicing in designing two algorithms: 1) LESS-DL, a distributed Q-learning algorithm to make handover decisions with reduced action space but without compromising handover performance; 2) LESS-QVU, a modified Q-value update algorithm which exploits slice traffic similarity to improve the accuracy of Q-value evaluation with limited data. Thus, LESS uses LESS-DL to choose the target BS and NS when a handover occurs, while Q-values are updated by using LESS-QVU. The convergence of LESS is theoretically proved in this paper. Simulation results show that LESS can significantly improve network performance. In more detail, the number of handovers, handover cost and outage probability are reduced by around 50%, 65%, and 45%, respectively, when compared with traditional methods

Optimisation de la gestion des interférences inter-cellulaires et de l'attachement des mobiles dans les réseaux cellulaires LTE

Driven by an exponential growth in mobile broadband-enabled devices and a continue dincrease in individual data consumption, mobile data traffic has grown 4000-fold over the past 10 years and almost 400-million-fold over the past 15 years. Homogeneouscellular networks have been facing limitations to handle soaring mobile data traffic and to meet the growing end-user demand for more bandwidth and betterquality of experience. These limitations are mainly related to the available spectrumand the capacity of the network. Telecommunication industry has to address these challenges and meet exploding demand. At the same time, it has to guarantee a healthy economic model to reduce the carbon footprint which is caused by mobile communications.Heterogeneous Networks (HetNets), composed of macro base stations and low powerbase stations of different types, are seen as the key solution to improve spectral efficiency per unit area and to eliminate coverage holes. In such networks, intelligent user association and interference management schemes are needed to achieve gains in performance. Due to the large imbalance in transmission power between macroand small cells, user association based on strongest signal received is not adapted inHetNets as only few users would attach to low power nodes. A technique based onCell Individual Offset (CIO) is therefore required to perform load balancing and to favor some Small Cell (SC) attraction against Macro Cell (MC). This offset is addedto users’ Reference Signal Received Power (RSRP) measurements and hence inducing handover towards different eNodeBs. As Long Term Evolution (LTE) cellular networks use the same frequency sub-bands, mobile users may experience strong inter-cellxv interference, especially at cell edge. Therefore, there is a need to coordinate resource allocation among the cells and minimize inter-cell interference. To mitigate stronginter-cell interference, the resource, in time, frequency and power domain, should be allocated efficiently. A pattern for each dimension is computed to permit especially for cell edge users to benefit of higher throughput and quality of experience. The optimization of all these parameters can also offer gain in energy use. In this thesis,we propose a concrete versatile dynamic solution performing an optimization of user association and resource allocation in LTE cellular networks maximizing a certainnet work utility function that can be adequately chosen. Our solution, based on gametheory, permits to compute Cell Individual Offset and a pattern of power transmission over frequency and time domain for each cell. We present numerical simulations toillustrate the important performance gain brought by this optimization. We obtain significant benefits in the average throughput and also cell edge user through put of40% and 55% gains respectively. Furthermore, we also obtain a meaningful improvement in energy efficiency. This work addresses industrial research challenges and assuch, a prototype acting on emulated HetNets traffic has been implemented.Conduit par une croissance exponentielle dans les appareils mobiles et une augmentation continue de la consommation individuelle des données, le trafic de données mobiles a augmenté de 4000 fois au cours des 10 dernières années et près de 400millions fois au cours des 15 dernières années. Les réseaux cellulaires homogènes rencontrent de plus en plus de difficultés à gérer l’énorme trafic de données mobiles et à assurer un débit plus élevé et une meilleure qualité d’expérience pour les utilisateurs.Ces difficultés sont essentiellement liées au spectre disponible et à la capacité du réseau.L’industrie de télécommunication doit relever ces défis et en même temps doit garantir un modèle économique pour les opérateurs qui leur permettra de continuer à investir pour répondre à la demande croissante et réduire l’empreinte carbone due aux communications mobiles. Les réseaux cellulaires hétérogènes (HetNets), composés de stations de base macro et de différentes stations de base de faible puissance,sont considérés comme la solution clé pour améliorer l’efficacité spectrale par unité de surface et pour éliminer les trous de couverture. Dans de tels réseaux, il est primordial d’attacher intelligemment les utilisateurs aux stations de base et de bien gérer les interférences afin de gagner en performance. Comme la différence de puissance d’émission est importante entre les grandes et petites cellules, l’association habituelle des mobiles aux stations de bases en se basant sur le signal le plus fort, n’est plus adaptée dans les HetNets. Une technique basée sur des offsets individuelles par cellule Offset(CIO) est donc nécessaire afin d’équilibrer la charge entre les cellules et d’augmenter l’attraction des petites cellules (SC) par rapport aux cellules macro (MC). Cette offset est ajoutée à la valeur moyenne de la puissance reçue du signal de référence(RSRP) mesurée par le mobile et peut donc induire à un changement d’attachement vers différents eNodeB. Comme les stations de bases dans les réseaux cellulaires LTE utilisent les mêmes sous-bandes de fréquences, les mobiles peuvent connaître une forte interférence intercellulaire, en particulier en bordure de cellules. Par conséquent, il est primordial de coordonner l’allocation des ressources entre les cellules et de minimiser l’interférence entre les cellules. Pour atténuer la forte interférence intercellulaire, les ressources, en termes de temps, fréquence et puissance d’émission, devraient être alloués efficacement. Un modèle pour chaque dimension est calculé pour permettre en particulier aux utilisateurs en bordure de cellule de bénéficier d’un débit plus élevé et d’une meilleure qualité de l’expérience. L’optimisation de tous ces paramètres peut également offrir un gain en consommation d’énergie. Dans cette thèse, nous proposons une solution dynamique polyvalente effectuant une optimisation de l’attachement des mobiles aux stations de base et de l’allocation des ressources dans les réseaux cellulaires LTE maximisant une fonction d’utilité du réseau qui peut être choisie de manière adéquate.Notre solution, basée sur la théorie des jeux, permet de calculer les meilleures valeurs pour l’offset individuelle par cellule (CIO) et pour les niveaux de puissance à appliquer au niveau temporel et fréquentiel pour chaque cellule. Nous présentons des résultats des simulations effectuées pour illustrer le gain de performance important apporté par cette optimisation. Nous obtenons une significative hausse dans le débit moyen et le débit des utilisateurs en bordure de cellule avec 40 % et 55 % de gains respectivement. En outre, on obtient un gain important en énergie. Ce travail aborde des défis pour l’industrie des télécoms et en tant que tel, un prototype de l’optimiseur a été implémenté en se basant sur un trafic HetNets émulé

Mobility management in 5G heterogeneous networks

In recent years, mobile data traffic has increased exponentially as a result of widespread popularity and uptake of portable devices, such as smartphones, tablets and laptops. This growth has placed enormous stress on network service providers who are committed to offering the best quality of service to consumer groups. Consequently, telecommunication engineers are investigating innovative solutions to accommodate the additional load offered by growing numbers of mobile users. The fifth generation (5G) of wireless communication standard is expected to provide numerous innovative solutions to meet the growing demand of consumer groups. Accordingly the ultimate goal is to achieve several key technological milestones including up to 1000 times higher wireless area capacity and a significant cut in power consumption. Massive deployment of small cells is likely to be a key innovation in 5G, which enables frequent frequency reuse and higher data rates. Small cells, however, present a major challenge for nodes moving at vehicular speeds. This is because the smaller coverage areas of small cells result in frequent handover, which leads to lower throughput and longer delay. In this thesis, a new mobility management technique is introduced that reduces the number of handovers in a 5G heterogeneous network. This research also investigates techniques to accommodate low latency applications in nodes moving at vehicular speeds

Allocation des ressources dans les environnements informatiques en périphérie des réseaux mobiles

Abstract: The evolution of information technology is increasing the diversity of connected devices and leading to the expansion of new application areas. These applications require ultra-low latency, which cannot be achieved by legacy cloud infrastructures given their distance from users. By placing resources closer to users, the recently developed edge computing paradigm aims to meet the needs of these applications. Edge computing is inspired by cloud computing and extends it to the edge of the network, in proximity to where the data is generated. This paradigm leverages the proximity between the processing infrastructure and the users to ensure ultra-low latency and high data throughput. The aim of this thesis is to improve resource allocation at the network edge to provide an improved quality of service and experience for low-latency applications. For better resource allocation, it is necessary to have reliable knowledge about the resources available at any moment. The first contribution of this thesis is to propose a resource representation to allow the supervisory xentity to acquire information about the resources available to each device. This information is then used by the resource allocation scheme to allocate resources appropriately for the different services. The resource allocation scheme is based on Lyapunov optimization, and it is executed only when resource allocation is required, which reduces the latency and resource consumption on each edge device. The second contribution of this thesis focuses on resource allocation for edge services. The services are created by chaining a set of virtual network functions. Resource allocation for services consists of finding an adequate placement for, routing, and scheduling these virtual network functions. We propose a solution based on game theory and machine learning to find a suitable location and routing for as well as an appropriate scheduling of these functions at the network edge. Finding the location and routing of network functions is formulated as a mean field game solved by iterative Ishikawa-Mann learning. In addition, the scheduling of the network functions on the different edge nodes is formulated as a matching set, which is solved using an improved version of the deferred acceleration algorithm we propose. The third contribution of this thesis is the resource allocation for vehicular services at the edge of the network. In this contribution, the services are migrated and moved to the different infrastructures at the edge to ensure service continuity. Vehicular services are particularly delay sensitive and related mainly to road safety and security. Therefore, the migration of vehicular services is a complex operation. We propose an approach based on deep reinforcement learning to proactively migrate the different services while ensuring their continuity under high mobility constraints.L'évolution des technologies de l'information entraîne la prolifération des dispositifs connectés qui mène à l'exploration de nouveaux champs d'application. Ces applications demandent une latence ultra-faible, qui ne peut être atteinte par les infrastructures en nuage traditionnelles étant donné la distance qui les sépare des utilisateurs. En rapprochant les ressources aux utilisateurs, le paradigme de l'informatique en périphérie, récemment apparu, vise à répondre aux besoins de ces applications. L’informatique en périphérie s'inspire de l’informatique en nuage, en l'étendant à la périphérie du réseau, à proximité de l'endroit où les données sont générées. Ce paradigme tire parti de la proximité entre l'infrastructure de traitement et les utilisateurs pour garantir une latence ultra-faible et un débit élevé des données. L'objectif de cette thèse est l'amélioration de l'allocation des ressources à la périphérie du réseau pour offrir une meilleure qualité de service et expérience pour les applications à faible latence. Pour une meilleure allocation des ressources, il est nécessaire d'avoir une bonne connaissance sur les ressources disponibles à tout moment. La première contribution de cette thèse consiste en la proposition d'une représentation des ressources pour permettre à l'entité de supervision d'acquérir des informations sur les ressources disponibles à chaque dispositif. Ces informations sont ensuite exploitées par le schéma d'allocation des ressources afin d'allouer les ressources de manière appropriée pour les différents services. Le schéma d'allocation des ressources est basé sur l'optimisation de Lyapunov, et il n'est exécuté que lorsque l'allocation des ressources est requise, ce qui réduit la latence et la consommation en ressources sur chaque équipement de périphérie. La deuxième contribution de cette thèse porte sur l'allocation des ressources pour les services en périphérie. Les services sont composés par le chaînage d'un ensemble de fonctions réseau virtuelles. L'allocation des ressources pour les services consiste en la recherche d'un placement, d'un routage et d'un ordonnancement adéquat de ces fonctions réseau virtuelles. Nous proposons une solution basée sur la théorie des jeux et sur l'apprentissage automatique pour trouver un emplacement et routage convenable ainsi qu'un ordonnancement approprié de ces fonctions en périphérie du réseau. La troisième contribution de cette thèse consiste en l'allocation des ressources pour les services véhiculaires en périphérie du réseau. Dans cette contribution, les services sont migrés et déplacés sur les différentes infrastructures en périphérie pour assurer la continuité des services. Les services véhiculaires sont en particulier sensibles à la latence et liés principalement à la sûreté et à la sécurité routière. En conséquence, la migration des services véhiculaires constitue une opération complexe. Nous proposons une approche basée sur l'apprentissage par renforcement profond pour migrer de manière proactive les différents services tout en assurant leur continuité sous les contraintes de mobilité élevée