Network resource allocation policies with energy transfer capabilities

During the last decades, mobile network operators have witnessed an exponential increase in the traffic demand, mainly due to the high request of services from a huge amount of users. The trend is of a further increase in both the traffic demand and the number of connected devices over the next years. The traffic load is expected to have an annual growth rate of 53% for the mobile network alone, and the upcoming industrial era, which will connect different types of devices to the mobile infrastructure including human and machine type communications, will definitely exacerbate such an increasing trend. The current directions anticipate that future mobile networks will be composed of ultra dense deployments of heterogeneous Base Stations (BSs), where BSs using different transmission powers coexist. Accordingly, the traditional Macro BSs layer will be complemented or replaced with multiple overlapping tiers of small BSs (SBSs), which will allow extending the system capacity. However, the massive use of Information and Communication Technology (ICT) and the dense deployment of network elements is going to increase the level of energy consumed by the telecommunication infrastructure and its carbon footprint on the environment. Current estimations indicates that 10% of the worldwide electricity generation is due to the ICT industry and this value is forecasted to reach 51% by 2030, which imply that 23% of the carbon footprint by human activity will be due to ICT. Environmental sustainability is thus a key requirement for designing next generation mobile networks. Recently, the use of Renewable Energy Sources (RESs) for supplying network elements has attracted the attention of the research community, where the interest is driven by the increased efficiency and the reduced costs of energy harvesters and storage devices, specially when installed to supply SBSs. Such a solution has been demonstrated to be environmentally and economically sustainable in both rural and urban areas. However, RESs will entail a higher management complexity. In fact, environmental energy is inherently erratic and intermittent, which may cause a fluctuating energy inflow and produce service outage. A proper control of how the energy is drained and balanced across network elements is therefore necessary for a self-sustainable network design. In this dissertation, we focus on energy harvested through solar panels that is deemed the most appropriate due to the good efficiency of commercial photovoltaic panels as well as the wide availability of the solar source for typical installations. The characteristics of this energy source are analyzed in the first technical part of the dissertation, by considering an approach based on the extraction of features from collected data of solar energy radiation. In the second technical part of the thesis we introduce our proposed scenario. A federation of BSs together with the distributed harvesters and storage devices at the SBS sites form a micro-grid, whose operations are managed by an energy management system in charge of controlling the intermittent and erratic energy budget from the RESs. We consider load control (i.e., enabling sleep mode in the SBSs) as a method to properly manage energy inflow and spending, based on the traffic demand. Moreover, in the third technical part, we introduce the possibility of improving the network energy efficiency by sharing the exceeding energy that may be available at some BS sites within the micro-grid. Finally, a centralized controller based on supervised and reinforcement learning is proposed in the last technical part of the dissertation. The controller is in charge of opportunistically operating the network to achieve efficient utilization of the harvested energy and prevent SBSs blackout.Durante las últimas décadas, los operadores de redes móviles han sido testigos de un aumento exponencial en la demanda de tráfico, principalmente debido a la gran solicitud de servicios de una gran cantidad de usuarios. La tendencia es un aumento adicional tanto en la demanda de tráfico como en la cantidad de dispositivos conectados en los próximos años. Se espera que la carga de tráfico tenga una tasa de crecimiento anual del 53% solo para la red móvil, y la próxima era industrial, que conectará diferentes tipos de dispositivos a la infraestructura móvil, definitivamente exacerbará tal aumento. Las instrucciones actuales anticipan que las redes móviles futuras estarán compuestas por despliegues ultra densos de estaciones base (BS) heterogéneas. En consecuencia, la capa tradicional de Macro BS se complementará o reemplazará con múltiples niveles superpuestos de pequeños BS (SBS), lo que permitirá ampliar la capacidad del sistema. Sin embargo, el uso masivo de la Tecnología de la Información y la Comunicación (TIC) y el despliegue denso de los elementos de la red aumentará el nivel de energía consumida por la infraestructura de telecomunicaciones y su huella de carbono en el medio ambiente. Las estimaciones actuales indican que el 10% de la generación mundial de electricidad se debe a la industria de las TIC y se prevé que este valor alcance el 51% para 2030, lo que implica que el 23% de la huella de carbono por actividad humana se deberá a las TIC. La sostenibilidad ambiental es, por lo tanto, un requisito clave para diseñar redes móviles de próxima generación. Recientemente, el uso de fuentes de energía renovables (RES) para suministrar elementos de red ha atraído la atención de la comunidad investigadora, donde el interés se ve impulsado por el aumento de la eficiencia y la reducción de los costos de los recolectores y dispositivos de almacenamiento de energía, especialmente cuando se instalan para suministrar SBS. Se ha demostrado que dicha solución es ambiental y económicamente sostenible tanto en áreas rurales como urbanas. Sin embargo, las RES conllevarán una mayor complejidad de gestión. De hecho, la energía ambiental es inherentemente errática e intermitente, lo que puede causar una entrada de energía fluctuante y producir una interrupción del servicio. Por lo tanto, es necesario un control adecuado de cómo se drena y equilibra la energía entre los elementos de la red para un diseño de red autosostenible. En esta disertación, nos enfocamos en la energía cosechada a través de paneles solares que se considera la más apropiada debido a la buena eficiencia de los paneles fotovoltaicos comerciales, así como a la amplia disponibilidad de la fuente solar para instalaciones típicas. Las características de esta fuente de energía se analizan en la primera parte técnica de la disertación, al considerar un enfoque basado en la extracción de características de los datos recopilados de radiación de energía solar. En la segunda parte técnica de la tesis presentamos nuestro escenario propuesto. Una federación de BS junto con los cosechadores distribuidos y los dispositivos de almacenamiento forman una microrred, cuyas operaciones son administradas por un sistema de administración de energía a cargo de controlar el presupuesto de energía intermitente y errático de las RES. Consideramos el control de carga como un método para administrar adecuadamente la entrada y el gasto de energía, en función de la demanda de tráfico. Además, en la tercera parte técnica, presentamos la posibilidad de mejorar la eficiencia energética de la red al compartir la energía excedente que puede estar disponible en algunos sitios dentro de la microrred. Finalmente, se propone un controlador centralizado basado en aprendizaje supervisado y de refuerzo en la última parte técnica de la disertación. El controlador está a cargo de operar la red para lograr una utilización eficiente de energía y previene el apagón de SB

Power allocation and energy cooperation for UAV-enabled MmWave networks: A Multi-Agent Deep Reinforcement Learning approach

Unmanned Aerial Vehicle (UAV)-assisted cellular networks over the millimeter-wave (mmWave) frequency band can meet the requirements of a high data rate and flexible coverage in next-generation communication networks. However, higher propagation loss and the use of a large number of antennas in mmWave networks give rise to high energy consumption and UAVs are constrained by their low-capacity onboard battery. Energy harvesting (EH) is a viable solution to reduce the energy cost of UAV-enabled mmWave networks. However, the random nature of renewable energy makes it challenging to maintain robust connectivity in UAV-assisted terrestrial cellular networks. Energy cooperation allows UAVs to send their excessive energy to other UAVs with reduced energy. In this paper, we propose a power allocation algorithm based on energy harvesting and energy cooperation to maximize the throughput of a UAV-assisted mmWave cellular network. Since there is channel-state uncertainty and the amount of harvested energy can be treated as a stochastic process, we propose an optimal multi-agent deep reinforcement learning algorithm (DRL) named Multi-Agent Deep Deterministic Policy Gradient (MADDPG) to solve the renewable energy resource allocation problem for throughput maximization. The simulation results show that the proposed algorithm outperforms the Random Power (RP), Maximal Power (MP) and value-based Deep Q-Learning (DQL) algorithms in terms of network throughput.This work was supported by the Agencia Estatal de Investigación of Ministerio de Ciencia e Innovación of Spain under project PID2019-108713RB-C51 MCIN/AEI /10.13039/501100011033Postprint (published version

Traffic control for energy harvesting virtual small cells via reinforcement learning

Due to the rapid growth of mobile data traffic, future mobile networks are expected to support at least 1000 times more capacity than 4G systems. This trend leads to an increasing energy demand from mobile networks which raises both economic and environmental concerns. Energy costs are becoming an important part of OPEX by Mobile Network Operators (MNOs). As a result, the shift towards energy-oriented design and operation of 5G and beyond systems has been emphasized by academia, industries as well as standard bodies. In particular, Radio Access Network (RAN) is the major energy consuming part of cellular networks. To increase the RAN efficiency, Cloud Radio Access Network (CRAN) has been proposed to enable centralized cloud processing of baseband functions while Base Stations (BSs) are reduced to simple Radio Remote Heads (RRHs). The connection between the RRHs and central cloud is provided by high capacity and very low latency fronthaul. Flexible functional splits between local BS sites and a central cloud are then proposed to relax the CRAN fronthaul requirements via partial processing of baseband functions at the local BS sites. Moreover, Network Function Virtualization (NFV) and Software Defined Networking (SDN) enable flexibility in placement and control of network functions. Relying on SDN/NFV with flexible functional splits, network functions of small BSs can be virtualized and placed at different sites of the network. These small BSs are known as virtual Small Cells (vSCs). More recently, Multi-access Edge Computing (MEC) has been introduced where BSs can leverage cloud computing capabilities and offer computational resources on demand basis. On the other hand, Energy Harvesting (EH) is a promising technology ensuring both cost effectiveness and carbon footprint reduction. However, EH comes with challenges mainly due to intermittent and unreliable energy sources. In EH Base Stations (EHBSs), it is important to intelligently manage the harvested energy as well as to ensure energy storage provision. Consequently, MEC enabled EHBSs can open a new frontier in energy-aware processing and sharing of processing units according to flexible functional split options. The goal of this PhD thesis is to propose energy-aware control algorithms in EH powered vSCs for efficient utilization of harvested energy and lowering the grid energy consumption of RAN, which is the most power consuming part of the network. We leverage on virtualization and MEC technologies for dynamic provision of computational resources according to functional split options employed by the vSCs. After describing the state-of-the-art, the first part of the thesis focuses on offline optimization for efficient harvested energy utilization via dynamic functional split control in vSCs powered by EH. For this purpose, dynamic programming is applied to determine the performance bound and comparison is drawn against static configurations. The second part of the thesis focuses on online control methods where reinforcement learning based controllers are designed and evaluated. In particular, more focus is given towards the design of multi-agent reinforcement learning to overcome the limitations of centralized approaches due to complexity and scalability. Both tabular and deep reinforcement learning algorithms are tailored in a distributed architecture with emphasis on enabling coordination among the agents. Policy comparison among the online controllers and against the offline bound as well as energy and cost saving benefits are also analyzed.Debido al rápido crecimiento del tráfico de datos móviles, se espera que las redes móviles futuras admitan al menos 1000 veces más capacidad que los sistemas 4G. Esta tendencia lleva a una creciente demanda de energía de las redes móviles, lo que plantea preocupaciones económicas y ambientales. Los costos de energía se están convirtiendo en una parte importante de OPEX por parte de los operadores de redes móviles (MNO). Como resultado, la academia, las industrias y los organismos estándar han enfatizado el cambio hacia el diseño orientado a la energía y la operación de sistemas 5G y más allá de los sistemas. En particular, la red de acceso por radio (RAN) es la principal parte de las redes celulares que consume energía. Para aumentar la eficiencia de la RAN, se ha propuesto Cloud Radio Access Network (CRAN) para permitir el procesamiento centralizado en la nube de las funciones de banda base, mientras que las estaciones base (BS) se reducen a simples cabezales remotos de radio (RRH). La conexión entre los RRHs y la nube central es proporcionada por una capacidad frontal de muy alta latencia y muy baja latencia. Luego se proponen divisiones funcionales flexibles entre los sitios de BS locales y una nube central para relajar los requisitos de red de enlace CRAN a través del procesamiento parcial de las funciones de banda base en los sitios de BS locales. Además, la virtualización de funciones de red (NFV) y las redes definidas por software (SDN) permiten flexibilidad en la colocación y el control de las funciones de red. Confiando en SDN / NFV con divisiones funcionales flexibles, las funciones de red de pequeñas BS pueden virtualizarse y ubicarse en diferentes sitios de la red. Estas pequeñas BS se conocen como pequeñas celdas virtuales (vSC). Más recientemente, se introdujo la computación perimetral de acceso múltiple (MEC) donde los BS pueden aprovechar las capacidades de computación en la nube y ofrecer recursos computacionales según la demanda. Por otro lado, Energy Harvesting (EH) es una tecnología prometedora que garantiza tanto la rentabilidad como la reducción de la huella de carbono. Sin embargo, EH presenta desafíos principalmente debido a fuentes de energía intermitentes y poco confiables. En las estaciones base EH (EHBS), es importante administrar de manera inteligente la energía cosechada, así como garantizar el suministro de almacenamiento de energía. En consecuencia, los EHBS habilitados para MEC pueden abrir una nueva frontera en el procesamiento con conciencia energética y el intercambio de unidades de procesamiento de acuerdo con las opciones de división funcional flexible. El objetivo de esta tesis doctoral es proponer algoritmos de control conscientes de la energía en vSC alimentados por EH para la utilización eficiente de la energía cosechada y reducir el consumo de energía de la red de RAN, que es la parte más consumidora de la red. Aprovechamos las tecnologías de virtualización y MEC para la provisión dinámica de recursos computacionales de acuerdo con las opciones de división funcional empleadas por los vSC. La primera parte de la tesis se centra en la optimización fuera de línea para la utilización eficiente de la energía cosechada a través del control dinámico de división funcional en vSC con tecnología EH. Para este propósito, la programación dinámica se aplica para determinar el rendimiento limitado y la comparación se realiza con configuraciones estáticas. La segunda parte de la tesis se centra en los métodos de control en línea donde se diseñan y evalúan los controladores basados en el aprendizaje por refuerzo. En particular, se presta más atención al diseño de aprendizaje de refuerzo de múltiples agentes para superar las limitaciones de los enfoques centralizados debido a la complejidad y la escalabilidad. También se analiza la comparación de políticas entre los controladores en línea y contra los límites fuera de línea,Postprint (published version

Deep Reinforcement Learning for Joint Cruise Control and Intelligent Data Acquisition in UAVs-Assisted Sensor Networks

Unmanned aerial vehicle (UAV)-assisted sensor networks (UASNets), which play a crucial role in creating new opportunities, are experiencing significant growth in civil applications worldwide. UASNets improve disaster management through timely surveillance and advance precision agriculture with detailed crop monitoring, thereby significantly transforming the commercial economy. UASNets revolutionize the commercial sector by offering greater efficiency, safety, and cost-effectiveness, highlighting their transformative impact. A fundamental aspect of these new capabilities and changes is the collection of data from rugged and remote areas. Due to their excellent mobility and maneuverability, UAVs are employed to collect data from ground sensors in harsh environments, such as natural disaster monitoring, border surveillance, and emergency response monitoring. One major challenge in these scenarios is that the movements of UAVs affect channel conditions and result in packet loss. Fast movements of UAVs lead to poor channel conditions and rapid signal degradation, resulting in packet loss. On the other hand, slow mobility of a UAV can cause buffer overflows of the ground sensors, as newly arrived data is not promptly collected by the UAV. Our proposal to address this challenge is to minimize packet loss by jointly optimizing the velocity controls and data collection schedules of multiple UAVs.Furthermore, in UASNets, swift movements of UAVs result in poor channel conditions and fast signal attenuation, leading to an extended age of information (AoI). In contrast, slow movements of UAVs prolong flight time, thereby extending the AoI of ground sensors.To address this challenge, we propose a new mean-field flight resource allocation optimization to minimize the AoI of sensory data

Energy sustainability of next generation cellular networks through learning techniques

The trend for the next generation of cellular network, the Fifth Generation (5G), predicts a 1000x increase in the capacity demand with respect to 4G, which leads to new infrastructure deployments. To this respect, it is estimated that the energy consumption of ICT might reach the 51% of global electricity production by 2030, mainly due to mobile networks and services. Consequently, the cost of energy may also become predominant in the operative expenses of a Mobile Network Operator (MNO). Therefore, an efficient control of the energy consumption in 5G networks is not only desirable but essential. In fact, the energy sustainability is one of the pillars in the design of the next generation cellular networks. In the last decade, the research community has been paying close attention to the Energy Efficiency (EE) of the radio communication networks, with particular care on the dynamic switch ON/OFF of the Base Stations (BSs). Besides, 5G architectures will introduce the Heterogeneous Network (HetNet) paradigm, where Small BSs (SBSs) are deployed to assist the standard macro BS for satisfying the high traffic demand and reducing the impact on the energy consumption. However, only with the introduction of Energy Harvesting (EH) capabilities the networks might reach the needed energy savings for mitigating both the high costs and the environmental impact. In the case of HetNets with EH capabilities, the erratic and intermittent nature of renewable energy sources has to be considered, which entails some additional complexity. Solar energy has been chosen as reference EH source due to its widespread adoption and its high efficiency in terms of energy produced compared to its costs. To this end, in the first part of the thesis, a harvested solar energy model has been presented based on accurate stochastic Markov processes for the description of the energy scavenged by outdoor solar sources. The typical HetNet scenario involves dense deployments with a high level of flexibility, which suggests the usage of distributed control systems rather than centralized, where the scalability can become rapidly a bottleneck. For this reason, in the second part of the thesis, we propose to model the SBS tier as a Multi-agent Reinforcement Learning (MRL) system, where each SBS is an intelligent and autonomous agent, which learns by directly interacting with the environment and by properly utilizing the past experience. The agents implemented in each SBS independently learn a proper switch ON/OFF control policy, so as to jointly maximize the system performance in terms of throughput, drop rate and energy consumption, while adapting to the dynamic conditions of the environment, in terms of energy inflow and traffic demand. However, MRL might suffer the problem of coordination when finding simultaneously a solution among all the agents that is good for the whole system. In consequence, the Layered Learning paradigm has been adopted to simplify the problem by decomposing it in subtasks. In particular, the global solution is obtained in a hierarchical fashion: the learning process of a subtask is aimed at facilitating the learning of the next higher subtask layer. The first layer implements an MRL approach and it is in charge of the local online optimization at SBS level as function of the traffic demand and the energy incomes. The second layer is in charge of the network-wide optimization and it is based on Artificial Neural Networks aimed at estimating the model of the overall network.Con la llegada de la nueva generación de redes móviles, la quinta generación (5G), se predice un aumento por un factor 1000 en la demanda de capacidad respecto a la 4G, con la consecuente instalación de nuevas infraestructuras. Se estima que el gasto energético de las tecnologías de la información y la comunicación podría alcanzar el 51% de la producción mundial de energía en el año 2030, principalmente debido al impacto de las redes y servicios móviles. Consecuentemente, los costes relacionados con el consumo de energía pasarán a ser una componente predominante en los gastos operativos (OPEX) de las operadoras de redes móviles. Por lo tanto, un control eficiente del consumo energético de las redes 5G, ya no es simplemente deseable, sino esencial. En la última década, la comunidad científica ha enfocado sus esfuerzos en la eficiencia energética (EE) de las redes de comunicaciones móviles, con particular énfasis en algoritmos para apagar y encender las estaciones base (BS). Además, las arquitecturas 5G introducirán el paradigma de las redes heterogéneas (HetNet), donde pequeñas BSs, o small BSs (SBSs), serán desplegadas para ayudar a las grandes macro BSs en satisfacer la gran demanda de tráfico y reducir el impacto en el consumo energético. Sin embargo, solo con la introducción de técnicas de captación de la energía ambiental, las redes pueden alcanzar los ahorros energéticos requeridos para mitigar los altos costes de la energía y su impacto en el medio ambiente. En el caso de las HetNets alimentadas mediante energías renovables, la naturaleza errática e intermitente de esta tipología de energías constituye una complejidad añadida al problema. La energía solar ha sido utilizada como referencia debido a su gran implantación y su alta eficiencia en términos de cantidad de energía producida respecto costes de producción. Por consiguiente, en la primera parte de la tesis se presenta un modelo de captación de la energía solar basado en un riguroso modelo estocástico de Markov que representa la energía capturada por paneles solares para exteriores. El escenario típico de HetNet supondrá el despliegue denso de SBSs con un alto nivel de flexibilidad, lo cual sugiere la utilización de sistemas de control distribuidos en lugar de aquellos que están centralizados, donde la adaptabilidad podría convertirse rápidamente en un reto difícilmente gestionable. Por esta razón, en la segunda parte de la tesis proponemos modelar las SBSs como un sistema multiagente de aprendizaje automático por refuerzo, donde cada SBS es un agente inteligente y autónomo que aprende interactuando directamente con su entorno y utilizando su experiencia acumulada. Los agentes en cada SBS aprenden independientemente políticas de control del apagado y encendido que les permiten maximizar conjuntamente el rendimiento y el consumo energético a nivel de sistema, adaptándose a condiciones dinámicas del ambiente tales como la energía renovable entrante y la demanda de tráfico. No obstante, los sistemas multiagente sufren problemas de coordinación cuando tienen que hallar simultáneamente una solución de forma distribuida que sea buena para todo el sistema. A tal efecto, el paradigma de aprendizaje por niveles ha sido utilizado para simplificar el problema dividiéndolo en subtareas. Más detalladamente, la solución global se consigue de forma jerárquica: el proceso de aprendizaje de una subtarea está dirigido a ayudar al aprendizaje de la subtarea del nivel superior. El primer nivel contempla un sistema multiagente de aprendizaje automático por refuerzo y se encarga de la optimización en línea de las SBSs en función de la demanda de tráfico y de la energía entrante. El segundo nivel se encarga de la optimización a nivel de red del sistema y está basado en redes neuronales artificiales diseñadas para estimar el modelo de todas las BSsPostprint (published version

Machine Learning for Microcontroller-Class Hardware -- A Review

The advancements in machine learning opened a new opportunity to bring intelligence to the low-end Internet-of-Things nodes such as microcontrollers. Conventional machine learning deployment has high memory and compute footprint hindering their direct deployment on ultra resource-constrained microcontrollers. This paper highlights the unique requirements of enabling onboard machine learning for microcontroller class devices. Researchers use a specialized model development workflow for resource-limited applications to ensure the compute and latency budget is within the device limits while still maintaining the desired performance. We characterize a closed-loop widely applicable workflow of machine learning model development for microcontroller class devices and show that several classes of applications adopt a specific instance of it. We present both qualitative and numerical insights into different stages of model development by showcasing several use cases. Finally, we identify the open research challenges and unsolved questions demanding careful considerations moving forward.Comment: Accepted for publication at IEEE Sensors Journa