Atomicity and non-anonymity in population-like games for the energy efficiency of hybrid-power HetNets

© 2018 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works.In this paper, the user–base station (BS) association problem is addressed to reduce grid consumption in heterogeneous cellular networks (HetNets) powered by hybrid energy sources (grid and renewable energy). The paper proposes a novel distributed control scheme inspired by population games and designed considering both atomicity and non-anonymity – i.e., describing the individual decisions of each agent. The controller performance is considered from an energy–efficiency perspective, which requires the guarantee of appropriate qualityof-service (QoS) levels according to renewable energy availability. The efficiency of the proposed scheme is compared with other heuristic and optimal alternatives in two simulation scenarios. Simulation results show that the proposed approach inspired by population games reduces grid consumption by 12% when compared to the traditional best-signal-level association policy.Peer ReviewedPostprint (author's final draft

Atomicity and non-anonymity in population-like games for the energy efficiency of hybrid-power HetNets

© 2018 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works.In this paper, the user–base station (BS) association problem is addressed to reduce grid consumption in heterogeneous cellular networks (HetNets) powered by hybrid energy sources (grid and renewable energy). The paper proposes a novel distributed control scheme inspired by population games and designed considering both atomicity and non-anonymity – i.e., describing the individual decisions of each agent. The controller performance is considered from an energy–efficiency perspective, which requires the guarantee of appropriate qualityof-service (QoS) levels according to renewable energy availability. The efficiency of the proposed scheme is compared with other heuristic and optimal alternatives in two simulation scenarios. Simulation results show that the proposed approach inspired by population games reduces grid consumption by 12% when compared to the traditional best-signal-level association policy.Peer ReviewedPostprint (author's final draft

A Coalitional Model Predictive Control for the Energy Efficiency of Next-Generation Cellular Networks

Next-generation cellular networks are large-scale systems composed of numerous base stations interacting with many diverse users. One of the main challenges with these networks is their high energy consumption due to the expected number of connected devices. We handle this issue with a coalitional Model Predictive Control (MPC) technique for the case of next-generation cellular networks powered by renewable energy sources. The proposed coalitional MPC approach is applied to two simulated scenarios and compared with other control methods: the traditional best-signal level mechanism, a heuristic algorithm, and decentralized and centralized MPC schemes. The success of the coalitional strategy is considered from an energy efficiency perspective, which means reducing on-grid consumption and improving network performance (e.g., number of users served and transmission rates)

Energy and cost management in shared heterogeneous network deployments

During the recent years, a huge augmentation of the data traffic volume has been noticed, while a further steep increase is expected in the following years. As a result, questions have been raised over the years about the energy consumption needs of the wireless telecommunication networks, their carbon dioxide emissions and their operational expenses. Aiming at meeting the high traffic demands with flat energy consumption and flat incurred expenses, mobile network operators (MNOs) have opted to improve their position (i) by deploying heterogeneous networks (HetNets), which are consisted of macrocell base stations (MBSs) and small cell base stations (SBSs) and (ii) by sharing their infrastructure. However, questions could be raised about the extend to which HetNet densification is of aid. Given that network planning is executed according to high traffic load volumes, BS underutilisation during low-traffic hours cannot be neglected. Similarly, the aggregated energy needs of multiple SBSs equals the ones of an energy hungry MBS, having thus a respectable share of the net energy consumption. In this context, a set of research opportunities have been identified. This thesis provides contribution toward the achievement of a greener and more cost efficient operation of HetNet deployments, where multiple stakeholders develop their activity and where energy support can have the form of various alternate schemes, including renewable energy (RE) sources. Depending on the network energy support, i.e., whether RE sources are used in the network or not, the main body of this thesis is divided in two research directions. The first part of the thesis uses the technology of switching off strategies in order to explore their efficiency in terms of both energy and costs in a HetNet. The HetNet is assumed to be a roaming-based cooperative activity of multiple MNOs that is powered exclusively by grid energy. A switching off and a cost allocation scheme are proposed, using as criteria the BS type, the BS load and the roaming cost for traffic offloading. The performance of the proposed schemes is evaluated with respect to energy efficiency, cost savings and fairness, using computer-based simulations. The second part of the thesis explores energy and cost management issues in energy harvesting (EH) HetNet deployments where EH-BSs use an EH system (EHS), an energy storage system (ESS) and the smart grid (SG) as energy procurement sources. The EH-HetNet is assumed a two-tier network deployment of EH-MBSs that are passively shared among an MNO set and EH-SBSs that are provided to MNOs by an infrastructure provider. Taking into consideration the infrastructure location and the variety of stakeholders involved in the network deployment, approaches of RE exchange (REE) are proposed as a cooperative RE sharing for the shared EH-MBSs, based on bankruptcy theory, and a non-cooperative, aggregator-assisted RE trading, based on double auctions, for the EH-SBSs. The performance of the proposed schemes is evaluated in terms of the hours of independence of the studied system from the SG, the fairness regulated by the provided solution and the economical payoffs extracted for the stakeholdersDurante los últimos años, se ha notado un aumento enorme del volumen de tráfico de datos, mientras que se espera un nuevo aumento en los próximos años. Como resultado, se han planteado preguntas sobre las necesidades de consumo de energía de las redes inalámbricas de telecomunicaciones, sus emisiones de dióxido de carbono y sus gastos operativos. Con el objetivo de satisfacer las altas demandas de tráfico con consumo de energía constante y con gastos incurridos constantes, además de utilizar soluciones basadas en la nube, los operadores de redes móviles (MNOs) han optado por mejorar su posición (i) desplegando redes heterogéneas (HetNets), que consisten en estaciones base de macro-células (MBSs) y estaciones base de células pequeñas (SBSs), y (ii) compartiendo su infraestructura. Sin embargo, podrían plantearse preguntas sobre hasta qué punto la densificación de una HetNet es de ayuda. Dado que la planificación de la red se ejecuta de acuerdo con los volúmenes de carga de tráfico más elevados, no se puede descuidar la subutilización de las estaciones base (BS) durante las horas de poco tráfico. De manera similar, las necesidades de energía agregadas de múltiples SBSs son iguales a las de una MBS que consume mucha energía, teniendo así una parte respetable del consumo neto de energía. En este contexto, se ha identificado un conjunto de oportunidades de investigación. Esta tesis contribuye al logro de una operación más ecológica y rentable de las implementaciones de HetNet, donde múltiples partes interesadas desarrollan su actividad y donde el apoyo energético puede tener la forma de varios esquemas alternativos, incluidas las fuentes de energía renovables (RE). Dependiendo del soporte de energía de red, es decir, si las fuentes de RE se usan en la red o no, el cuerpo principal de esta tesis se divide en dos direcciones de investigación. La primera parte de la tesis utiliza la tecnología de las estrategias de apagado con el objetivo de explorar su eficiencia en términos de energía y gastos en una HetNet. Se asume que la HetNet es una actividad cooperativa basada en la itinerancia de múltiples MNO que se alimenta exclusivamente de energía de la red. Se propone un esquema de desconexión y de asignación de costes, que utiliza como criterios el tipo de BS, la carga de BS y el coste de la itinerancia para la descarga de tráfico. El rendimiento de los esquemas propuestos se evalúa con respecto a la eficiencia energética, el ahorro de costes y la equidad, usando simulaciones en computadora. La segunda parte de la tesis explora los problemas de gestión de energía y de costes en las implementaciones de HetNet donde las estaciones base recolectan energía usando un sistema EH (EHS), un sistema de almacenamiento de energía (ESS) y la red eléctrica inteligente (SG) como sistemas de adquisición de energía. Se asume que el EH-HetNet es una implementación de redes de dos niveles donde los EH-MBSs se comparten pasivamente entre un conjunto de MNOs y EH-SBSs se proporcionan a los MNOs de un proveedor de infraestructura. Teniendo en cuenta la ubicación de la infraestructura y la variedad de partes interesadas e involucradas en el despliegue de la red, se proponen enfoques de intercambio de RE (REE) como un intercambio cooperativo de RE para los EH-MBS compartidos, basado en la teoría de bancarrota, y un no cooperativo comercio de RE para los EH-SBSs, que es asistido por un agregador y basado en las subastas dobles. El rendimiento de los esquemas propuestos se evalúa en términos de las horas de independencia del sistema estudiado con respecto al SG, la imparcialidad regulada por la solución proporcionada y los beneficios económicos extraídos para las interesadas

Energy and cost management in shared heterogeneous network deployments

Pla de Doctorat industrial de la Generalitat de CatalunyaDuring the recent years, a huge augmentation of the data traffic volume has been noticed, while a further steep increase is expected in the following years. As a result, questions have been raised over the years about the energy consumption needs of the wireless telecommunication networks, their carbon dioxide emissions and their operational expenses. Aiming at meeting the high traffic demands with flat energy consumption and flat incurred expenses, mobile network operators (MNOs) have opted to improve their position (i) by deploying heterogeneous networks (HetNets), which are consisted of macrocell base stations (MBSs) and small cell base stations (SBSs) and (ii) by sharing their infrastructure. However, questions could be raised about the extend to which HetNet densification is of aid. Given that network planning is executed according to high traffic load volumes, BS underutilisation during low-traffic hours cannot be neglected. Similarly, the aggregated energy needs of multiple SBSs equals the ones of an energy hungry MBS, having thus a respectable share of the net energy consumption. In this context, a set of research opportunities have been identified. This thesis provides contribution toward the achievement of a greener and more cost efficient operation of HetNet deployments, where multiple stakeholders develop their activity and where energy support can have the form of various alternate schemes, including renewable energy (RE) sources. Depending on the network energy support, i.e., whether RE sources are used in the network or not, the main body of this thesis is divided in two research directions. The first part of the thesis uses the technology of switching off strategies in order to explore their efficiency in terms of both energy and costs in a HetNet. The HetNet is assumed to be a roaming-based cooperative activity of multiple MNOs that is powered exclusively by grid energy. A switching off and a cost allocation scheme are proposed, using as criteria the BS type, the BS load and the roaming cost for traffic offloading. The performance of the proposed schemes is evaluated with respect to energy efficiency, cost savings and fairness, using computer-based simulations. The second part of the thesis explores energy and cost management issues in energy harvesting (EH) HetNet deployments where EH-BSs use an EH system (EHS), an energy storage system (ESS) and the smart grid (SG) as energy procurement sources. The EH-HetNet is assumed a two-tier network deployment of EH-MBSs that are passively shared among an MNO set and EH-SBSs that are provided to MNOs by an infrastructure provider. Taking into consideration the infrastructure location and the variety of stakeholders involved in the network deployment, approaches of RE exchange (REE) are proposed as a cooperative RE sharing for the shared EH-MBSs, based on bankruptcy theory, and a non-cooperative, aggregator-assisted RE trading, based on double auctions, for the EH-SBSs. The performance of the proposed schemes is evaluated in terms of the hours of independence of the studied system from the SG, the fairness regulated by the provided solution and the economical payoffs extracted for the stakeholdersDurante los últimos años, se ha notado un aumento enorme del volumen de tráfico de datos, mientras que se espera un nuevo aumento en los próximos años. Como resultado, se han planteado preguntas sobre las necesidades de consumo de energía de las redes inalámbricas de telecomunicaciones, sus emisiones de dióxido de carbono y sus gastos operativos. Con el objetivo de satisfacer las altas demandas de tráfico con consumo de energía constante y con gastos incurridos constantes, además de utilizar soluciones basadas en la nube, los operadores de redes móviles (MNOs) han optado por mejorar su posición (i) desplegando redes heterogéneas (HetNets), que consisten en estaciones base de macro-células (MBSs) y estaciones base de células pequeñas (SBSs), y (ii) compartiendo su infraestructura. Sin embargo, podrían plantearse preguntas sobre hasta qué punto la densificación de una HetNet es de ayuda. Dado que la planificación de la red se ejecuta de acuerdo con los volúmenes de carga de tráfico más elevados, no se puede descuidar la subutilización de las estaciones base (BS) durante las horas de poco tráfico. De manera similar, las necesidades de energía agregadas de múltiples SBSs son iguales a las de una MBS que consume mucha energía, teniendo así una parte respetable del consumo neto de energía. En este contexto, se ha identificado un conjunto de oportunidades de investigación. Esta tesis contribuye al logro de una operación más ecológica y rentable de las implementaciones de HetNet, donde múltiples partes interesadas desarrollan su actividad y donde el apoyo energético puede tener la forma de varios esquemas alternativos, incluidas las fuentes de energía renovables (RE). Dependiendo del soporte de energía de red, es decir, si las fuentes de RE se usan en la red o no, el cuerpo principal de esta tesis se divide en dos direcciones de investigación. La primera parte de la tesis utiliza la tecnología de las estrategias de apagado con el objetivo de explorar su eficiencia en términos de energía y gastos en una HetNet. Se asume que la HetNet es una actividad cooperativa basada en la itinerancia de múltiples MNO que se alimenta exclusivamente de energía de la red. Se propone un esquema de desconexión y de asignación de costes, que utiliza como criterios el tipo de BS, la carga de BS y el coste de la itinerancia para la descarga de tráfico. El rendimiento de los esquemas propuestos se evalúa con respecto a la eficiencia energética, el ahorro de costes y la equidad, usando simulaciones en computadora. La segunda parte de la tesis explora los problemas de gestión de energía y de costes en las implementaciones de HetNet donde las estaciones base recolectan energía usando un sistema EH (EHS), un sistema de almacenamiento de energía (ESS) y la red eléctrica inteligente (SG) como sistemas de adquisición de energía. Se asume que el EH-HetNet es una implementación de redes de dos niveles donde los EH-MBSs se comparten pasivamente entre un conjunto de MNOs y EH-SBSs se proporcionan a los MNOs de un proveedor de infraestructura. Teniendo en cuenta la ubicación de la infraestructura y la variedad de partes interesadas e involucradas en el despliegue de la red, se proponen enfoques de intercambio de RE (REE) como un intercambio cooperativo de RE para los EH-MBS compartidos, basado en la teoría de bancarrota, y un no cooperativo comercio de RE para los EH-SBSs, que es asistido por un agregador y basado en las subastas dobles. El rendimiento de los esquemas propuestos se evalúa en términos de las horas de independencia del sistema estudiado con respecto al SG, la imparcialidad regulada por la solución proporcionada y los beneficios económicos extraídos para las interesadas.Postprint (published version

Control Strategies for Energy Efficiency of Next-generation Cellular Networks with Hybrid Energy Sources

Large-scale systems are characterised by having a large number of components working in coordination. These systems can be composed of geographically distributed elements with resource limitations. In this way, control strategies for large-scale systems have challenges related to information flow, processing time and capacity, controller design, and energyresource optimisation. One particular large-scale system is the next-generation mobile communications cellular network, which will comprise hundreds of base stations interacting with thousands of users in milliseconds. One of the main challenges with next-generation cellular networks (NGCNs) is the higher energy consumption caused by the expected number of connected devices. Here, renewable energies are a good option to face the growing demand of energy consumption. However, there are still major challenges related to the appropriate control schemes to minimise ongrid consumption and optimise energy management in cellular networks with hybrid energy sources (grid and renewable energy). In this thesis, different control strategies for large-scale networks are proposed. These control strategies are assessed over an NGCN powered by hybrid energy sources to reduce grid consumption. The energy-efficiency problem is studied from the viewpoint of the energetic processes – i.e., on-place renewable energy is available, and mechanisms to reduce the gridenergy consumption should be developed. The proposed mechanisms are based on previous research that shows the relationship between the number of users connected to a cellular network base station (BS) and its energy consumption. For this reason, the study of optimal control mechanisms that balance the load of users over the available BSs according to the renewable energy available is a key element in the field of energy efficiency in cellular networks. These schemes are assessed through simulations and then compared with the scheme actually used to manage the user–BS association in cellular networks. The results show that the proposed control schemes improve grid-electricity consumption compared with the traditional association mechanism while still maintaining adequate quality-of-service (QoS) levels. The control schemes for the energy-efficiency problem were studied in two timescales. The short timescale (of the order of seconds) was used to analyse the user–BS association problem in a network configuration with hybrid power sources without an energy storage system. The long timescale (of the order of hours) was used to study load balancing of aggregated traffic in each BS with hybrid power sources and an energy storage system. Finally, the proposed controllers are of different types: (i) centralised, (ii) distributed at the base-station level, and (iii) distributed at the user levelResumen: Los sistemas de gran escala se caracterizan por tener un gran n´umero de componentes trabajando de forma coordinada. Estos sistemas est´an conformados por elementos que pueden estar distribuidos a lo largo de una extensa ´area geogr´afica y poseer restricciones en cuanto a la disponibilidad de recursos necesarios para su funcionamiento. Teniendo en cuenta estas caracter´ısticas, las estrategias de control para sistemas de gran escala presentan retos relacionados con el flujo de la informaci´on, la capacidad y tiempo de procesamiento, el dise˜no de los controladores y la optimizaci´on de los recursos disponibles. Un tipo particular de sistema de gran escala son las redes de comunicaci´on m´ovil celular de pr´oxima generaci´on, que se encontrar´an conformadas por cientos de estaciones base que interactuar´an con miles de usuarios en instantes de tiempo del orden de los milisegundos. Uno de los principales desaf´ıos en las redes celulares de pr´oxima generaci´on (RCPG) es el incremento en el consumo energ´etico causado por el crecimiento esperado de dispositivos conectados. En este contexto, las energ´ıas renovables son una buena alternativa para afrontar la creciente demanda de consumo energ´etico. Sin embargo, existen importantes desaf´ıos relacionados con los esquemas de control adecuados para minimizar el consumo de energ´ıa proveniente de la red el´ectrica convencional (grid) y optimizar la gesti´on energ´etica en redes celulares con fuentes de alimentaci´on h´ıbrida (grid y renovable). En esta tesis, se proponen y eval´uan diferentes estrategias de control para redes de gran escala, utilizando como caso de estudio las RCPG alimentadas con fuentes h´ıbridas y su objetivo de reducir el consumo grid. El problema de la eficiencia energ´etica es estudiado desde el punto de vista de los procesos energ´eticos, es decir, de la disponibilidad de energ´ıa renovable en el emplazamiento del sistema y los mecanismos para reducir el consumo energ´etico. Los mecanismos propuestos se basan en investigaciones previas que demostraron la relaci´on existente entre el n´umero de usuarios conectados a las estaciones base (EB) de la red y su consumo energ´etico. Por esta raz´on, el estudio de mecanismos de control ´optimo que balanceen la carga de tr´afico sobre las EB de acuerdo con la energ´ıa renovable disponible es un elemento clave en el campo de la eficiencia energ´etica en redes celulares. Estos esquemas son evaluados a trav´es de simulaciones y comparados con el mecanismo usado actualmente por las redes celulares para gestionar la asociaci´on de los usuarios a las EB. Los resultados de la tesis muestran que los esquemas de control propuestos mejoran el consumo grid comparado con el mecanismo de asociaci´on tradicional a la vez que mantienen adecuados niveles de calidad del servicio. Los esquemas de control para el problema de la eficiencia energ´etica fueron estudiados en dos escalas de tiempo. La corta escala de tiempo (del orden de los segundos) fue usada para analizar el problema de la asociaci´on de los usuarios a las EB en una configuraci´on de red con fuentes de potencia h´ıbridas y sin sistema de almacenamiento energ´etico. La larga escala de tiempo (del orden de horas) fue utilizada para estudiar el balanceo de carga de tr´afico agregado en cada EB, con fuentes h´ıbridas de potencia y con sistema de almacenamiento energ´etico. Finalmente, los controladores desarrollados son de diferentes tipos: i) esquema centralizado, ii) esquemas distribuidos a nivel de usuario y iii) esquemas distribuidos a nivel de estaciones base.Doctorad

Energy sustainability of next generation cellular networks through learning techniques

The trend for the next generation of cellular network, the Fifth Generation (5G), predicts a 1000x increase in the capacity demand with respect to 4G, which leads to new infrastructure deployments. To this respect, it is estimated that the energy consumption of ICT might reach the 51% of global electricity production by 2030, mainly due to mobile networks and services. Consequently, the cost of energy may also become predominant in the operative expenses of a Mobile Network Operator (MNO). Therefore, an efficient control of the energy consumption in 5G networks is not only desirable but essential. In fact, the energy sustainability is one of the pillars in the design of the next generation cellular networks. In the last decade, the research community has been paying close attention to the Energy Efficiency (EE) of the radio communication networks, with particular care on the dynamic switch ON/OFF of the Base Stations (BSs). Besides, 5G architectures will introduce the Heterogeneous Network (HetNet) paradigm, where Small BSs (SBSs) are deployed to assist the standard macro BS for satisfying the high traffic demand and reducing the impact on the energy consumption. However, only with the introduction of Energy Harvesting (EH) capabilities the networks might reach the needed energy savings for mitigating both the high costs and the environmental impact. In the case of HetNets with EH capabilities, the erratic and intermittent nature of renewable energy sources has to be considered, which entails some additional complexity. Solar energy has been chosen as reference EH source due to its widespread adoption and its high efficiency in terms of energy produced compared to its costs. To this end, in the first part of the thesis, a harvested solar energy model has been presented based on accurate stochastic Markov processes for the description of the energy scavenged by outdoor solar sources. The typical HetNet scenario involves dense deployments with a high level of flexibility, which suggests the usage of distributed control systems rather than centralized, where the scalability can become rapidly a bottleneck. For this reason, in the second part of the thesis, we propose to model the SBS tier as a Multi-agent Reinforcement Learning (MRL) system, where each SBS is an intelligent and autonomous agent, which learns by directly interacting with the environment and by properly utilizing the past experience. The agents implemented in each SBS independently learn a proper switch ON/OFF control policy, so as to jointly maximize the system performance in terms of throughput, drop rate and energy consumption, while adapting to the dynamic conditions of the environment, in terms of energy inflow and traffic demand. However, MRL might suffer the problem of coordination when finding simultaneously a solution among all the agents that is good for the whole system. In consequence, the Layered Learning paradigm has been adopted to simplify the problem by decomposing it in subtasks. In particular, the global solution is obtained in a hierarchical fashion: the learning process of a subtask is aimed at facilitating the learning of the next higher subtask layer. The first layer implements an MRL approach and it is in charge of the local online optimization at SBS level as function of the traffic demand and the energy incomes. The second layer is in charge of the network-wide optimization and it is based on Artificial Neural Networks aimed at estimating the model of the overall network.Con la llegada de la nueva generación de redes móviles, la quinta generación (5G), se predice un aumento por un factor 1000 en la demanda de capacidad respecto a la 4G, con la consecuente instalación de nuevas infraestructuras. Se estima que el gasto energético de las tecnologías de la información y la comunicación podría alcanzar el 51% de la producción mundial de energía en el año 2030, principalmente debido al impacto de las redes y servicios móviles. Consecuentemente, los costes relacionados con el consumo de energía pasarán a ser una componente predominante en los gastos operativos (OPEX) de las operadoras de redes móviles. Por lo tanto, un control eficiente del consumo energético de las redes 5G, ya no es simplemente deseable, sino esencial. En la última década, la comunidad científica ha enfocado sus esfuerzos en la eficiencia energética (EE) de las redes de comunicaciones móviles, con particular énfasis en algoritmos para apagar y encender las estaciones base (BS). Además, las arquitecturas 5G introducirán el paradigma de las redes heterogéneas (HetNet), donde pequeñas BSs, o small BSs (SBSs), serán desplegadas para ayudar a las grandes macro BSs en satisfacer la gran demanda de tráfico y reducir el impacto en el consumo energético. Sin embargo, solo con la introducción de técnicas de captación de la energía ambiental, las redes pueden alcanzar los ahorros energéticos requeridos para mitigar los altos costes de la energía y su impacto en el medio ambiente. En el caso de las HetNets alimentadas mediante energías renovables, la naturaleza errática e intermitente de esta tipología de energías constituye una complejidad añadida al problema. La energía solar ha sido utilizada como referencia debido a su gran implantación y su alta eficiencia en términos de cantidad de energía producida respecto costes de producción. Por consiguiente, en la primera parte de la tesis se presenta un modelo de captación de la energía solar basado en un riguroso modelo estocástico de Markov que representa la energía capturada por paneles solares para exteriores. El escenario típico de HetNet supondrá el despliegue denso de SBSs con un alto nivel de flexibilidad, lo cual sugiere la utilización de sistemas de control distribuidos en lugar de aquellos que están centralizados, donde la adaptabilidad podría convertirse rápidamente en un reto difícilmente gestionable. Por esta razón, en la segunda parte de la tesis proponemos modelar las SBSs como un sistema multiagente de aprendizaje automático por refuerzo, donde cada SBS es un agente inteligente y autónomo que aprende interactuando directamente con su entorno y utilizando su experiencia acumulada. Los agentes en cada SBS aprenden independientemente políticas de control del apagado y encendido que les permiten maximizar conjuntamente el rendimiento y el consumo energético a nivel de sistema, adaptándose a condiciones dinámicas del ambiente tales como la energía renovable entrante y la demanda de tráfico. No obstante, los sistemas multiagente sufren problemas de coordinación cuando tienen que hallar simultáneamente una solución de forma distribuida que sea buena para todo el sistema. A tal efecto, el paradigma de aprendizaje por niveles ha sido utilizado para simplificar el problema dividiéndolo en subtareas. Más detalladamente, la solución global se consigue de forma jerárquica: el proceso de aprendizaje de una subtarea está dirigido a ayudar al aprendizaje de la subtarea del nivel superior. El primer nivel contempla un sistema multiagente de aprendizaje automático por refuerzo y se encarga de la optimización en línea de las SBSs en función de la demanda de tráfico y de la energía entrante. El segundo nivel se encarga de la optimización a nivel de red del sistema y está basado en redes neuronales artificiales diseñadas para estimar el modelo de todas las BSsPostprint (published version

Network resource allocation policies with energy transfer capabilities

During the last decades, mobile network operators have witnessed an exponential increase in the traffic demand, mainly due to the high request of services from a huge amount of users. The trend is of a further increase in both the traffic demand and the number of connected devices over the next years. The traffic load is expected to have an annual growth rate of 53% for the mobile network alone, and the upcoming industrial era, which will connect different types of devices to the mobile infrastructure including human and machine type communications, will definitely exacerbate such an increasing trend. The current directions anticipate that future mobile networks will be composed of ultra dense deployments of heterogeneous Base Stations (BSs), where BSs using different transmission powers coexist. Accordingly, the traditional Macro BSs layer will be complemented or replaced with multiple overlapping tiers of small BSs (SBSs), which will allow extending the system capacity. However, the massive use of Information and Communication Technology (ICT) and the dense deployment of network elements is going to increase the level of energy consumed by the telecommunication infrastructure and its carbon footprint on the environment. Current estimations indicates that 10% of the worldwide electricity generation is due to the ICT industry and this value is forecasted to reach 51% by 2030, which imply that 23% of the carbon footprint by human activity will be due to ICT. Environmental sustainability is thus a key requirement for designing next generation mobile networks. Recently, the use of Renewable Energy Sources (RESs) for supplying network elements has attracted the attention of the research community, where the interest is driven by the increased efficiency and the reduced costs of energy harvesters and storage devices, specially when installed to supply SBSs. Such a solution has been demonstrated to be environmentally and economically sustainable in both rural and urban areas. However, RESs will entail a higher management complexity. In fact, environmental energy is inherently erratic and intermittent, which may cause a fluctuating energy inflow and produce service outage. A proper control of how the energy is drained and balanced across network elements is therefore necessary for a self-sustainable network design. In this dissertation, we focus on energy harvested through solar panels that is deemed the most appropriate due to the good efficiency of commercial photovoltaic panels as well as the wide availability of the solar source for typical installations. The characteristics of this energy source are analyzed in the first technical part of the dissertation, by considering an approach based on the extraction of features from collected data of solar energy radiation. In the second technical part of the thesis we introduce our proposed scenario. A federation of BSs together with the distributed harvesters and storage devices at the SBS sites form a micro-grid, whose operations are managed by an energy management system in charge of controlling the intermittent and erratic energy budget from the RESs. We consider load control (i.e., enabling sleep mode in the SBSs) as a method to properly manage energy inflow and spending, based on the traffic demand. Moreover, in the third technical part, we introduce the possibility of improving the network energy efficiency by sharing the exceeding energy that may be available at some BS sites within the micro-grid. Finally, a centralized controller based on supervised and reinforcement learning is proposed in the last technical part of the dissertation. The controller is in charge of opportunistically operating the network to achieve efficient utilization of the harvested energy and prevent SBSs blackout.Durante las últimas décadas, los operadores de redes móviles han sido testigos de un aumento exponencial en la demanda de tráfico, principalmente debido a la gran solicitud de servicios de una gran cantidad de usuarios. La tendencia es un aumento adicional tanto en la demanda de tráfico como en la cantidad de dispositivos conectados en los próximos años. Se espera que la carga de tráfico tenga una tasa de crecimiento anual del 53% solo para la red móvil, y la próxima era industrial, que conectará diferentes tipos de dispositivos a la infraestructura móvil, definitivamente exacerbará tal aumento. Las instrucciones actuales anticipan que las redes móviles futuras estarán compuestas por despliegues ultra densos de estaciones base (BS) heterogéneas. En consecuencia, la capa tradicional de Macro BS se complementará o reemplazará con múltiples niveles superpuestos de pequeños BS (SBS), lo que permitirá ampliar la capacidad del sistema. Sin embargo, el uso masivo de la Tecnología de la Información y la Comunicación (TIC) y el despliegue denso de los elementos de la red aumentará el nivel de energía consumida por la infraestructura de telecomunicaciones y su huella de carbono en el medio ambiente. Las estimaciones actuales indican que el 10% de la generación mundial de electricidad se debe a la industria de las TIC y se prevé que este valor alcance el 51% para 2030, lo que implica que el 23% de la huella de carbono por actividad humana se deberá a las TIC. La sostenibilidad ambiental es, por lo tanto, un requisito clave para diseñar redes móviles de próxima generación. Recientemente, el uso de fuentes de energía renovables (RES) para suministrar elementos de red ha atraído la atención de la comunidad investigadora, donde el interés se ve impulsado por el aumento de la eficiencia y la reducción de los costos de los recolectores y dispositivos de almacenamiento de energía, especialmente cuando se instalan para suministrar SBS. Se ha demostrado que dicha solución es ambiental y económicamente sostenible tanto en áreas rurales como urbanas. Sin embargo, las RES conllevarán una mayor complejidad de gestión. De hecho, la energía ambiental es inherentemente errática e intermitente, lo que puede causar una entrada de energía fluctuante y producir una interrupción del servicio. Por lo tanto, es necesario un control adecuado de cómo se drena y equilibra la energía entre los elementos de la red para un diseño de red autosostenible. En esta disertación, nos enfocamos en la energía cosechada a través de paneles solares que se considera la más apropiada debido a la buena eficiencia de los paneles fotovoltaicos comerciales, así como a la amplia disponibilidad de la fuente solar para instalaciones típicas. Las características de esta fuente de energía se analizan en la primera parte técnica de la disertación, al considerar un enfoque basado en la extracción de características de los datos recopilados de radiación de energía solar. En la segunda parte técnica de la tesis presentamos nuestro escenario propuesto. Una federación de BS junto con los cosechadores distribuidos y los dispositivos de almacenamiento forman una microrred, cuyas operaciones son administradas por un sistema de administración de energía a cargo de controlar el presupuesto de energía intermitente y errático de las RES. Consideramos el control de carga como un método para administrar adecuadamente la entrada y el gasto de energía, en función de la demanda de tráfico. Además, en la tercera parte técnica, presentamos la posibilidad de mejorar la eficiencia energética de la red al compartir la energía excedente que puede estar disponible en algunos sitios dentro de la microrred. Finalmente, se propone un controlador centralizado basado en aprendizaje supervisado y de refuerzo en la última parte técnica de la disertación. El controlador está a cargo de operar la red para lograr una utilización eficiente de energía y previene el apagón de SB

Delay and energy efficiency optimizations in smart grid neighbourhood area networks

Smart grids play a significant role in addressing climate change and growing energy demand. The role of smart grids includes reducing greenhouse gas emission reduction by providing alternative energy resources to the traditional grid. Smart grids exploit renewable energy resources into the power grid and provide effective two-way communications between smart grid domains for efficient grid control. The smart grid communication plays a pivotal role in coordinating energy generation, energy transmission, and energy distribution. Cellular technology with long term evolution (LTE)-based standards has been a preference for smart grid communication networks. However, integrating the cellular technology and the smart grid communication network puts forth a significant challenge for the LTE because LTE was initially invented for human centric broadband purpose. Delay and energy efficiency are two critical parameters in smart grid communication networks. Some data in smart grids are real-time delay-sensitive data which is crucial in ensuring stability of the grid. On the other hand, when abnormal events occur, most communication devices in smart grids are powered by local energy sources with limited power supply, therefore energy-efficient communications are required. This thesis studies energy-efficient and delay-optimization schemes in smart grid communication networks to make the grid more efficient and reliable. A joint power control and mode selection in device-to-device communications underlying cellular networks is proposed for energy management in the Future Renewable Electric Energy Delivery and Managements system. Moreover, a joint resource allocation and power control in heterogeneous cellular networks is proposed for phasor measurement units to achieve efficient grid control. Simulation results are presented to show the effectiveness of the proposed schemes