2 research outputs found
Distributed edge caching via reinforcement learning in fog radio access networks
Abstract
In this paper, the distributed edge caching problem in fog radio access networks (F-RANs) is investigated. By considering the unknown spatio-temporal content popularity and user preference, a user request model based on hidden Markov process is proposed to characterize the fluctuant spatio-temporal traffic demands in F-RANs. Then, the Q-learning method based on the reinforcement learning (RL) framework is put forth to seek the optimal caching policy in a distributed manner, which enables fog access points (F-APs) to learn and track the potential dynamic process without extra communications cost. Furthermore, we propose a more efficient Q-learning method with value function approximation (Q-VFA-learning) to reduce complexity and accelerate convergence. Simulation results show that the performance of our proposed method is superior to those of the traditional methods
Characterizing and improving decision-making in Fog Radio Access Networks
Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2021.Fog Radio Access Networks (F-RANs) são o resultado da aplicação de paradigmas de fog/edge computing
em cloud radio access networks, herdando componentes e aspectos de ambos. As técnicas de Inteligência
Artificial (IA) podem ser aplicadas às F-RANs para obter maior eficiência energética, maior rendimento e/ou
menor consumo de energia de processamento, e melhor tomada de decisão em diferentes situações. No
entanto, para selecionar uma técnica apropriada de IA a ser aplicada, é necessário levar em consideração as
diferentes granularidades de tempo nas quais a tomada de decisão ocorre em F-RANs. Na primeira parte
deste trabalho são discutidos os benefícios e desafios da implementação de uma F-RAN orientado a IA,
considerando três granularidades de tempo. Para cada granularidade, são destacadas as principais técnicas de
aprendizado, como redes neurais profundas, aprendizado de reforço, aprendizado on-line e classificadores.
Para permitir a integração entre soluções de IA, é proposta uma arquitetura multiagente para F-RANs. Além
disso, é explorado um problema específico a partir da granularidade de horas. Nesse sentido, são
investigadas oportunidades para as operadoras reduzirem seus gastos através da alocação ideal de virtual
Base Band Units (vBBUs). A alocação ideal pode gerar oportunidades de receita adicionais, alugando
recursos de processamento ocioso para Application Service Providers (ASPs). Em particular, o desafio de
melhorar a alocação de vBBU em termos da atribuição ideal das cargas de trabalho entre Remote Radio
Heads (RRHs) e Micro Data Centers (MDCs), considerando o trade-off entre a distância entre MDC e RRH e
o consumo de poder de processamento. Assim, é proposto um modelo de otimização para decidir as
atribuições entre MDCs e RRHs. A solução ideal é obtida por meio de Binary Integer Linear Programming. A
solução é avaliada aplicando um conjunto de dados Call Detail Records reais, simulando diferentes regiões
de Milão. A técnica de agrupamento k-means foi utilizada para identificar o comportamento do tráfego de
Internet em diferentes regiões de Milão. Os resultados destacam oportunidades para as operadoras
explorarem sua infraestrutura e aumentarem seus ganhos.Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES).Fog Radio Access Networks (F-RANs) are the result of the application of fog paradigm to cloud radio access
networks, inheriting components and aspects from both. Artificial Intelligence (AI) techniques can be applied
to F-RANs to achieve enhanced energy efficiency, increased throughput, and/or decreased processing power
consumption. Nonetheless, to select an appropriated AI technique to apply, it is necessary to take into
account the different time granularities at which decision-making occurs in F-RANs. In the first part of this
work, the benefits and challenges of implementing an AI-driven F-RAN considering three time granularities
(hours, minutes/seconds, and milliseconds) are discussed. For each granularity, the key enabling AI
techniques are highlighted, such as deep neural networks, reinforcement learning based algorithms, adaptive
online learning, and classifiers. To enable integration between AI solutions from the same time granularity
and from different granularities, a multi-agent architecture for F-RANs is proposed. Furthermore, a particular
problem from the time granularity hours is explored. In this sense, opportunities for network operators to
reduce their expenditures through optimal allocation of virtual Base Band Units (vBBUs) in F-RANs are
investigated. The optimal allocation can generate additional revenue opportunities by leasing idle processing
resources to Application Service Providers. In particular, the challenge of improving vBBUs allocation in
terms of optimal assignment of the workloads of Remote Radio Heads (RRHs) to Micro Data Centers
(MDCs) for cost minimisation is addressed, considering the trade-off between MDC and RRH distance and
processing power consumption. Thus, an optimisation model to decide the assignments between MDCs to
RRHs is proposed. The optimal solution is obtained through Binary Integer Linear Programming. The
solution is evaluated by applying a real Call Detail Record data set, assessing different regions from Milan.
K-means clustering was used to identify the Internet traffic behaviour of different regions in Milan. The
results highlight opportunities for network operators to exploit their infrastructure usage and increase their
gains