Modified reinforcement learning based- caching system for mobile edge computing

International audienceCaching contents at the edge of mobile networks is an efficient mechanism that can alleviate the backhaul links loadand reduce the transmission delay. For this purpose, choosing an adequate caching strategy becomes an importantissue. Recently, the tremendous growth ofMobile Edge Computing(MEC) empowers the edge network nodes withmore computation capabilities and storage capabilities, allowing the execution of resource-intensive tasks within themobile network edges such as running artificial intelligence (AI) algorithms. Exploiting users context informationintelligently makes it possible to design an intelligent context-aware mobile edge caching. To maximize the cachingperformance, the suitable methodology is to consider both context awareness and intelligence so that the cachingstrategy is aware of the environment while caching the appropriate content by making the right decision. Inspiredby the success ofreinforcement learning(RL) that uses agents to deal with decision making problems, we presentamodified reinforcement learning(mRL) to cache contents in the network edges. Our proposed solution aims tomaximize the cache hit rate and requires a multi awareness of the influencing factors on cache performance. Themodified RL differs from other RL algorithms in the learning rate that uses the method ofstochastic gradient decent(SGD) beside taking advantage of learning using the optimal caching decision obtained from fuzzy rules.Index Terms — Caching, Reinforcement Learning, Fuzzy Logic, Mobile Edge Computing

Sistema multiagente inteligente para gestão energética baseado em dispositivos IoT distribuídos

Devido à pandemia mundial que se iniciou no primeiro trimestre do ano de 2020 e que persiste até aos dias de hoje, inúmeros confinamentos populacionais foram ocorrendo, verificando-se com isso uma redução da procura de energia elétrica a nível mundial. No entanto, com o gradual regresso à normalidade, assiste-se ao aumento dessa procura de energia elétrica. Devido a este aumento atípico da procura, saber como gerir a energia elétrica que é gasta, é essencial. Neste trabalho é proposto um sistema inteligente de gestão de energia elétrica em edifícios, recorrendo para isso a dispositivos de Internet das Coisas, tais como sensores de temperatura, sensores de presença e sensores de luminosidade. A gestão da interação entre todos esses dispositivos foi realizada através de um sistema multiagente, onde cada agente do sistema é responsável por um dispositivo IoT. Esses dispositivos possuem capacidade de aprendizagem própria, conseguido através da implementação de redes neuronais artificiais nos microprocessadores dos dispositivos IoT. Desta forma, gera-se a capacidade do sistema em agir e reagir em tempo real e em função dos dados que são existentes e recolhidos. Este é um dos principais pontos do sistema, considerando que implementar redes neuronais artificiais em microprocessadores ainda é um desafio considerável, e ao mesmo tempo é uma das grandes vantagens do mesmo. Foram atingidos resultados muito satisfatórios no que respeita à experimentação realizada, dando especial ênfase ao caso de estudo em que foi utilizada a temperatura e um sistema HVAC, onde o dispositivo IoT responsável por esse parâmetro, efetua a recolha da temperatura atual sentida, para introduzir depois esse dado na rede neuronal artificial que o próprio possui com a finalidade de obter o resultado em previsão, ou seja, o resultado do que seria a ação que o HVAC deveria fazer em função dos valores previstos. Ter este tipo de inteligência num sistema como o desenvolvido é importante e relevante porque possibilita a ação correta do mesmo nos mais diversos casos de ação, uma vez que dados muito díspares não induzem o sistema em erro, porque os resultados previstos são obtidos através das redes neuronais artificiais aplicadas e utilizadas. Trata-se assim de um sistema mais preciso e mais assertivo, algo importante quando se fala em gestão energética inteligente.Due to the global pandemic that began in the first quarter of 2020 and persists to this day, numerous population confinements have taken place, resulting in a reduction in demand for electricity worldwide. However, with the gradual return to normality, there is an increase in this demand for electricity. Due to this unusual increase in demand, knowing how to manage the electrical energy that is spent is essential. In this work, an intelligent system for managing electrical energy in buildings is proposed, using Internet of Things devices, such as temperature sensors, presence sensors and light sensors. The management of the interaction between all these devices was carried out through a multi-agent system, where each agent in the system is responsible for an IoT device. These devices have their own learning capacity, achieved through the implementation of artificial neural networks in the microprocessors of IoT devices. In this way, the system's ability to act and react in real time is generated and based on the data that is existing and collected. This is one of the main points of the system, considering that implementing artificial neural networks in microprocessors is still a considerable challenge, and at the same time it is one of its great advantages. Very satisfactory results were achieved with regard to the experimentation carried out, giving special emphasis to the case study in which the temperature and an HVAC system were used, where the IoT device responsible for this parameter, collects the current temperature felt, to then introduce this data in the artificial neural network that it has in order to obtain the result in prediction, that is, the result of what would be the action that the HVAC should do in terms of the predicted values. Having this type of intelligence in a system like the one developed is important and relevant because it allows the correct action of the same in the most diverse cases of action, since very disparate data do not mislead the system, because the predicted results are obtained through the networks. artificial neurons applied and used. It is therefore a more precise and assertive system, something important when it comes to intelligent energy management