Integrando o Machine Learning a um sistema de simulação baseada em agentes

Industrial competitiveness has been increasing more and more in recent years and one of the alternatives to face this competitiveness is the use of Industry 4.0 technologies, and among them are Simulation and Big Data. Big Data involves a large generation of data that needs interpretation, which can be interpreted using machine learning algorithms from reinforcement learning, which can be in conjunction with simulation. Computer simulation is the incorporation of the real world into a virtual system, absorbing the fundamental characteristics, and one of the simulation methods is Agent-Based Simulation, in which the agent is the focus of the system. In this context, this work proposes to explain how it is possible to integrate machine learning to an agent-based simulation system. Being a tool to aid the modeler, showing two ways to carry out this implementation in AnyLogic® software. The first way will be using an external tool, the Pathmind, for that, a system will be created that generates boxes of three different colors (red, green and blue), represented by vectors, at random. The system must be able to identify the color of the box, focusing on the description of the steps to be followed to carry out the implementation using this tool. The tool efficiency test was given based on the number of adjustments that the machine is capable of performing, and the result found showed a high efficiency by this tool. Since before the implementation of machine learning, the system acted randomly, matching the colors following the statistical probability of randomness predicted for this problem, which was 12.5%, and after the implementation, the system reached a rate 100% hit. The second way will be directly in the AnyLogic® software, using Java programming language through the Q-learning reinforcement learning algorithm, which was developed in this research. For this, the same basis as the previous computational model will be used, however, for this application, boxes of five different colors will be created (red, green, blue, white and black), and will be represented through strings, in which the system seeks to hit the right box color from machine learning using the Q-learning algorithm and using the Q result matrix. And as with the form using the external tool, the emphasis will be on demonstrating all the steps to be followed to complete this implementation. The system again proved to be efficient, being able to correctly identify in all attempts. So this work was able to show two efficient ways to implement reinforcement learning in AnyLogic® software, using an external tool and in a direct way, in which the first one needs a lower level of knowledge of machine learning and programming, proving to be simpler, however, it is black box, while the second way is the opposite, requiring a high level of knowledge of machine learning and programming, but with open source.A competitividade industrial vem aumentando cada vez mais nos últimos anos e uma das alternativas para enfrentar essa competitividade é a utilização das tecnologias da Indústria 4.0, e entre elas, se encontram a Simulação e o Big Data. O Big Data envolve uma grande geração de dados que necessitam interpretação, no qual pode ser interpretado utilizando algoritmos de aprendizado de máquina a partir do aprendizado por reforço, que pode ser em conjunto com a simulação. A simulação computacional é a incorporação do mundo real em um sistema virtual, absorvendo as características fundamentais, e um dos métodos de simulação é a Simulação Baseada em Agentes, no qual o agente é o foco do sistema. Nesse contexto, esse trabalho propõe explicar como é possível integrar o aprendizado de máquina a um sistema de simulação baseada em agentes. Sendo assim, será utilizada uma ferramenta de auxílio ao modelador, mostrando duas formas para realizar essa implementação no software AnyLogic®. A primeira forma será utilizando uma ferramenta externa, o Pathmind, e para isso será criado um sistema que gera caixas de três cores diferentes (vermelho, verde e azul), representado por vetores de forma aleatória. O sistema deverá ser capaz de identificar qual a cor da caixa, sendo o foco na descrição das etapas a serem seguidas para realizar a implementação utilizando essa ferramenta. O teste de eficiência da ferramenta foi dado a partir do número de acertos que a máquina é capaz de realizar, e o resultado encontrado mostrou uma alta eficiência por parte dessa ferramenta. Uma vez que antes da implementação do aprendizado de máquina, o sistema agia de forma aleatória, acertando as cores seguindo a probabilidade estatística de aleatoriedade prevista para esse problema, que era de 12,5%, e após a implementação, o sistema alcançou uma taxa de acerto de 100%, fica evidente a eficiência da ferramenta. A segunda forma será de forma direta no software AnyLogic®, utilizando linguagem de programação Java por meio do algoritmo de aprendizagem por reforço Q-learning, que foi desenvolvido nessa pesquisa. Para isso será utilizado a mesma base do modelo computacional anterior, porém, para essa aplicação serão criadas caixas de cinco cores diferentes (vermelho, verde, azul, branco e preto), e serão representadas por meios de strings, no qual o sistema busca acertar a cor da caixa a partir do aprendizado de máquina utilizando o algoritmo Q-learning e utilizando a matriz de resultado Q. E assim como na forma utilizando a ferramenta externa, a ênfase será na demonstração de todas as etapas a serem seguidas para concluir essa implementação. O sistema novamente se mostrou eficiente sendo capaz de identificar de forma correta em todas as tentativas. Então esse trabalho conseguiu mostrar duas formas eficientes de implementar o aprendizado por reforço no software AnyLogic®, utilizando uma ferramenta externa e de forma direta, no qual a primeira necessita um nível inferior de conhecimento de aprendizado de máquina e programação, se mostrando mais simples, porém, é black box, enquanto da segunda forma é o contrário, exigindo um nível alto de conhecimento de aprendizado de máquina e programação, porém com código aberto

Utilização da simulação híbrida para representar o fator humano em sistemas produtivos.

A simulação computacional tem se tornado uma ferramenta amplamente utilizada no ambiente empresarial por auxiliar gestores a compreender melhor a dinâmica de processos complexos, que por muitas vezes não é captada por ferramentas matemáticas convencionais. Os projetos de simulação são desenvolvidos a fim de entender, analisar e prever o comportamento de diversos elementos de um sistema. O elemento humano é um dos elementos mais críticos de sistemas produtivos, uma vez que tem influência direta no comportamento destes sistemas, principalmente em sistemas onde se tem um trabalho com mão de obra manual intensiva. Embora pesquisadores já tenham visto a importância de compreender o elemento humano em uma organização, diversos autores apontam que em muitos projetos de simulação este elemento não é bem representado. Eles criticam ainda o fato de se ter uma grande preocupação em detalhar máquinas e equipamentos, enquanto o elemento humano é tratado como simples recursos que se desempenham de forma constante. Esta visão errônea do fator humano pode prejudicar os resultados gerados pelos modelos de simulação. A simulação a eventos discretos (SED), apesar de apresentar vantagens como flexibilidade e alto poder de análise de processos, apresenta dificuldade em termos de representação do fator humano, principalmente, por este apresentar comportamento bastante complexo. Ao utilizar esta ferramenta, devem-se fazer diversas suposições e adequações para representar o comportamento do ser humano em sistemas produtivos. Já a simulação baseada em agentes (SBA) tem sido apontada como uma excelente alternativa para representar o fator humano em diversas áreas, pois os agentes são seres autônomos, proativos e inteligentes, características inerentes ao ser humano. Portanto, combinou-se a SBA com a simulação a eventos discretos a fim de verificar se esta simulação híbrida torna os resultados simulados mais próximos do real. Nesta simulação híbrida, o fluxo do processo foi construído pela SED e o elemento humano representado por agentes, agentes estes que são influenciados por um fator que afeta a sua produtividade, neste caso o ritmo circadiano. Para tanto, três projetos de simulação de diferentes sistemas produtivos com mão de obra manual intensiva foram desenvolvidos e foi possível verificar que em ambos os casos o modelo de simulação híbrida (SBA e SED) foi estaticamente validado, apresentando resultados mais próximos do real quando comparados aos resultados de modelos de SED dos mesmos sistemas avaliados. Foi possível verificar também que a inserção do ritmo circadiano nestes casos, além de tornar a representação do fator humano mais próxima do real, não exige uma extensiva coleta de dados de tempo para alimentar o modelo computacional, reduzindo assim tempo e custo do desenvolvimento dos projetos de simulação

Simulação e realidade virtual: uma pesquisa experimental em engenharia de produção

Improving the development of education and learning requires in-depth study, especially when it comes to the learning of undergraduate Production Engineering students. The use of active teaching methodologies is the main interest of this work, which aims to evaluate the results from Simulation Based Learning (SBL) on the transfer of learning. In this thesis, the use of “Discrete Events Simulation" and "Virtual Reality" was investigated to improve the teaching of chronoanalysis in the Production Engineering course disciplines. Discrete Event Simulation, combined with Virtual Reality, was used to reinforce learning by replacing a real production line with virtual environments, thus connecting theory to practice. The research method used was the Experimental Research with the use of a control group and an experimental group of students. To verify the efficiency of the Simulation in conjunction with Virtual Reality, a comparative analysis was made between the results in teaching using SBL Interactive and Immersive with the traditional teaching method. The results revealed that learning with the use of Simulation in conjunction with Virtual Reality could improve the overall quality of learning and increase student understanding, in addition to increasing their confidence. The results showed that the students demonstrated a positive perception about the proposed methodology. The study's findings supported the Discrete Events Simulation together with Virtual Reality as having the potential to strengthen the development of undergraduate students in Production Engineering, preparing them to meet the industry's demands for more prepared engineers.Agência 1Melhorar o desenvolvimento da educação e aprendizado carecem de um estudo aprofundado, especialmente quando se trata do aprendizado de estudantes de graduação de Engenharia de Produção. A utilização de metodologias ativas de ensino é o principal interesse deste trabalho, que tem o objetivo de avaliar os resultados decorrentes da aplicação do Aprendizado Baseado em Simulação (ABS) ou Simulation Based Learning (SBL) sobre a transferência de aprendizagem. Nesta tese, foi investigado o uso de “Simulação a Eventos Discretos” e “Realidade Virtual” para melhorar o ensino de cronoanálise em disciplinas do curso de engenharia de produção. A Simulação a Eventos Discretos, aliada à Realidade Virtual, foi usada para reforçar o aprendizado substituindo uma linha de produção real por ambientes virtuais, conectando assim a teoria à prática. O método de pesquisa utilizado foi o da Pesquisa Experimental com a utilização de um grupo controle e um grupo experimental de alunos. Para a verificação da eficiência da Simulação em conjunto com Realidade Virtual foi feita uma análise comparativa entre as decorrências no ensino utilizando ABS Interativo e Imersivo com o método tradicional de ensino. Os resultados revelaram que o aprendizado com a utilização de Simulação em conjunto com Realidade Virtual pode melhorar a qualidade geral do aprendizado e aumentar a compreensão do aluno, além de aumentar sua confiança. Os resultados evidenciaram que os alunos demonstraram uma percepção positiva sobre a metodologia proposta. As descobertas do estudo apoiaram a Simulação a Eventos Discretos juntamente com Realidade Virtual como tendo potencial para fortalecer o desenvolvimento do aprendizado de alunos de graduação em Engenharia de Produção, preparando-os para atender às demandas da indústria por engenheiros mais preparados