Autonomous agents in Industry 4.0 : A self-optimizing approach for automated guided vehicles in Industry 4.0 environments

Abstract

Automated guided vehicles are an integral part of industrial production today. They are moving products to and from shelves in storage warehouses and fetching tools between different workstations in factories. These robots usually follow strict pre-determined paths and are not good at adapting to changes in the environment. Technologies like artificial intelligence and machine learning are currently being implemented in industrial production, a part of what is called Industry 4.0, with the aim of increasing efficiency and automation. Industry 4.0 is also characterized by more connected factory environments, where objects communicate their status, location, and other relevant information to their surroundings. Automated guided vehicles can take advantage of these technologies and can benefit from self-optimizing approaches for better navigation and increased flexibility. Reinforcement learning is used in this project to teach automated guided vehicles to move objects around in an Industry 4.0 warehouse environment. A 10x10 grid world with numerous object destinations, charging stations and agents is created for evaluation purposes. The results show that the agents are able to learn to take efficient routes by balancing the need to finish tasks as fast as possible and recharge their batteries when needed. The agents successfully complete all tasks without running out of battery or colliding with objects in the environment. The result is a demonstration of how reinforcement learning can be applied to automated guided vehicles in Industry 4.0 environments.Automatiserade styrda fordon är en integrerad del av dagens industriproduktion. De flyttar produkter till och från hyllor i lagerlokaler och hämtar verktyg mellan olika arbetsstationer i fabriker. Dessa robotar följer vanligtvis strikta förutbestämda vägar och är inte bra på att anpassa sig till förändringar i miljön. Teknik som artificiell intelligens och maskininlärning implementeras just nu i industriproduktion, en del av det som kallas Industri 4.0, i syfte om ökad effektivitet och automatisering. Industri 4.0 kännetecknas också av mer uppkopplade fabriksmiljöer, där objekt kommunicerar sin status, plats och annan relevant information till sin omgivning. Automatiserade styrda fordon kan utnyttja de här teknikerna och kan dra nytta av självoptimerande metoder för bättre navigering och ökad flexibilitet. Förstärkningsinlärning används i detta projekt för att lära automatiserade styrda fordon att flytta runt föremål i en Industri 4.0 lagermiljö. En 10x10 stor rut-värld med flertalet destinationer, laddningsstationer och agenter skapas i utvärderingssyfte. Resultaten visar att agenterna kan lära sig att ta effektiva vägar genom att balansera behovet av att slutföra sina uppgifter så fort som möjligt och ladda upp sina batterier när det behövs. Agenterna slutför framgångsrikt sina uppgifter utan att få slut på batteri eller att kollidera med föremål i miljön. Resultatet är en demonstration av hur förstärkningsinlärning kan tillämpas på automatiserade styrda fordon i Industri 4.0-miljöer