Elosztott, moduláris termelési struktúrák modellezése, tervezése és irányítása = Modelling, planning and control of distributed, modular production structures

Az Elosztott, moduláris termelési struktúrák modellezése, tervezése és irányítása című OTKA-projekt résztvevői új eredményeket értek el az ágens-alapú gyártás, a valósidejű kooperatív vállalatok, a termelésütemezés és újraütemezés, a sztochasztikus, dinamikus termelésirányítás, a gyártás-szimuláció és termékkövetés terén. Az eredményeket 45 publikációban ismertették, melyek összesített impakt faktora 9.429. A publikációkon kívül három PhD értekezés született, melyek közül kettő még elbírálás alatt áll. A kutatást az MTA elnöke 2006-ban külön keretből is támogatta, és tágabb témakörében a résztvevők több EU-projektet is elnyertek. Az alapkutatási eredmények felhasználása elsősorban a kapcsolódó Valósidejű, kooperatív vállalatok (VITAL) NKFP-projektben történt. A projekt során a GE Nagykanizsai fényforrásgyárában ipari bevezetésre került a több mint 100 gyártósor ütemezését végző rendszer; az ún. MES/Cockpit rendszer, mely a gyártási folyamatból valósidőben érkező adatok alapján támogatja a döntéshozót a zavarok azonosításában és elhárításában; valamint az ún. Logisztikai Platform (LP), mely - a felek autonómiáját megtartva - a beszállítói hálózatok működését segíti. | The participants of the Modelling, planning and control of distributed, modular production structures OTKA-project achieved new results in the fields of agent-based manufacturing; real-time cooperative enterprises; production scheduling and rescheduling; stochastic, dynamic production control; production simulation and product tracking and tracing. The results have been published in 45 publications with a cumulative impact factor of 9.429. Beyond the publications, the participants wrote 3 PhD dissertations, two of them are under review now. The research was supported also by the dedicated budget of the President of the Hungarian Academy of Sciences in 2007, and the participants won several EU research projects in the broader field of the subject. The results of the basic research activities were primarily applied in the Real-time, cooperative enterprises (VITAL) project of the National Research and Development Programme (NKFP). In the Lighting factory Nagykanizsa of GE, the following main systems have been introduced: the daily scheduling system for more than 100 production lines; the MES/Cockpit system, on the base of real-time production data, supports the decision makers in analysing the deviations and bringing appropriate measures; the Logistic Platform (LP) which ? while keeping the autonomy of the participant enterprises ? supports the supply chain management

Autonomous order dispatching in the semiconductor industry using reinforcement learning

Cyber Physical Production Systems (CPPS) provide a huge amount of data. Simultaneously, operational decisions are getting ever more complex due to smaller batch sizes, a larger product variety and complex processes in production systems. Production engineers struggle to utilize the recorded data to optimize production processes effectively because of a rising level of complexity. This paper shows the successful implementation of an autonomous order dispatching system that is based on a Reinforcement Learning (RL) algorithm. The real-world use case in the semiconductor industry is a highly suitable example of a cyber physical and digitized production system

Adaptive Order Dispatching based on Reinforcement Learning: Application in a Complex Job Shop in the Semiconductor Industry

Heutige Produktionssysteme tendieren durch die Marktanforderungen getrieben zu immer kleineren Losgrößen, höherer Produktvielfalt und größerer Komplexität der Materialflusssysteme. Diese Entwicklungen stellen bestehende Produktionssteuerungsmethoden in Frage. Im Zuge der Digitalisierung bieten datenbasierte Algorithmen des maschinellen Lernens einen alternativen Ansatz zur Optimierung von Produktionsabläufen. Aktuelle Forschungsergebnisse zeigen eine hohe Leistungsfähigkeit von Verfahren des Reinforcement Learning (RL) in einem breiten Anwendungsspektrum. Im Bereich der Produktionssteuerung haben sich jedoch bisher nur wenige Autoren damit befasst. Eine umfassende Untersuchung verschiedener RL-Ansätze sowie eine Anwendung in der Praxis wurden noch nicht durchgeführt. Unter den Aufgaben der Produktionsplanung und -steuerung gewährleistet die Auftragssteuerung (order dispatching) eine hohe Leistungsfähigkeit und Flexibilität der Produktionsabläufe, um eine hohe Kapazitätsauslastung und kurze Durchlaufzeiten zu erreichen. Motiviert durch komplexe Werkstattfertigungssysteme, wie sie in der Halbleiterindustrie zu finden sind, schließt diese Arbeit die Forschungslücke und befasst sich mit der Anwendung von RL für eine adaptive Auftragssteuerung. Die Einbeziehung realer Systemdaten ermöglicht eine genauere Erfassung des Systemverhaltens als statische Heuristiken oder mathematische Optimierungsverfahren. Zusätzlich wird der manuelle Aufwand reduziert, indem auf die Inferenzfähigkeiten des RL zurückgegriffen wird. Die vorgestellte Methodik fokussiert die Modellierung und Implementierung von RL-Agenten als Dispatching-Entscheidungseinheit. Bekannte Herausforderungen der RL-Modellierung in Bezug auf Zustand, Aktion und Belohnungsfunktion werden untersucht. Die Modellierungsalternativen werden auf der Grundlage von zwei realen Produktionsszenarien eines Halbleiterherstellers analysiert. Die Ergebnisse zeigen, dass RL-Agenten adaptive Steuerungsstrategien erlernen können und bestehende regelbasierte Benchmarkheuristiken übertreffen. Die Erweiterung der Zustandsrepräsentation verbessert die Leistung deutlich, wenn ein Zusammenhang mit den Belohnungszielen besteht. Die Belohnung kann so gestaltet werden, dass sie die Optimierung mehrerer Zielgrößen ermöglicht. Schließlich erreichen spezifische RL-Agenten-Konfigurationen nicht nur eine hohe Leistung in einem Szenario, sondern weisen eine Robustheit bei sich ändernden Systemeigenschaften auf. Damit stellt die Forschungsarbeit einen wesentlichen Beitrag in Richtung selbstoptimierender und autonomer Produktionssysteme dar. Produktionsingenieure müssen das Potenzial datenbasierter, lernender Verfahren bewerten, um in Bezug auf Flexibilität wettbewerbsfähig zu bleiben und gleichzeitig den Aufwand für den Entwurf, den Betrieb und die Überwachung von Produktionssteuerungssystemen in einem vernünftigen Gleichgewicht zu halten

Reinforcement learning in a distributed market-based production control system

The paper presents an adaptive iterative distributed scheduling algorithm that operates in a market-based production control system. The manufacturing system is agentified, thus, every machine and job is associated with its own software agent. Each agent learns how to select presumably good schedules, by this way the size of the search space can be reduced. In order to get adaptive behavior and search space reduction, a triple-level learning mechanism is proposed. The top level of learning incorporates a simulated annealing algorithm, the middle (and the most important) level contains a reinforcement learning system, while the bottom level is done by a numerical function approximator, such as an artificial neural network. The paper suggests a cooperation technique for the agents, as well. It also analyzes the time and space complexity of the solution and presents some experimental results. (C) 2006 Elsevier Ltd. All rights reserved