Explainable Deep Reinforcement Learning for Production Control

Due to the growing number of variants and smaller batch sizes manufacturing companies have to cope with increasing material flow complexity. Thus, increasing the difficulty for production planning and control (PPC) to create a feasible and economic production plan. Despite significant advances in PPC research, current PPC systems do not yet sufficiently meet the industry’s requirements (e.g., decision quality, reaction time, user trust). However, recent progress in the digitalization of production systems results in an increased amount of data being collected, thus enabling the use of data-intensive applications technologies, e.g., machine learning (ML). ML provides new possibilities for PPC to handle increasing complexity caused by rising numbers of product variants paired with smaller lot sizes. At the same time, ML can increase the decision quality and reduce the reaction time to disturbances in the production system, e.g., machine breakdowns. Partly, ML models, e.g., artificial neural networks (ANN), are perceived as black-box models, resulting in reduced user’s trust in the decision proposed by an ML-based PPC system. The approach presented in this publication aims at a more functional and user-friendly PPC system by leveraging multi-agent reinforcement-learning (MARL), an accomplished approach within the field of ML-based production control, and approaches for explaining decisions made by reinforcement learning (RL) algorithms. With the help of MARL, short reaction time and high decision quality can be realized. Subsequently, the developed MARL system is combined with methods from the field of explainable Artificial Intelligence (XAI) to increase the users’ trust. The use case results show that with the help of the developed system, rule-based controls, which are often used in industry, can be outperformed while providing explainable decisions

Optimization approach for the combined planning and control of an agile assembly system for electric vehicles

For some years now, the automotive industry has been challenged by growing market dynamics, shorter product lifecycles and customers' increasing demands for individualization. In order to cope with this development, the automotive assembly needs to adapt quickly to changing demands with a low level of investment in the future. Under the current circumstances, the traditional line assembly for high volume production is reaching its limits in terms of adaptability and scalability. A promising solution to address the current challenges is the concept of the agile assembly. The concept of agile assembly breaks up the rigid linkage of assembly stations and, thus, enables full flexibility in the sequence of assembly operations only limited by the precedence graph. Therefore, the routing of electric vehicles in the agile assembly is based on the availability of resources such as assembly stations and automated guided vehicles that handle the material supply. Further, by transferring the transport function to the vehicle itself, investments for convey or systems are eliminated. This research work presents an optimization approach for the machine scheduling and transportation planning, which derives instructions for electric vehicles, assembly stations as well as automated guided vehicles. For each electric vehicle, an optimized route is calculated, taking into account product-specific precedence graphs and minimizing the overall makespan. In addition, the machine scheduling and transportation planning is integrated into a combined planning and control concept which covers the allocation of resources and the assignment of capabilities of the entire assembly system. The approach is implemented and applied to a practical case of a compact electric vehicle. Thus, the work contributes to the evaluation of agile assembly systems in automotive production

Integrationsaspekte der Simulation: Technik, Orgnisation und Personal, Karlsruhe, 7. und 8. Oktober 2010 = Integration Aspects of Simulation: Equipment, Organization and Personnell, Karlsruhe, 7th and 8th October 2010

Die Integration technischer, organisatorischer und personalorientierter Aspekte in Simulationsverfahren ist das Leitthema der 14. Fachtagung der Arbeitsgemeinschaft Simulation (ASIM) innerhalb der Gesellschaft für Informatik, die vom Institut für Arbeitswissenschaft und Betriebsorganisation im Oktober 2010 ausgerichtet wurde. Der vorliegende Tagungsband gibt somit einen vertiefenden Einblick in neue Entwicklungen und Beispiele guter Praxis der Simulation über den deutschsprachigen Raum hinaus

Adaptive Order Dispatching based on Reinforcement Learning: Application in a Complex Job Shop in the Semiconductor Industry

Heutige Produktionssysteme tendieren durch die Marktanforderungen getrieben zu immer kleineren Losgrößen, höherer Produktvielfalt und größerer Komplexität der Materialflusssysteme. Diese Entwicklungen stellen bestehende Produktionssteuerungsmethoden in Frage. Im Zuge der Digitalisierung bieten datenbasierte Algorithmen des maschinellen Lernens einen alternativen Ansatz zur Optimierung von Produktionsabläufen. Aktuelle Forschungsergebnisse zeigen eine hohe Leistungsfähigkeit von Verfahren des Reinforcement Learning (RL) in einem breiten Anwendungsspektrum. Im Bereich der Produktionssteuerung haben sich jedoch bisher nur wenige Autoren damit befasst. Eine umfassende Untersuchung verschiedener RL-Ansätze sowie eine Anwendung in der Praxis wurden noch nicht durchgeführt. Unter den Aufgaben der Produktionsplanung und -steuerung gewährleistet die Auftragssteuerung (order dispatching) eine hohe Leistungsfähigkeit und Flexibilität der Produktionsabläufe, um eine hohe Kapazitätsauslastung und kurze Durchlaufzeiten zu erreichen. Motiviert durch komplexe Werkstattfertigungssysteme, wie sie in der Halbleiterindustrie zu finden sind, schließt diese Arbeit die Forschungslücke und befasst sich mit der Anwendung von RL für eine adaptive Auftragssteuerung. Die Einbeziehung realer Systemdaten ermöglicht eine genauere Erfassung des Systemverhaltens als statische Heuristiken oder mathematische Optimierungsverfahren. Zusätzlich wird der manuelle Aufwand reduziert, indem auf die Inferenzfähigkeiten des RL zurückgegriffen wird. Die vorgestellte Methodik fokussiert die Modellierung und Implementierung von RL-Agenten als Dispatching-Entscheidungseinheit. Bekannte Herausforderungen der RL-Modellierung in Bezug auf Zustand, Aktion und Belohnungsfunktion werden untersucht. Die Modellierungsalternativen werden auf der Grundlage von zwei realen Produktionsszenarien eines Halbleiterherstellers analysiert. Die Ergebnisse zeigen, dass RL-Agenten adaptive Steuerungsstrategien erlernen können und bestehende regelbasierte Benchmarkheuristiken übertreffen. Die Erweiterung der Zustandsrepräsentation verbessert die Leistung deutlich, wenn ein Zusammenhang mit den Belohnungszielen besteht. Die Belohnung kann so gestaltet werden, dass sie die Optimierung mehrerer Zielgrößen ermöglicht. Schließlich erreichen spezifische RL-Agenten-Konfigurationen nicht nur eine hohe Leistung in einem Szenario, sondern weisen eine Robustheit bei sich ändernden Systemeigenschaften auf. Damit stellt die Forschungsarbeit einen wesentlichen Beitrag in Richtung selbstoptimierender und autonomer Produktionssysteme dar. Produktionsingenieure müssen das Potenzial datenbasierter, lernender Verfahren bewerten, um in Bezug auf Flexibilität wettbewerbsfähig zu bleiben und gleichzeitig den Aufwand für den Entwurf, den Betrieb und die Überwachung von Produktionssteuerungssystemen in einem vernünftigen Gleichgewicht zu halten

Agentenbasierter Programmassistent zur Verwaltung von NC-Informationen in Produktionssystemen mit Kommunikationsnetzwerken

In den letzten Jahren hat sich die rapide Entwicklung der Elektrotechnik ebenso wie die der Softwaretechnologie auf die numerischen Steuerungen in den heutigen CNC-Maschinen groß ausgewirkt. Diese numerischen Steuerungen sind sowohl intelligenter und flexibler als auch mit größerer Internspeicherkapazität ausgerüstet. Dies führt zu einer Änderung der Art und Weise, wie DNC-Systeme zu etablieren sind, besonders solcher, die auf bisher verfügbaren, aber ungleichartigen DNC-Systemen basieren. In einem solch heterogenen DNC-System wird Datenspeicherungsfähigkeit stärker verteilt angeordnet, d.h., sie ist nicht nur in einem zentralen DNC-Server vorhanden, sondern auch in Terminals oder Steuerungen selbst angelagert. Diese Änderung des Archivierungsmittels benötigt neue DNC-Software, die die DNC-Grundfunktionen voll realisiert. Zudem sollte sie auch den neuen spezifischen Softwareanforderungen entsprechen und erlauben, neue Funktionen, z.B. Maschinendatenerfassung, Betriebsdatenerfassung usw., als Module hinzuzufügen. Derzeit wird die Agententechnologie bzw. ein MAS (Multiagentensystem) als ein aussichtsreicher Ansatz angesehen, um die Probleme der heutigen komplexen Softwaresysteme, wie ungleichartige Systemumgebungen und verteilte Strukturen, zu lösen. Die vorliegende Arbeit stellt die Idee zum Aufbau eines heterogenen DNC-Systems und die Konzipierung zur Gestaltung der agentenbasierten DNC-Software vor. Ausgehend von dem vorgestellten Lösungskonzept wird zudem der Programmassistent als erster Modul der agentenbasierten DNC-Software präsentiert.In the network-based DNC systems and especially heterogeneous DNC systems data get more distributed due to the ability to store not only in the DNC Server but also in the CNC controller or CNC Terminal. This leads a challenge to the DNC software in the implementation of its basic functions. The agent-based DNC software with assistants (ADNC) is suggested to solve the above problem. Its tasks are to collect distributed NC information and transfer data safely as well as performing other extended functions, i.e. NC program generation, machine data collection, production data collection, control machines in system, etc. The present work presented the concept to develop the ADNC and its first prototype. This prototype was developed in a process using a framework of agent-based assistants, called AgentAP. It is applicable on distributed manufacturing data and had been implemented on the agent platform JADE. The module Program Assistant, one of these prototype modules, which is responsible for management, bidirectional transfer, and monitoring change of NC programs, is also discussed

Automatische Generierung adaptiver Modelle zur Simulation von Produktionssystemen

The simulation of production and logistics processes is used today in a variety of industries. Simulation is used for the analysis, design, and optimization of production and logistics processes and their resource requirements and can be used here both in the planning, commissioning, and during the actual operation.The undisputed great potentials of material flow simulation stand against high costs and effort for implementing simulation models and conducting simulation studies. Due to the poor integration and standardization of the simulation and increasing demands of companies with respect to accuracy, flexibility, adaptability, speed, cost, and reusability the expenses for using simulation are increasing.One approach that has been attempted repeatedly for several years as a contribution to mitigate the cost of using simulation is the automatic generation of simulation models. Automatic model generation refers to different approaches permitting simulation models or parts of models to be produced by means of algorithms. So far, no approach has been published which yields good results for a broad spectrum of application areas and industries.In this work, a comprehensive framework for the integration and automation of the simulation was designed and validated. The framework consists of organizational, methodical, and prototypically technical components. In this context, it is argued that for a broad application of automatic model generation the use of standards is required. Specifically, the Core Manufacturing Simulation Data (CMSD) is proposed as useful standard and a reference implementation of the standard provides the basis for the entire work. The support of all simulation phases, i.e. not only model building but also the evaluation of alternatives, initialization, evaluation of results, etc. is ensured throughout the entire framework. Furthermore, model generation methods and procedures for representing dynamic behavior in simulation models were specifically classified and selected methods were implemented and presented.Ein Ansatz, der seit einigen Jahren immer wieder als ein Lösungsbeitrag für eine bessere Nutzung der Simulation von Produktionsprozessen gerade in KMU’s betrachtet wird, ist die automatische Generierung von Simulationsmodellen. In dieser Arbeit wird ein umfassendes Rahmenwerk zur Integration bzw. Automatisierung der Simulation vorgestellt. Es wurden organisatorische, methodische als auch prototypisch technische Komponenten entworfen und validiert. Hierbei wird die These vertreten, dass eine breit anwendbare automatische Modellgenerierung allein durch die Nutzung von Standards zum Datenaustausch bzw. zur Konzeptmodellerstellung sinnvoll zu implementieren ist. Konkret wurde der Core Manufacturing Simulation Data (CMSD) Standard genutzt bzw. bildet dessen Referenzanwendung die Basis der Arbeit. Die Unterstützung aller Simulationsphasen, d.h. nicht allein der Modellerstellung sondern auch der Alternativenbildung, Initialisierung, Ergebnisauswertung usw. wird in allen Komponenten durchgehend gewährleistet. Weiterhin wurden konkret Modellgenerierungsmethoden und Verfahren zur Abbildung des dynamischen Verhaltens in Modellen klassifiziert und einzelne Lösungsansätze vorgestellt.Auch im Buchhandel erhältlich: Automatische Generierung adaptiver Modelle zur Simulation von Produktionssystemen / Sören Bergmann Ilmenau : Univ.-Verl. Ilmenau, 2014. XXXVII, 221 S. ISBN 978-3-86360-084-6 Preis: 31,20

Planungswerkzeug zur wissensbasierten Produktionssystemkonzipierung

Kürzere Produktlebenszyklen zwingen Unternehmen dazu notwendige Produktionssysteme in immer kürzeren Abständen neu zu planen oder anzupassen. Grundlegende Entscheidungen über den Aufbau des Produktionssystems werden bereits in der Konzipierungsphase festgelegt. Anhand des vorliegenden Produktkonzepts sind Produktionsprozesse zu spezifizieren und umsetzende Betriebsmittel auszuwählen. Zur Reduzierung der Planungsaufwände und zur Wiederverwendung bewährter Lösungen ist eine gezielte Bereitstellung von Fach- und Lösungswissen erforderlich.Die vorliegende Arbeit beschreibt ein Planungswerkzeug, welches die Planer während der Produktionssystemkonzipierung durch den kontinuierlichen Zugriff auf verfügbares Wissen unterstützt. Mittels semantischer Technologien wird das Wissen repräsentiert und in einer Wissensbasis bereitgestellt. Benötigte Abfragen werden automatisch erzeugt und das Wissen direkt für die graphische Spezifikation des Produktionssystemkonzepts verwendet. Eine einheitliche Spezifikation wird über Modellierungsregeln sichergestellt. Ein Vorgehensmodell beschreibt die einzelnen Planungsschritte, die exemplarisch am Praxisbeispiel einer Knetstraße erläutert werden.Shorter product life cycles force companies to develop or adapt production systems in shorter intervals. Important decisions about the structure of the production system are already defined in the early design phase. Based on the principal solution of the product the necessary production processes have to be specified and appropriate production resources have to be selected. To reduce the planning effort and to support the reuse of proven solutions, knowledge available in the company has to be used in an efficient manner. The present work describes a planning tool that supports the planners during the conceptual design of a new production system. This is achieved by continuous access to available knowledge about known processes and resources. Using semantic technologies the knowledge is represented and provided in a knowledge base. Required queries are generated automatically and the knowledge is directly used for the graphical specification of the production system concept. Modeling rules ensure a uniform specification and a procedure model describes the necessary activities. The use of the planning tool is illustrated and explained by means of an application example.Tag der Verteidigung: 18.12.2014Paderborn, Univ., Diss., 201

Permanente Optimierung dynamischer Probleme der Fertigungssteuerung unter Einbeziehung von Benutzerinteraktionen

Trotz enormen Forschungsaufwands erhalten die Entscheider in der Fertigungssteuerung nur rudimentäre Rechnerunterstützung. Diese Arbeit schlägt ein umfassendes Konzept für eine permanent laufende algorithmische Feinplanung vor, die basierend auf einer Analyse des Optimierungspotentials und -bedarfs intelligent mit den Entscheidern kollaboriert und zeitnah auf Fertigungsereignisse reagiert. Dynamische Simulationen mit Unternehmensdaten bestätigen die Praxistauglichkeit des Konzepts

Transparenzsteigerung in Produktionsnetzwerken: Verbesserung des Störungsmanagements durch verstärkten Informationsaustausch

Industrieunternehmen agieren in Produktionsnetzwerken und sehen sich mit hohen Anforderungen an die Leistungsfähigkeit der Netzwerke konfrontiert. Gleichzeitig ist ihr Netzwerkmanagement von Silodenken und Isolation geprägt. In der operativen Planung wirken Auftragsänderungen, Qualitätsprobleme und technische Änderungen negativ auf die Leistungsfähigkeit. Die Digitalisierung ermöglicht einen intensiveren Informationsaustausch in Produktionsnetzwerken. Unternehmen erwarten, dass eine erhöhte Informationstransparenz zu einer schnelleren Identifizierung und kürzeren Reaktionszeit auf Störungen führt. Risiken wie ein ungünstiges Kosten-Nutzen-Verhältnis verhindern jedoch eine Transparenzsteigerung. Diese Dissertation entwickelt einen Lösungsansatz zur Transparenzsteigerung in Produktionsnetzwerken. Zunächst werden ein Kennzahlensystem und ein Rezeptormodell zur Bewertung von Störungen entwickelt. Geschäftsprozess- und Informationsreifegradmodelle charakterisieren den Informationsaustausch. Es folgt die Ermittlung von Wirkzusammenhängen zwischen dem Auftreten von Störungen, dem Informationsaustausch und der Leistungsfähigkeit mithilfe eines Multimethoden-Simulationsmodells. Um die Modellanalyse zu erleichtern, werden mathematische Ersatzmodelle (Metamodelle) an das Verhalten der Simulation angepasst. Nach der Definition eines Zielzustands für den Informationsaustausch mittels robuster Optimierung werden Digitalisierungsmaßnahmen verglichen und eine Empfehlung zur Transparenzsteigerung gegeben. Der Lösungsansatz wird auf einen Anwendungsfall zur Herstellung von Kunststoff-Metall-Bauteilen für die Automobilzulieferindustrie angewendet. Er verbessert die Leistungsfähigkeit durch verstärkten Informationsaustausch und trägt zur Umsetzung von Digitalisierungsmaßnahmen bei

Konzept einer agentenbasierten Transportsteuerung für komplexe, dynamische und multimodale Logistiknetzwerke

Transports within industrial logistics networks are planned strategically. Due to the existence of uncertainties an operational control of transports is necessary. Thereby, dispatchers are today not supported adequately. A control approach for dynamic, complex and multimodal transports is developed, which intends to support or automate the operational control. The approach has a decentral and heterarchical organization, in which the goods and means of transports are modeled as agents