Validation of simulation models

Ce travail de thèse s'est intéressé à la validité des modèles de simulation dans le cadre du développement des systèmes complexes et critiques. Une analyse de l'approche d'ingénierie système, et plus particulièrement de l'aspect modélisation et simulation, a permis de constater qu'il est impossible d'établir de façon directe la validité du modèle de simulation. De nombreux points sont à l'origine de cette impossibilité, comme une mauvaise formulation des objectifs de simulation, une incohérence implémentatoire, les limites du moteur de simulation, etc. La validité d'un modèle de simulation étant définie pour un objectif de simulation, il est apparu important de proposer une approche globale de la M&S, associant un ensemble d'outils capables de détecter des incohérences entre les objectifs de simulation et les modèles du système d'intérêt. Ces outils, à destination de l'utilisateur de la simulation, permettent l'amélioration du niveau de confiance dans le modèle de simulation et donc dans les résultats de simulation. Notre étude se base sur la théorie de la M&S telle que proposée par B.P. Zeigler. En considérant le concept de cadre expérimental qui y est introduit, nous avons pu proposer un cadre méthodologique capable d'exprimer les objectifs de simulation de manière claire. Ce cadre méthodologique nous permet d'étudier les problématiques d'application et d'accommodation de la M& S que nous regroupons sous la problématique de compatibilité. Ainsi, notre premier objectif a été de proposer une approche capable de mesurer l'incohérence entre les objectifs de simulation et le modèle du système. En s'appuyant sur les méthodes formelles et la théorie des automates, nous avons établi un ensemble de métriques capables de mesurer le degré de compatibilité dynamique entre cadre expérimental et modèle du système d'intérêt. Pour cela, nous étudions en premier lieu la compatibilité dynamique entre automates à interface en utilisant la décomposition en arbre. Montrant les limites d'une telle approche, nous sommes passé à l'étude de la compatibilité entre modèles DEVS en utilisant la génération de graphes de classe, autrement appelés graphes d'atteignabilité. Cette étude formelle de la compatibilité nous permet de proposer un ensemble de bonnes propriétés de la simulation. Nous proposons finalement une méthodologie qui permet de guider l'utilisateur de la simulation dans l'élaboration de métriques permettant de mesurer ce niveau de compatibilité. S'appuyant sur les concepts de l'ingénierie dirigée par les modèles, nous proposons un langage dédié à la simulation permettant de guider l'utilisateur de la simulation dans l'évaluation de la validité des modèles de simulation.This work is focused on the validity of simulation models during development of complex and critical systems. The analysis of the system engineering approach and, especially the modeling and simulation aspect, showed that it was impossible to directly determine simulation models validity. Many aspects can cause this unattainability, such as bad formulation of simulation objectives, implementation inconsistency, limits of the simulation engine, etc. The validity of a simulation model being defined for a specific simulation goal, it seemed important to provide a global M&S approach, combining a set of tools to detect inconsistencies between objectives and models of the system under test. These tools, dedicated to the simulation user, allow to improve confidence level of the simulation model and thus in simulation results. Our study is based on the M& S theory as proposed by B.P. Zeigler. Using the concept of experimental frame, we are able to propose a methodological framework to express simulation objectives clearly. This allows us to study applicability and accommodation, witch we grouped under compatibility issue. Thus, our first objective was to propose an approach able to measure inconsistencies between experimental frame and model of the system. Based on formal methods and automata theory, we propose a set of metrics that measure the degree of dynamic compatibility between experimental frame and model system of interest. For this, we firstly study the dynamic compatibility between interface automata using tree decomposition. Showing limits of this approach, we studied compatibility between DEVS models using reachability graphs analysis. This formal study of the compatibility help us to propose a set of good properties of the simulation. Finally, we propose a methodology to guide the simulation user in metrics development to measure the compatibility level. Based on model-driven engineering approach, we propose a simulation dedicated language, to help users to asses the validity of simulation models

Transformation des diagrammes d'activités SysML1.2 vers les réseaux de Petri dans un cadre MDE

Rapport de stageCette étude cherche à automatiser la transformation des diagrammes d'activités (DA) vers les réseaux de Petri. En nous basant sur les spécifications de l'Object Management Group (OMG), nous avons établi les règles de transformation en ATLAS Transformation Langage (ATL) pour obtenir un modèle conforme à notre méta-modèle réseaux de Petri. La sémantique du diagramme d'activité a été validée à l'aide de la transformation PetriNet2Tina qui va permettre de vérifier de façon formelle la correspondance sémantique entre les deux modèles après transformation. Cette vérification est effectuée avec le "model-checker" TIme petri Net Analyser (TINA) et le langage Linear Temporal Logic (LTL). L'utilisateur devra simplement établir le diagramme d'activité à partir des exigences des parties prenantes, la transformation et la vérification étant automatiques. Le formalisme des Réseaux de Petri nous permet de fournir de précieuses informations sur le diagramme d'activité pour le jouer et le simuler

Validation de modèles de simulation

This work is focused on the validity of simulation models during de- velopment of complex and critical systems. The analysis of the system engineering approach and, especially the modeling and simulation aspect, showed that it was impossible to directly determine simulation models validity. Many aspects can cause this unattainability, such as bad formulation of simulation objectives, implementa- tion inconsistency, limits of the simulation engine, etc. The validity of a simulation model being defined for a specific simulation goal, it seemed important to provide a global M&S approach, combining a set of tools to detect inconsistencies between objectives and models of the system under test. These tools, dedicated to the si- mulation user, allow to improve confidence level of the simulation model and thus in simulation results. Our study is based on the M& S theory as proposed by B.P. Zeigler. Using the concept of experimental frame, we are able to propose a metho- dological framework to express simulation objectives clearly. This allows us to study applicability and accommodation, witch we grouped under compatibility issue. Thus, our first objective was to propose an approach able to measure incon- sistencies between experimental frame and model of the system. Based on formal methods and automata theory, we propose a set of metrics that measure the degree of dynamic compatibility between experimental frame and model system of interest. For this, we firstly study the dynamic compatibility between interface automata using tree decomposition. Showing limits of this approach, we studied compatibility between DEVS models using reachability graphs analysis. This formal study of the compatibility help us to propose a set of good properties of the simulation. Finally, we propose a methodology to guide the simulation user in metrics de- velopment to measure the compatibility level. Based on model-driven engineering approach, we propose a simulation dedicated language, to help users to asses the validity of simulation modelsCe travail de thèse s’est intéressé à la validité des modèles de simulation dans le cadre du développement des systèmes complexes et critiques. Une analyse de l’approche d’ingénierie système, et plus particulièrement de l’aspect modélisation et simulation, a permis de constater qu’il est impossible d’établir de façon directe la validité du modèle de simulation. De nombreux points sont à l’origine de cette impossibilité, comme une mauvaise formulation des objectifs de simulation, une in- cohérence implémentatoire, les limites du moteur de simulation, etc. La validité d’un modèle de simulation étant définie pour un objectif de simulation, il est apparu im- portant de proposer une approche globale de la M&S, associant un ensemble d’outils capables de détecter des incohérences entre les objectifs de simulation et les modèles du système d’intérêt. Ces outils, à destination de l’utilisateur de la simulation, per- mettent l’amélioration du niveau de confiance dans le modèle de simulation et donc dans les résultats de simulation. Notre étude se base sur la théorie de la M&S telle que proposée par B.P. Zeigler. En considérant le concept de cadre expérimental qui y est introduit, nous avons pu proposer un cadre méthodologique capable d’exprimer les objectifs de simulation de manière claire. Ce cadre méthodologique nous permet d’étudier les problématiques d’application et d’accommodation de la M& S que nous regroupons sous la problématique de compatibilité. Ainsi, notre premier objectif a été de proposer une approche capable de mesurer l’incohérence entre les objectifs de simulation et le modèle du système. En s’ap- puyant sur les méthodes formelles et la théorie des automates, nous avons établi un ensemble de métriques capables de mesurer le degré de compatibilité dynamique entre cadre expérimental et modèle du système d’intérêt. Pour cela, nous étudions en premier lieu la compatibilité dynamique entre automates à interface en utilisant la décomposition en arbre. Montrant les limites d’une telle approche, nous sommes passé à l’étude de la compatibilité entre modèles DEVS en utilisant la génération de graphes de classe, autrement appelés graphes d’atteignabilité. Cette étude formelle de la compatibilité nous permet de proposer un ensemble de bonnes propriétés de la simulation. Nous proposons finalement une méthodologie qui permet de guider l’utilisateur de la simulation dans l’élaboration de métriques permettant de mesurer ce niveau de compatibilité. S’appuyant sur les concepts de l’ingénierie dirigée par les modèles, nous proposons un langage dédié à la simulation permettant de guider l’utilisateur de la simulation dans l’évaluation de la validité des modèles de simulation

A New Specification-based Qualitative Metric for Simulation Model Validity

International audienceInformal validation techniques such as simulation are extensively used in the development of embedded systems. Formal approaches such as model-checking and testing are important means to carry out Verification and Validation (V&V) activities. Model-checking consists in exploring all possible behaviours of a model in order to perform a qualitative and quantitative analysis. However, this method remains of limited use as it runs into the problem of combinatorial explosion. Testing and model-checking do not take into account the context of use objectives of the model. Simulation overcomes these problems but it is not exhaustive. Submitted to simulation scenarios which are an operational formulation of the V&V activity considered, simulation consists in exploring a subset of the state space of the model. This paper proposes a formal approach to assess simulation scenarios. The formal specification of a model and the simulation scenarios applied to that model serve to compute the effective evolutions taken by the simulation. It is then possible to check whether a simulation fulfils its intended purpose. To illustrate this approach, the application study of an intelligent cruise controller is presented. The main contribution of this paper is that combining simulation objectives and formal methods leads to define a qualitative metric for a simulation evaluation without running a simulation

Simulation validation using the compatibility between Simulation Model and Experimental Frame

7 pages, work in progress.International audienceThis work illustrates the possibilities associated with the con- cept of experimental frame in the domain of simulation. The experimental frame noted "EF" is used to define the environ- ment in which a model will evolve. EF and model are ex- tracted from specifications of the system understudy. Formal language has been utilized for designing EF & model such that model checking techniques can be employed. We have chosen "I/O automata", applying the frame to the model im- plies incompatibilities with parts of the model. In this con- tribution we detect these incompatibilities to measure it. Our method will allow a set of metrics evaluate the validity of simulations according to goals of simulation user-defined

ProDEVS : an Event-Driven Modeling and Simulation Tool for Hybrid Systems using State Machines

International audienceThis paper introduces a new event-driven modeling and simulation tool for the simulation of hybrid systems. The particularity of this software called ProDEVS lies in its graphical language to define model components behaviour. This graphical language customizes state machines for DEVS and quantized based numerical methods. In this paper, syntax and operational semantic of the language are explained, and a mapping from DEVS to this language is illustrated across two simple examples in discrete-event and continuous domain. Finally a complete hybrid system is modeled and simulated to show the usability and the efficiency of this model

FORMAL COMPATIBILITY OF EXPERIMENTAL FRAME CONCEPT AND FD-DEVS MODEL

International audienc

ACTIVITYDIAGRAM2PETRINET : TRANSFORMATION-BASED MODEL IN ACCORDANCE WITH THE OMG SYSML SPECIFICATIONS

International audienceThis study aims to automate the transformation of activity diagrams (AD) to Petri nets (PN). Based on specifications given by the Object Management Group (OMG), we have established transformation rules in ATLAS Transformation Language (ATL) to obtain a model consistent with our Petri Net meta-model (model2model). The semantic of Activity Diagram was verified with PetriNet2Tina transformation (model2text) and has allowed us to verify that was the same in the corresponding PN. This verification is done with the "model-checker" TIme petri Net Analyzer (TINA) and Linear Temporal Logic (LTL) language. The user needs only to set up the Activity Diagram from the stakeholder requirements; the transformation and verification is automatic. PetriNet formalism could enable us to provide valuable information on a Activity Diagram, to execute and simulate it

FROM SEQUENCE DIAGRAMS UML 2.x TO FD-DEVS BY MODEL TRANSFORMATION

7 pagesInternational audienceThis work transforms sequence diagrams to Finite and Deterministic DEVS (FD-DEVS) in Model-Driven En- gineering field. The main goal is the formalisation of behaviours, described with UML sequence diagram, to make verification activity by space state exploration and to make validation activity of a set of traces by simu- lation. In this context, we have chosen to elaborate a model transformation. This paper shows how, after the construction of meta-model for sequence diagrams and for Finite and Deterministic DEVS, it is possible to automate the transformation from one instance of source meta-model to one instance of destination meta-model. The source model is a sequence diagram and the target model is a FD-DEVS component. The destination model is converted into DEVSJava code to simulate its execution

multiPDEVS: A Parallel Multicomponent System Specification Formalism

Based on multiDEVS formalism, we introduce multiPDEVS, a parallel and nonmodular formalism for discrete event system specification. This formalism provides combined advantages of PDEVS and multiDEVS approaches, such as excellent simulation capabilities for simultaneously scheduled events and components able to influence each other using exclusively their state transitions. We next show the soundness of the formalism by giving a construction showing that any multiPDEVS model is equivalent to a PDEVS atomic model. We then present the simulation procedure associated, usually called abstract simulator. As a well-adapted formalism to express cellular automata, we finally propose to compare an implementation of multiPDEVS formalism with a more classical Cell-DEVS implementation through a fire spread application