Simulated time for testing railway interlockings with TTCN-3

In this report, we first give an overview of software systems based on Vital Processor Interlocking (VPI). Interlockings guarantee safety of railway control systems, so testing these software systems is a key issue. We show why testing such systems with real time and scaled time is inefficient. We also provide a time semantics for simulated time that is more suitable for testing VPI's software. We provide a solution that allows simulated time for TTCN-3 test systems. TTCN-3 is a standard language for specifying and executing test suites. In the context of the TT-MEDAL project, TTCN-3 is applied to various domains, in particular to testing railway and automotive systems. TTCN-3 supports real-time and scaled-time testing but not simulated-time testing. The solution is based on a distributed termination detection algorithm that we extend to provide the main ingredients of simulated time: idleness detection and correct time progress. We implemented our solution as a TTCN-3 module and several Java classes that can be reused for testing other systems that have characteristics similar to those of VPI

Towards more accurate real time testing

The languages Message Sequence Charts (MSC) [1], System Design Language1 (SDL) [2] and Testing and Test Control Notation Testing2 (TTCN-3) [3] have been developed for the design, modelling and testing of complex software systems. These languages have been developed to complement one another in the software development process. Each of these languages has features for describing, analysing or testing the real time properties of systems. Robust toolsets exist which provide integrated environments for the design, analysis and testing of systems, and it is claimed, for the complete development of real time systems. It was shown in [4] however, that there are fundamental problems with the SDL language and its associated tools for modelling and reasoning about real time systems. In this paper we present the limitations of TTCN-3 and propose recommendations which help minimise the timing inaccuracies that would otherwise occur in using the language directly

Creating telecommunication services based on object-oriented frameworks and SDL

This paper describes the tools and techniques being applied in the TINA Open Service Creation Architecture (TOSCA) project to develop object-oriented models of distributed telecommunication services in SDL. The paper also describes the way in which Tree and Tabular Combined Notation (TTCN) test cases are derived from these models and subsequently executed against the CORBA-based implementations of these services through a TTCN/CORBA gateway

Quality Aspects of TTCN-3 Based Test Systems

A doktori dolgozat TTCN-3 -ban írt tesztrendszerek kódminőségének vizsgálatáról szól. Az elemzésekhez először a TTCN-3 nyelvhez kapcsolódó gyanús kódmintákat határoztam meg (code smells), majd ezeket az ISO-9126 és ISO-25010 szoftverminőség szabványoknak megfelelően osztályoztuk. A minőség méréséhez eszközt terveztem és fejlesztettem, aminek a segítségével ipari és sztenderd TTCN-3 testsorozatok kódminőségét vizsgáltam. Elemeztem és megbecsültem továbbá a talált nem-megfelelőségek refaktorálásához szükséges ráfordítások költségét. Megvizsgáltam a TTCN-3 alapú tesztrendszerek strukturális tulajdonságait, rétegzett elrendezésű megjelenítő eljárást készítettem és implementáltunk. Módszeremet az ipari tesztrendszer tervezők is hasznosnak találták. Vizsgálatom eredményei közül kiemelhetőek az alábbiak: (1)aszabadon elérhet˝ o tesztsorozatok közül több is tartalmaz projekttől független modulokat, körkörös importokat modul és könyvtár szinten egyaránt; (2) a modulok közötti kimenő import kapcsolatok logaritmikus görbével, míg a bemenő import kapcsolatok hatványgörbével közelíthetőek; (3) a vizsgált gráfok átmérője logaritmikus függvénye a projektben található modulok számának. Ezután a tesztsorozatok időbeli változását vizsgáltam két tesztrendszer ötéves fejlődésén keresztül. A vizsgálatok során azt találtam, hogy a fejlesztési módszertan, a projektvezetők, a csapat és a technikai vezet˝ ok változása, valamint a CI és az automatizált minőség ellenőrzés bevezetése nem járt számot tevő hatással a gyanús kódminták számára nézve. A Lehman törvényekkel analóg módon – a szoftver-rendszerek fejlődéséhez hasonlóan – a teszrendszerek esetére is érvényes törvényszerűségeket sikerült kimutatnom. A minőségi tesztek és kódok írása emberi vonatkozásainak feltérképezéséhez kérdőíves felmérést végeztem. A szakmai gondol- kodásra/módszerekre vonatkozó kérdéseimre a fejlesztők és a tesztelők adták a leghasonlóbb válaszokat. Ez egyfajta “konvergenciára” utal a tesztelés és fejlesztés között, amit mások (pl. [126, 127, 128]) már megsejtettek. Megállapítható, hogy bár a legtöbb vállalatnál támogatják a termékek belső minőségének javítását, a válaszadók jelent˝ os része mégsem hallott rossz mintákról (anti-patterns), vagy nem tartja ezek jelenlétét a tesztekben, kódokban aggályosnak

Architecting specifications for test case generation

The Specification and Description Language (SDL) together with its associated tool sets can be used for the generation of Tree and Tabular Combined Notation (TTCN) test cases. Surprisingly, little documentation exists on the optimal way to specify systems so that they can best be used for the generation of tests. This paper, elaborates on the different tool supported approaches that can be taken for test case generation and highlights their advantages and disadvantages. A rule based SDL specification style is then presented that facilitates the automatic generation of tests

Refactorisation methods for TTCN-3

In this paper we introduce automatic methods for restructuring source codes written in test description languages. We modify the structure of these sources without making any changes to their behavior. This technique is called refactorisation. There are many approaches to refactorisation. The goal of our refactorisation methods is to increase the maintainability of source codes. We focus on TTCN-3 (Testing and Test Control Notation), which is a rapidly spreading test description language nowadays. A TTCN-3 source consists of a data description (static) part and a test execution (dynamic) part. We have developed models and refactorisation methods based on these models, separately for the two parts. The static part is mapped into a layered graph structure, while the dynamic part is mapped to a CEFSM (Communicating Extended Finite State Machine) – based model.

ERIGrid Holistic Test Description for Validating Cyber-Physical Energy Systems

Smart energy solutions aim to modify and optimise the operation of existing energy infrastructure. Such cyber-physical technology must be mature before deployment to the actual infrastructure, and competitive solutions will have to be compliant to standards still under development. Achieving this technology readiness and harmonisation requires reproducible experiments and appropriately realistic testing environments. Such testbeds for multi-domain cyber-physical experiments are complex in and of themselves. This work addresses a method for the scoping and design of experiments where both testbed and solution each require detailed expertise. This empirical work first revisited present test description approaches, developed a newdescription method for cyber-physical energy systems testing, and matured it by means of user involvement. The new Holistic Test Description (HTD) method facilitates the conception, deconstruction and reproduction of complex experimental designs in the domains of cyber-physical energy systems. This work develops the background and motivation, offers a guideline and examples to the proposed approach, and summarises experience from three years of its application.This work received funding in the European Community’s Horizon 2020 Program (H2020/2014–2020) under project “ERIGrid” (Grant Agreement No. 654113)

The pros and cons of using SDL for creation of distributed services

In a competitive market for the creation of complex distributed services, time to market, development cost, maintenance and flexibility are key issues. Optimizing the development process is very much a matter of optimizing the technologies used during service creation. This paper reports on the experience gained in the Service Creation projects SCREEN and TOSCA on use of the language SDL for efficient service creation