Digital Twins Are Not Monozygotic -- Cross-Replicating ADAS Testing in Two Industry-Grade Automotive Simulators

The increasing levels of software- and data-intensive driving automation call for an evolution of automotive software testing. As a recommended practice of the Verification and Validation (V&V) process of ISO/PAS 21448, a candidate standard for safety of the intended functionality for road vehicles, simulation-based testing has the potential to reduce both risks and costs. There is a growing body of research on devising test automation techniques using simulators for Advanced Driver-Assistance Systems (ADAS). However, how similar are the results if the same test scenarios are executed in different simulators? We conduct a replication study of applying a Search-Based Software Testing (SBST) solution to a real-world ADAS (PeVi, a pedestrian vision detection system) using two different commercial simulators, namely, TASS/Siemens PreScan and ESI Pro-SiVIC. Based on a minimalistic scene, we compare critical test scenarios generated using our SBST solution in these two simulators. We show that SBST can be used to effectively and efficiently generate critical test scenarios in both simulators, and the test results obtained from the two simulators can reveal several weaknesses of the ADAS under test. However, executing the same test scenarios in the two simulators leads to notable differences in the details of the test outputs, in particular, related to (1) safety violations revealed by tests, and (2) dynamics of cars and pedestrians. Based on our findings, we recommend future V&V plans to include multiple simulators to support robust simulation-based testing and to base test objectives on measures that are less dependant on the internals of the simulators.Comment: To appear in the Proc. of the IEEE International Conference on Software Testing, Verification and Validation (ICST) 202

Cost-effective simulation-based test selection in self-driving cars software

Simulation environments are essential for the continuous development of complex cyber-physical systems such as self-driving cars (SDCs). Previous results on simulation-based testing for SDCs have shown that many automatically generated tests do not strongly contribute to identification of SDC faults, hence do not contribute towards increasing the quality of SDCs. Because running such "uninformative" tests generally leads to a waste of computational resources and a drastic increase in the testing cost of SDCs, testers should avoid them. However, identifying "uninformative" tests before running them remains an open challenge. Hence, this paper proposes SDCScissor, a framework that leverages Machine Learning (ML) to identify SDC tests that are unlikely to detect faults in the SDC software under test, thus enabling testers to skip their execution and drastically increase the cost-effectiveness of simulation-based testing of SDCs software. Our evaluation concerning the usage of six ML models on two large datasets characterized by 22'652 tests showed that SDC-Scissor achieved a classification F1-score up to 96%. Moreover, our results show that SDC-Scissor outperformed a randomized baseline in identifying more failing tests per time unit. Webpage & Video: https://github.com/ChristianBirchler/sdc-scisso

Methode zur Bewertung der Risikobilanz autonomer Fahrzeuge aus Kundensicht

Wir stellen eine Methode zur Ermittlung der Risikobilanz autonomer Fahrzeuge im Vergleich zu durchschnittlicher menschlicher Fahrleistung vor, welche für Kunden (insbesondere Fahrzeughalter und Fahrzeugzulasser) anwendbar ist. Mithilfe unserer Methode werden Systemtests zur Prüfung von autonomen Fahrzeugen entwickelt und die zugehörigen Testergebnisse bewertet. Im Rahmen von zwei Fallstudien erproben wir unsere Methode und stellen die Ergebnisse vor

Itseohjautuvan auton moraalikoneen kehittämisen haasteet

Itseohjautuvien autojen kehittyessä niiltä oletetaan turvallisempaa liikennekäyttäytymistä kuin ihmiskuskeilta. Itseohjautuva järjestelmä voi käsitellä tietoa nopeammin kuin ihminen, mutta kun vastassa on onnettomuustilanteiden aiheuttamat moraaliset ongelmat, ei oikeudenmukaisesti toimivaa järjestelmää ole helppo rakentaa. Moraaliset ongelmat nousevat varsin tärkeäksi kysymykseksi tilanteessa, jossa itseohjautuvan auton tulee päättää mitä tehdä onnettomuuden sattuessa. Kun kyseessä on hengenvaarallinen tilanne, on vaikea ohjelmoida miten auton tulisi toimia. Samoja ongelmia on pohdittu moraalikonekokeen ja ADC-mallin kautta, jonka myötä käyttäjät on laitettu vastaamaan miten itseohjautuvan auton tulisi toimia ongelmatilanteessa. Vastauksia analysoimalla voidaan päätellä, miten inhimillisen moraalikäsittelyn ja intuition voisi ohjelmoida itseohjautuvalle autolle. Moraaliongelmien lisäksi itseohjautuvassa järjestelmässä löytyy myös teknologisia puutteita, esimerkiksi miten auton ympärillä olevaa ympäristöä pystytään mallintamaan hankalissa sääolosuhteissa, kuten sumussa tai sateessa. Lisäksi itseohjautuvaa teknologiaa kohtaan on huomattu selkeää käyttäjävastarintaa ja ennakkoluuloja, jotka vaikuttavat uuden teknologian käyttöönotossa. Silti itseohjautuvat järjestelmät ovat kehittyneet paljon viimeisen 20 vuoden sisällä ja monet autonvalmistajat ja tutkimuskeskukset ovat valmiita keksimään ratkaisuja näihin haasteisiin ja kehittämään urbaaneissa olosuhteissa toimivan ja moraalisesti oikein toimivan itseohjautuvan auton

Itseohjautuvan auton moraalikoneen kehittämisen haasteet

Itseohjautuvien autojen kehittyessä niiltä oletetaan turvallisempaa liikennekäyttäytymistä kuin ihmiskuskeilta. Itseohjautuva järjestelmä voi käsitellä tietoa nopeammin kuin ihminen, mutta kun vastassa on onnettomuustilanteiden aiheuttamat moraaliset ongelmat, ei oikeudenmukaisesti toimivaa järjestelmää ole helppo rakentaa. Moraaliset ongelmat nousevat varsin tärkeäksi kysymykseksi tilanteessa, jossa itseohjautuvan auton tulee päättää mitä tehdä onnettomuuden sattuessa. Kun kyseessä on hengenvaarallinen tilanne, on vaikea ohjelmoida miten auton tulisi toimia. Samoja ongelmia on pohdittu moraalikonekokeen ja ADC-mallin kautta, jonka myötä käyttäjät on laitettu vastaamaan miten itseohjautuvan auton tulisi toimia ongelmatilanteessa. Vastauksia analysoimalla voidaan päätellä, miten inhimillisen moraalikäsittelyn ja intuition voisi ohjelmoida itseohjautuvalle autolle. Moraaliongelmien lisäksi itseohjautuvassa järjestelmässä löytyy myös teknologisia puutteita, esimerkiksi miten auton ympärillä olevaa ympäristöä pystytään mallintamaan hankalissa sääolosuhteissa, kuten sumussa tai sateessa. Lisäksi itseohjautuvaa teknologiaa kohtaan on huomattu selkeää käyttäjävastarintaa ja ennakkoluuloja, jotka vaikuttavat uuden teknologian käyttöönotossa. Silti itseohjautuvat järjestelmät ovat kehittyneet paljon viimeisen 20 vuoden sisällä ja monet autonvalmistajat ja tutkimuskeskukset ovat valmiita keksimään ratkaisuja näihin haasteisiin ja kehittämään urbaaneissa olosuhteissa toimivan ja moraalisesti oikein toimivan itseohjautuvan auton

Single and multi-objective test cases prioritization for self-driving cars in virtual environments

Testing with simulation environments helps to identify critical failing scenarios for self-driving cars (SDCs). Simulation-based tests are safer than in-field operational tests and allow detecting software defects before deployment. However, these tests are very expensive and are too many to be run frequently within limited time constraints. In this paper, we investigate test case prioritization techniques to increase the ability to detect SDC regression faults with virtual tests earlier. Our approach, called SDC-Prioritizer, prioritizes virtual tests for SDCs according to static features of the roads we designed to be used within the driving scenarios. These features can be collected without running the tests, which means that they do not require past execution results. We introduce two evolutionary approaches to prioritize the test cases using diversity metrics (black-box heuristics) computed on these static features. These two approaches, called SO-SDC-Prioritizer and MO-SDC-Prioritizer, use single-objective and multi objective genetic algorithms, respectively, to find trade-offs between executing the less expensive tests and the most diverse test cases earlier. Our empirical study conducted in the SDC domain shows that MO-SDC-Prioritizer significantly (p-value<= 0.1 − 10) improves the ability to detect safety-critical failures at the same level of execution time compared to baselines: random and greedy-based test case orderings. Besides, our study indicates that multi-objective meta-heuristics outperform single-objective approaches when prioritizing simulation-based tests for SDCs. MO-SDC-Prioritizer prioritizes test cases with a large improvement in fault detection while its overhead (up to 0.45% of the test execution cost) is negligible

Innovation and Technology: The Era of Autonomous Cars and Their Outcomes in Law Enforcement

The purpose of this research study is to explore the cybersecurity of Autonomous Vehicles (AVs), including the technological challenges, barriers, and impacts on society. This research study provides a framework for law enforcement agencies to understand the scope of security of AVs and develop relevant policies and strategies to enhance the security of these vehicles. AVs are a relatively nascent concept in the automotive industry, and thus, there is limited knowledge about cybersecurity. In the upcoming years, there will probably be a considerable increase in the number of semi-autonomous vehicles on many US and European roads. Some experts even predict that fully autonomous vehicles might be on the road within the next ten years. There are problems that arise with respect to criminal and civil liability, the obligations of manufacturers and insurers, and the future regulation of road traffic as a result of these developments. This research study aims to explore and address the knowledge gaps related to cybersecurity, law enforcement policies and regulations, and the impact of AVs on society. The methods used to conduct research on AV procedures for analyzing data and the names of the interviewees will also be listed

Fundamental Approaches to Software Engineering

This open access book constitutes the proceedings of the 24th International Conference on Fundamental Approaches to Software Engineering, FASE 2021, which took place during March 27–April 1, 2021, and was held as part of the Joint Conferences on Theory and Practice of Software, ETAPS 2021. The conference was planned to take place in Luxembourg but changed to an online format due to the COVID-19 pandemic. The 16 full papers presented in this volume were carefully reviewed and selected from 52 submissions. The book also contains 4 Test-Comp contributions