Study of the Back-to-Back Test Method for Embedded Systems in Hardware-Software Integration Context

Abstract

Användningen av inbyggda system för att realisera säkerhetskritiska funktioner, bl.a. inom bilindustrin, leder till krav på avancerade metoder för utveckling och verifiering.“Back-to-Back Testing” (B2B-testning) är en testmetod som föreslås av ISO26262, en nyligen släppt standard för funktionssäkerhet, för att verifiera timing och noggrannhet under fasen för integration av mjukvara och hårdvara (HSI-fasen). B2B-testning under HSI-fasen innebär att ett systems beteende jämförs med beteendet hos en modell av systemet, när båda utsätts för samma test-stimuli. Man kan inte förutsätta att test-svaren blir identiska, även om systemet beter sig korrekt. Avvikelser skapade av variationer i systemets miljö är ofta förekommande. Små avvikelser bör därför tolereras för att undvika för många ”falska” felindikationer. När resultaten från B2B-testning ska utvärderas, så är detta att tolerera vissa avvikelser utan att missa felaktigt beteende en av de största utmaningarna.Det här examensarbetet presenterar en litteraturstudie som undersökt State-of-the-Art i avseende på B2B-testning under HSI-fasen, med en specifik inriktning på ovan nämnda utmaning. Litteraturstudien påvisar en avsaknad av skräddarsydda utvärderingsmetoder för resultaten från B2B-testning under HSI-fasen.Motiverat av denna avsaknad av utvärderingsmetoder presenteras därefter en komparator som använder ett variabelt tröskelvärde för skillnader i test-svaren från test-objekt och modell. Om skillnaden är större än tröskelvärdet så anses testet ha fallerat. Med denna komparator, och en arbetsbänk skräddarsydd för att möjliggöra analyser av komparatorn, visas exempel på möjligheten att tolerera skillnader i beteende framkallat av variationer i systemets miljö, men samtidigt kunna detektera skillnader i beteende som härstammar från fel4i systemet. Exemplen och en studie av ett realistiskt system visar att tillvägagångssättet är lovande som en bas för B2B-testning under HSI-fasenThe use of electronics and software (embedded systems) to implement safety-critical systems, such as in the automotive domain, requires advanced methods in development and verification of these systems.Back-to-back (B2B) testing is a test method that is suggested by ISO26262, a latest functional safety standard, for verifying a system in terms of timing and accuracy at the Hardware-software integration (HSI) stage. In the B2B testing at the HSI stage, the behaviour of the system is compared against the behaviour of a model of this system, using the same test stimuli.It cannot be expected that test response from the system are identical even though the system performs correctly. Discrepancies are often due to environmental variations. It should be tolerated to a certain level to allow for detection of the system faults. In the result evaluation of B2B testing, it is a challenge to tolerate some discrepancies while faulty behaviour of the tested system should be detected.This work presents a literature study that investigates current research with regard to the usage of B2B test method at the HSI stage, in particular, with regard to the above discussed challenge. The result of literature review shows that there is a lack of discussion about custom-designed evaluation method of B2B test result in the HSI context.Motivated from the above, this work presents a comparator which uses a variable threshold on the signal level difference between the test responses from a test object and a model. If the signal level difference is larger than the threshold, the test fails and otherwise passes. With this comparator, and a workbench custom built to enable analysis of the comparator, we6demonstrate the ability to tolerate behaviour discrepancies induced by environmental variations, but reject the discrepancies induced by faults. The demonstrations and real-life study show that the approach is promising for usage as the basis for B2B test method at the HSI stage