Industrial applicability of visual GUI testing for system and acceptance test automation

The software market is becoming more challenging as demands for faster time-to-market and higher software quality continue to grow. These challenges are embedded in all areas of Software Engineering, including Verification and Validation where they are proposed as solvable with automated testing. However, most automated testing techniques focus on low system level testing and are not suitable for high level tests, i.e. System and Acceptance tests, leaving industrial needs for test automation unfulfilled. In this paper we present a research plan to evaluate a novel automated testing technique, called visual GUI testing, based on image recognition algorithms and scripts that interact through the system GUI to automate complex scenario based tests. The technique has been evaluated at the company Saab AB where industrial, safety critical, scenario based, test cases were automated showing the industrial applicability of the technique. However, many factors are still unknown regarding the techniques industrial applicability, i.e. script maintenance costs, usability and learn ability, etc. Our research aims to uncover these unknown factors with the final research goal to show that visual GUI testing is a viable and cost-effective technique that will fill the gap in industry for a cost-effective, simple, robust, high-level test automation technique

Yhdistetty testausjärjestelmä taajuusmuuttajasähkökäyttöjenkäyttöjen käyttöliittymätyökaluille

Testing is an important way to ensure the quality of embedded systems. To establish known testing environments and to obtain cost savings through automation, automated testing frameworks are built around them. This thesis presents a design of an automated testing framework that unifies automated testing frameworks of three different graphical user interface tools of variable speed drives. The new framework is named Unified testing framework and it allows testing that the three user interface tools work both together and with the variable speed drives. The thesis has a focus on embedded devices because variable speed drives and one of the user interface tools is an embedded device. The other two user interface tools are PC software and smartphone software. This thesis is structured to four parts. First a literature survey on theory of testing frameworks is conducted. Then the gained knowledge is applied into analyzing the three existing testing frameworks. After this analysis the design of the Unified testing framework is presented. The validity of the design is proven using a prototype. The validation is done based on its coverage, maintainability and performance.Testaus on tärkeä keino sulautettujen järjestelmien laadun varmistamisessa. Sulautetuille järjestelmille rakennetaan testausjärjestelmiä, jotta voidaan varmistua testausympäristöstä ja jotta testausta automatisoimalla saataisiin rahallisia säästöjä. Tämä työ esittelee automatisoidun testausjärjestelmän joka yhdistää kolme erillistä taajuusmuuttajasähkökäyttöjen graafisten käyttöliittämätyökalujen automatisoitua testausjärjestelmää. Uuden automatisoidun testausjärjestelmän nimi on Unified testing framework. Tämän uuden testausjärjestelmän avulla voidaan testata, että kaikki kolme käyttöliittymätyökalua toimivat oikein sekä keskenään, että taajuusmuuttajasähkökäyttöjen kanssa Tämä työ keskittyy sulautettuihin järjestelmiin, koska taajuusmuuttajasähkökäytöt ja yksi käyttöliittymätyökaluista on sulautettu järjestelmä. Kaksi muuta käyttöliittymätyökalua ovat tietokoneella ja älypuhelimella toimivia ohjelmistoja. Tämä työ on jaettu neljään osaan. Ensiksi tutustutaan testausjärjestelmien teoriaan kirjallisuuskatsauksen avulla. Tätä tietoa sitten sovelletaan analysoimaan alkuperäisiä testausjärjestelmiä. Tämän perusteella muodostetaan ja esitetään Unified testing frameworkin suunnitelma. Lopuksi Unified testing framework validoidaan käyttämällä apuna prototyyppiä. Validointi tapahtuu käyttämällä mittareina kattavuutta, ylläpidettävyyttä ja suorituskykyä

Evaluating Software Testing Techniques: A Systematic Mapping Study

Software testing techniques are crucial for detecting faults in software and reducing the risk of using it. As such, it is important that we have a good understanding of how to evaluate these techniques for their efficiency, scalability, applicability, and effectiveness at finding faults. This thesis enhances our understanding of testing technique evaluations by providing an overview of the state of the art in research. To accomplish this we utilize a systematic mapping study; structuring the field and identifying research gaps and publication trends. We then present a small case study demonstrating how our mapping study can be used to assist researchers in evaluating their own software testing techniques. We find that a majority of evaluations are empirical evaluations in the form of case studies and experiments, most of these evaluations are of low quality based on proper methodology guidelines, and that relatively few papers in the field discuss how testing techniques should be evaluated