Pattern based GUI testing for mobile applications

This paper presents a study aiming to assess the feasibility of using the Pattern Based GUI Testing approach, PBGT, to test mobile applications. PBGT is a new model based testing approach that aims to increase systematization, reusability and diminish the effort in modelling and testing. It is based on the concept of User Interface Test Patterns (UITP) that contain generic test strategies for testing common recurrent behaviour, the so-called UI Patterns, on GUIs through its possible different implementations after a configuration step. Although PBGT was developed having web applications in mind, it is possible to develop drivers for other platforms in order to test a wide set of applications. However, web and mobile applications are different and only the development of a new driver to execute test cases over mobile applications may not be enough. This paper describes a study aiming to identify the adaptations and updates the PBGT should undergo in order to test mobile applications. © 2014 IEEE

Automated repair of internationalization presentation failures in web pages using style similarity clustering and search-based techniques

Internationalization enables companies to reach a global audience by adapting their websites to locale specific language and content. However, such translations can often introduce Internationalization Presentation Failures (IPFs) - distortions in the intended appearance of a website. It is challenging for developers to design websites that can inherently adapt to varying lengths of text from different languages. Debugging and repairing IPFs is complicated by the large number of HTML elements and CSS properties that define a web page's appearance. Tool support is also limited as existing techniques can only detect IPFs, with the repair remaining a labor intensive manual task. To address this problem, we propose a search-based technique for automatically repairing IPFs in web applications. Our empirical evaluation showed that our approach was able to successfully resolve 98% of the reported IPFs for 23 real-world web pages. In a user study, participants rated the visual quality of our fixes significantly higher than the unfixed versions

Pattern Based Usability Testing

Hoje em dia é bastante comum a interação com sistemas de software através de interfaces gráficas (GUIs). E também possível testar aplicações através da interface gráfica de forma manual ou automática simulando as ações do utilizador e avaliando os resultados obtidos através da GUI. PBGT (Pattern Based GUI Testing) é uma abordagem de teste de software através da interface gráfica com o utilizador baseada em modelos, que automatiza e sistematiza o processo de teste. O PBGT testa comportamento recorrente para o qual possui técnicas genéricas de teste (padrões de teste) capazes de testar diferentes aplicações após um processo de configuração. O tema desta dissertação consiste na implementação de uma extensão ao PBGT, adicionando a esta ferramenta/abordagem a possibilidade de realizar testes de usabilidade. Este trabalho irá começar por fazer um levantamento de padrões de usabilidade para os quais se irão construir soluções genéricas de testes, com o objetivo de testar diferentes aplicações de software e, com isso, detetar problemas de usabilidade num website, permitindo avaliar a sua interação com o utilizador. O objetivo é estender a linguagem PARADIGM com padrões de teste de usabilidade e estender o ambiente atual do PBGT, permitindo a construção de modelos para testes de usabilidade. No fim da implementação, o utilizador poderá construir o seu padrão de teste com as configurações da plataforma web que pretender testar, conseguindo obter um resultado para o teste, que poderá detetar problemas de usabilidade. Um dos aspetos inovadores deste tema são os novos padrões de teste e a ferramenta que os executa. Esta extensão permitirá testar alguns aspetos de usabilidade automaticamente através da interface gráfica do utilizador. Este projeto insere-se na área da Engenharia de Software, mais concretamente, dos Testes de Software.Nowadays it is common the interaction with software systems through graphical user interfaces (GUIs). It is also possible to test applications through the graphical interface, manually or automatically, simulating the actions of the user and evaluating the outcomes obtained through the GUI.Pattern Based GUI Testing (PBGT) is a software testing approach through the graphical user interface based on models, which automates and systematizes the process of the test. PGBT tests the recurring behavior for which it has testing generic techniques (test patterns) able to test different applications after a process of configuration.The subject-matter of this dissertation consists on the implementation of an extension to the PBGT, adding to this tool the possibility to perform usability tests. This report will begin to explore the usability patterns for which it will find generic testing solutions afterwards to test different software applications and thereby, detect usability problems on a website, allowing to evaluate its interaction with the user.The main objective is to extend the PARADIGM language with usability testing patterns and to extend the current environment of PBGT, allowing building models to usability tests. After the implementation, the user will be able to build his own testing pattern with the settings of the web platform he plans to test, managing to obtain a result for the test, which can detect usability problems. One of the innovative aspects of this issue are the new testing patterns and the tool that runs them. This extension will allow the testing of some usability aspects automatically through the graphical user interface. This project is part of Software Engineering's field, more specifically, Software Testing

A Comparative Study of GUI Testing Approaches

A maioria das aplicações de software modernas apresentam uma Interface Gráfica de Utilizador (GUI), que torna a aplicação mais simples de usar, promovendo maior produtividade e melhor acessibilidade, e oferecendo flexibilidade na forma como os utilizadores podem executar tarefas. No entanto, devido à complexidade das GUIs, o processo de teste de GUI pode ser moroso e intensivo. Assim, automatizar o processo tanto quanto possível é indispensável para testar qualquer interface gráfica mais complexa e evoluída.Existem diferentes abordagens para testes de GUI automatizados, no entanto, a maioria delas requerer esforços manuais substanciais, outras apenas são capazes de encontrar erros específicos ou não permitem a reutilização de casos de teste após alterações de sistema ou GUI. Muitos investigadores afirmam que devem ser utilizadas diferentes técnicas/abordagens para um bom processo de teste.Uma nova abordagem baseada em modelos, denominada de Pattern-Based GUI Testing, foi implementada a fim de aumentar a sistematização, reutilização e diminuir o esforço da modelação e teste de GUIs. Baseia-se no conceito de Padrões de Teste de Interface de Utilizador (UITP), que contêm estratégias de teste genéricas para testar características recorrentes e comuns (UI Patterns) em GUIs. É apoiada pela ferramenta PBGT, que integra um ambiente de modelação e execução de testes de modo a suportar a criação de modelos de teste com base em UITPs, com recurso a uma linguagem específica de domínio (PARADIGM) para modelação da GUI.Como a abordagem é recente, é relevante submetê-la a experiências e testes sistematizados a fim de avaliar o seu bom desempenho/comportamento e compará-la com outras técnicas. Assim, este trabalho de dissertação baseia-se na avaliação e comparação da abordagem PBGT em relação a outras ferramentas e técnicas, no que diz respeito à detecção de falhas, facilidade de utilização, e aos esforços necessários para testar a aplicação.Para a realização de experiências, foram introduzidas mutações em três aplicações web diferentes - iAddressBook , TaskFreak e Tudu - de modo a abranger um maior número de casos de uso, e cada mutante foi, por sua vez, testado por cada uma das ferramentas selecionadas ou desenvolvidas e que implementam as diferentes abordagens de teste consideradas.Most of the modern software applications feature a Graphical User Interface (GUI), which turns the application easier to use, promoting higher productivity and better accessibility, and offering flexibility in how users perform tasks. However, due to GUI's complexity, the GUI testing process can be a time-consuming and intensive process. Therefore, automate the process as much as possible is indispensable to test any more evolved graphic user interface.There are some common automated GUI testing approaches, but while most of them require substantial manual efforts, others lack reusability or are only able to find specific types of errors. Many researchers state that a variety of techniques should be used.A new model-based testing approach, called Pattern- Based GUI Testing, was implemented in order to increase systematization, reusability and diminish the effort in modelling and testing. It is based on the concept of User Interface Test Patterns (UITP), which contain generic test strategies for testing common recurrent behavior (UI Patterns) on GUIs, and supported by the PBGT Tool which provides an integrated modeling and testing environment that supports the crafting of test models based on UI Test Patterns, using a GUI modeling DSL (PARADIGM).As a novel proposal, it is entirely relevant to submit it to systematized experiments and tests in order to assess its good performance/behavior and compare it with other techniques. Thus, this dissertation work mainly addresses PBGT's approach, aiming to compare it with different testing approaches/tools in what concerns to errors/fault detection, ease of use, and overall efforts required to test the application.To perform the experiments, mutations were introduced in each of three different web applications - iAddressBook, TaskFreak and Tudu - to cover a greater number of use cases, and each mutant was tested by each of the selected or developed testing tools which implement the considered approaches. Those approaches' benefits and problems are then conveniently described