Survei Teknik Pengujian Software

Salah satu tahapan dalam rekayasa perangkat lunak adalah tahap pengujian. Tahap pengujian tidak sepenuhnya menjamin kualitas, akan tetapi pengujian perangkat lunak dapat memberikan kepercayaan lebih terhadap pengguna perangkat lunak. Developer perangkat lunak pemula terkadang tidak melakukan pengujian secara detail. Studi ini bertujuan mengetahui teknik pengujian yang digunakan oleh pengembang perangkat lunak. Selain itu, untuk mengetahui faktor-faktor pendukung dan penghambat dalam pengujian. Dalam studi ini dalam melakukan pengujian perangkat lunak menggunakan tiga aspek pengujian yakni black-box testing, white-box testing, dan grey-box testing. Hasil dari peelitian ini  dapat memberikan  pertimbangan  untuk melakukan  pemilihan  dan  penggunaan  metodologi  yang  tepat  berdasarkan kebutuhan, kelebihan dan kelemahan, juga faktor-faktor penilaian yang lain seperti keakraban dengan teknologi, kompleksitas sistem, keandalan sistem, waktu yang singkat dan tepat, hingga mereferensi beberapa jurnal ilmia

Automated GUI performance testing

A significant body of prior work has devised approaches for automating the functional testing of interactive applications. However, little work exists for automatically testing their performance. Performance testing imposes additional requirements upon GUI test automation tools: the tools have to be able to replay complex interactive sessions, and they have to avoid perturbing the application's performance. We study the feasibility of using five Java GUI capture and replay tools for GUI performance test automation. Besides confirming the severity of the previously known GUI element identification problem, we also describe a related problem, the temporal synchronization problem, which is of increasing importance for GUI applications that use timer-driven activity. We find that most of the tools we study have severe limitations when used for recording and replaying realistic sessions of real-world Java applications and that all of them suffer from the temporal synchronization problem. However, we find that the most reliable tool, Pounder, causes only limited perturbation and thus can be used to automate performance testing. Based on an investigation of Pounder's approach, we further improve its robustness and reduce its perturbation. Finally, we demonstrate in a set of case studies that the conclusions about perceptible performance drawn from manual tests still hold when using automated tests driven by Pounder. Besides the significance of our findings to GUI performance testing, the results are also relevant to capture and replay-based functional GUI test automation approache

State aware test case regeneration for improving web application test suite coverage and fault detection

This paper introduces two test cases regeneration approaches for web applications, one uses standard Def-Use testing but for state variables, the other uses a novel value-aware dataflow approach. Our overall approach is to combine requests from a test suite to form client-side request sequences, based on dataflow analysis of server-side session variables and database tables. We implemented our approach as a tool SART (State Aware Regeneration Tool) and used it to evaluate our proposed approaches on 4 real world web applications. Our results show that for all 4 applications, both server-side coverage and fault detection were statistically significantly improved. Even on relatively high quality test suites our algorithms improve average coverage by 14.74% and fault detection by 9.19%. © 2012 ACM

Utilizando análise de mutantes para realizar o teste de documentos XML Schema

Orientadora: Silvia Regina VergílioInclui apendicesDissertaçao (mestrado) - Universidade Federal do Paraná, Setor de Ciencias Exatas, Programa de Pós-Graduaçao em Informática. Defesa: Curitiba, 2006Inclui bibliografia e anexosResumo: Diversas aplicações Web utilizam documentos XML para troca de informações, tanto entre componentes de aplicações distintas quanto entre componentes da própria aplicação. Estes documentos, na maioria dos casos, obedecem a uma gramática previamente descrita por um esquema. O tipo de esquema que está se tornando mais utilizado é o documento XML Schema. Este fato deve-se principalmente a algumas de suas características, tais como: possuir uma gramática rica na representação dos dados e poder ser escrito utilizando-se a linguagem XML que é a mesma usada para escrever documentos. Estes esquemas são "traduzidos" de especificações textuais escritas em linguagem natural, e consequentemente, é usual que neste processo de tradução aconteçam enganos que acabam permitindo que defeitos semânticos estejam presentes nos documentos XML utilizados pela aplicação. Este trabalho apresenta um processo de teste para revelar defeitos em documentos XML Schema baseado na técnica Análise de Mutantes. Operadores de mutação são propostos tendo-se como base os erros mais comuns cometidos ao se projetar um documento XML Schema. Para dar suporte aos operadores propostos, foi implementada uma ferramenta denominada XTM. Com o auxílio dessa ferramenta alguns experimentos puderam ser realizados. Resultados desses experimentos mostram a aplicabilidade dos operadores propostos bem como sua eficácia em revelar defeito

Teste de aplicações baseado em análise de instâncias de dados alternativas.

Resumo: No desenvolvimento de software frequentemente é necessário validar a especificação dos dados do sistema, geralmente descrita por esquemas. O esquema de dados define a estrutura lógicae os relacionamentos entre os dados manipulados e armazenados por aplicações de software. Para auxiliar a detectar defeitos em esquemas e garantir a integridade dos dados por eles definidos, foi proposta uma abordagem de teste baseada em defeitos, denominada Análise de Instâncias de Dados Alternativas (AIDA). Na abordagem AIDA, uma instância de dados associada ao esquema em teste sofre alterações simples gerando instâncias de dados alternativas. A Análise de Instâncias de Dados Alternativas (AIDA) pode ser aplicada no teste de diferentes tipos de esquema, desde que o mesmo seja representado de acordo com um modelo formal. Apesar de existirem trabalhos na literatura que utilizam informações do esquema para testar as aplicações, a maioria não considera os possíveis efeitos presentes no esquema para gerar os dados de teste. Esses defeitos podem ocasionar falhas na aplicação e, considerando esse fato, este trabalho explora a utilização da AIDA no teste de aplicações que utilizam esquemas de dados, introduzindo estratégias de uso em dois contextos de aplicação: aplicações de banco de dados relacional e aplicações que utilizam Serviços Web. Para validar as estratégias em ambos contextos foram realizados experimentos em aplicações reais. Os resultados obtidos são analisados e verifica-se que a abordagem utilizada foi eficaz em revelar não somente defeitos de esquema, mas também defeitos relacionados à própria aplicação

Utilizing Output in Web Application Server-Side Testing

This thesis investigates the utilization of web application output in enhancing automated server-side code testing. The server-side code is the main driving force of a web application generating client-side code, maintaining the state and communicating with back-end resources. The output observed in those elements provides a valuable resource that can potentially enhance the efficiency and effectiveness of automated testing. The thesis aims to explore the use of this output in test data generation, test sequence regeneration, augmentation and test case selection. This thesis also addresses the web-specific challenges faced when applying search based test data generation algorithms to web applications and dataflow analysis of state variables to test sequence regeneration. The thesis presents three tools and four empirical studies to implement and evaluate the proposed approaches: SWAT (Search based Web Application Tester) is a first application of search based test data generation algorithms for web applications. It uses values dynamically mined from the intermediate and the client-side output to enhance the search based algorithm. SART (State Aware Regeneration Tool) uses dataflow analysis of state variables, session state and database tables, and their values to regenerate new sequences from existing sequences. SWAT-U (SWAT-Uniqueness) augments test suites with test cases that produce outputs not observed in the original test suite’s output. Finally, the thesis presents an empirical study of the correlation between new output based test selection criteria and fault detection and structural coverage. The results confirm that using the output does indeed enhance the effectiveness and efficiency of search based test data generation and enhances test suites’ effectiveness for test sequence regeneration and augmentation. The results also report that output uniqueness criteria are strongly correlated with both fault detection and structural coverage and are complementary to structural coverage