Técnicas de teste. Ferramenta para cobertura de testes unitários. Diretrizes para utilização da Discover. Cobertura dos testes unitários do SIGI.bitstream/CNPTIA/9884/1/comuntec25.pdfAcesso em: 30 maio 2008

ANTUNES, J. F. G.

PEDROSO JÚNIOR, M.

TOZZI, M. G.

VISOLI, M. C.

O trabalho a seguir mostra como medir a cobertura dos testes unitários no SIGI utilizando a ferramenta Discover (Cyamon Software, 2002)

PEDROSO JUNIOR, M.

Infoteca-e

Cobertura de TestesUnitários no SIGIJoão Francisco Gonçalves Antunes1Moacir Pedroso Júnior2Marcos Cezar Visoli3Marcos Geraldo Tozzi4ComunicadoTécnico Dezembro, 2002Campinas, SP25Ministério da Agricultura,Pecuária e AbastecimentoISSN 1677-84641 Bsc. em Matemática Aplicada e Estatística, Pesquisador da Embrapa Informática Agropecuária Caixa Postal 6041, Barão Geraldo –13038-970 – Campinas, SP. (e-mail: joaof@cnptia.embrapa.br)2 Ph.D. em Pesquisa Operacional, Pesquisador da Embrapa Informática Agropecuária, Caixa Postal 6041, Barão Geraldo –13038-970Campinas, SP. (e-mail: pedroso@cnptia.embrapa.br)3 Bsc. em Ciência da Computação, Pesquisador da Embrapa Informática, Caixa Postal 6041, Barão Geraldo – 13038-970 – Campinas,SP. (e-mail: visoli@cnptia.embrapa.br)4 Consultor da Embrapa Informática Agropecuária na área de testes do SIGI. (e-mail: tozzi@cnptia.embrapa.br)O desenvolvimento de software envolve uma sériede atividades de produção em que a oportunidadede ocorrer falhas humanas são grandes. Enganospodem acontecer tanto no início do processo de de-senvolvimento, nas fases de análise e especificação,como no decorrer dele, nas fases de projeto eimplementação. Devido a esta característica, o de-senvolvimento de software é acompanhado por ati-vidades de testes que visam garantir a qualidade dosoftware (Rocha et al., 2001).Teste é o processo de executar um programa com aintenção de descobrir a presença de defeitos. Casosde testes são então projetados para descobrir siste-maticamente diferentes categorias de defeitos emuma quantidade de tempo e esforço mínimos. O tes-te, em especial, é um elemento usado para fornecerevidências da confiabilidade do software em com-plemento a outras atividades, sendo relevante paraidentificação e eliminação de defeitos que persistemno software (Pressman, 1997).Por isso, os casos de testes desenvolvidos e subme-tidos ao programa têm o objetivo de produzir umasaída que esteja em desacordo com a especificação.Quando isto ocorre, diz-se que o teste foi bem suce-dido (Myers, 1979). Caso defeitos não sejam detec-tados, o testador tem aumentada a sua confiançaquanto à qualidade do software. Porém, para  queisto ocorra, é preciso que os testes tenham sido  re-alizados de maneira sistemática.Umas das técnicas de teste sistemática é a estrutu-ral que preconiza o desenvolvimento de casos de tes-te com o objetivo de testar a implementação do pro-grama. Embora geralmente usado durante a fase decodificação, testes estruturais podem ser usados emtodas as fases do ciclo de vida do software nas quaiso software é representado formalmente. A intençãodesse tipo de teste é encontrar dados de teste queterão cobertura suficiente de todas as estruturas pre-sentes na representação formal.Neste trabalho é apresentada a experiência de comomedir a cobertura de testes unitários do SIGI - Siste-ma de Informação Gerencial do Instituto Nacional deInvestigaciones Agrícolas de Venezuela – (PedrosoJúnior et al., 2001).Cobertura de Testes Unitários no SIGI2A arquitetura do SIGI pode ser chamada de cliente/servidor off-line, isto é, o cliente não opera em co-municação direta com o servidor. A parte cliente tra-ta do planejamento, acompanhamento, reprograma-ção e avaliação final de projetos de pesquisa em umabase de dados local trazida do servidor. A criação deprojetos, dentre outras funcionalidades, é feita dire-tamente no servidor através de uma aplicação Web.As máquinas clientes locais (executando sistemaoperacional Windows) trazem, da base central, pro-jetos criados no estado inicial. Esses projetos, porsua vez, são alterados localmente e, ao final de cadaetapa do ciclo de vida, reenviados ao servidor paraatualização. Dessa maneira, os dados dos projetosna base local estão sempre sincronizados com a basecentral no servidor e disponíveis aos interessadoscom a devida autorização de acesso.O processo de desenvolvimento de software adota-do no SIGI é  baseado no paradigma eXtremeProgramming (Beck, 2000). Do ponto de vista de qua-lidade, neste paradigma, o teste sistemático é umaatividade essencial porque ocorre repetidamente acada compilação de todo o código fonte do sistema.Para a elaboração e execução automática dos casosde testes unitários do SIGI, mais precisamente daparte cliente, foi utilizada a ferramenta gratuita DUnit(SourceForge, 2002).O trabalho a seguir mostra como medir a coberturados testes unitários no SIGI utilizando a ferramentaDiscover (Cyamon Software, 2002).Técnicas de TesteAs técnicas de teste dividem-se em dois níveis: testefuncional (caixa preta) e teste estrutural (caixa branca).Os testes funcionais estabelecem os requisitos deteste com base na especificação do software, nãolevando em consideração o funcionamento internodo programa. Os casos de testes derivados com oteste funcional visam detectar defeitos dos seguin-tes tipos: funções incorretas, defeitos de interface,defeitos em estrutura de dados, defeitos de acessoàs bases de dados, problemas de desempenho e de-feitos de iniciação e de finalização. Esse processo nãonecessita dos códigos fonte do programa, apenas deseu executável.Os testes estruturais focalizam a implementação doprograma (código, funções, procedimentos e fluxode dados e controle). Os casos de testes devem serelaborados para garantir que a maior abrangênciapossível das instruções do programa tenham sidoexercitadas pelo menos uma vez.No SIGI, os casos de testes unitários foram desen-volvidos com Delphi 5. Delphi é um ambiente de de-senvolvimento de aplicações para Windows que uti-liza a linguagem Pascal orientado a objeto. Um pro-grama Delphi é dividido em módulos chamados Unitscompostos por classes que definem a estrutura doscampos, métodos e propriedades. As instâncias deum tipo de classe são chamadas objetos. Cada Unité  armazenada num arquivo próprio onde sãoimplementadas as funções e procedimentos que de-pois será compilada separadamente.Os testes unitários foram automatizados com a fer-ramenta DUnit que possibilita criar programas quetestam a implementação do sistema. Geralmente, ostestes unitários são feitos pelo próprio desenvolvedordo módulo testado.Ferramenta para Cobertura de TestesUnitáriosA Discover é uma ferramenta de análise que permiteaos desenvolvedores Delphi medir como os seus pro-gramas estão sendo testados. Mostra de formainterativa e direta, dentro do código origem quais osblocos básicos de código que são executados pelomenos uma vez e quais nunca foram executados.Baseado nisso, pode-se preparar ações ou elaborarmais testes unitários específicos para eliminar asáreas descobertas.A Discover foi escolhida para medir a cobertura dostestes unitários do SIGI porque é uma ferramenta defácil uso e de baixo custo (U$ 30,00). A versão atualtrabalha com Delphi 3 a 7.Diretrizes para Utilização da DiscoverEste item mostra passo-a-passo como integrar oDelphi à Discover e como fazer a medição da cober-tura dos testes unitários que foram elaborados coma DUnit.Para a Discover poder fazer a cobertura de código deum programa, primeiro o Map file do Delphi deveser gerado durante a compilação do teste unitário.Esse arquivo armazena uma lista de segmentos, en-dereços de inicialização do programa, avisos ou er-ros produzidos durante a l igação do códigoexecutável e uma lista de símbolos públicos ordena-da alfabeticamente, incluindo o endereço, tamanhoem bytes, nome, grupo do segmento e a informaçãodo módulo do programa.Cobertura de Testes Unitários no SIGI 3Para isso, é necessário configurar algumas opções apartir do menu Project, Options..., no projeto .dpr noDelphi correspondente ao código fonte do teste unitário.Na pasta Linker, marcar a opção Detailed, conformemostrado na Fig.1.Fig. 1. Pasta Linker do Delphi com a opção Detailedmarcada.Na pasta Directories/Conditionals, no campo Searchpath, especificar o diretório onde se localizam oscódigos fonte do programa a ser testado para possi-bilitar a integração com a Discover, como mostradona Fig. 2.Fig. 2. Configuração do Search path no Delphi.Fig. 3. Estatística de cobertura do caso de teste.Na pasta Units, Fig. 4, são exibidas as Units do Delphique compõem a aplicação e as suas respectivas co-berturas, isto é, por onde o teste unitário passou,baseado na seguinte legenda:Unit avaliada na cobertura (foreground), direta-mente relacionada ao caso de teste unitário.‘Unit não avaliada na cobertura (background),isto é, que não entrou no caso de teste unitário.Unit que a Discover não leu o código fonte, porexemplo, componentes visuais.Fig. 4. Units Delphi com as respectivas coberturas.vés da opção Application, Run. Se o teste tiver pro-cessos que dependam da interação do usuário é ne-cessário navegar pela interface.A Discover lê o Map file gerado para o projeto deteste unitário bem como o código fonte do progra-ma a ser testado que localiza-se no Search path e,após a finalização do programa, gera as estatísticasde cobertura do código na pasta Summary, confor-me mostrado na Fig. 3.Após isso, o projeto de teste unitário deve ser com-pilado no Delphi.Na Discover, o teste unitário compilado anteriormen-te deve ser carregado através da opção Load, nomenu Project. Em seguida deve ser executado atra-Para cada Unit, a Discover mostra o tamanho, o nú-mero total de rotinas, o número de rotinas com 0%de cobertura, o número de rotinas com 100% de co-bertura e a porcentagem de cobertura da Unit.Cobertura de Testes Unitários no SIGI4A pasta Routines, Fig. 5, exibe todas as funções eprocedimentos da aplicação com seus respectivosmétodos e propriedades, o código fonte e os pontosde cobertura do teste unitário.Units e Routines para um arquivo texto. A configura-ção desse arquivo é apresentada na Fig. 6.Para cada rotina, ou seja, as funções e procedimen-tos implementados, a Discover mostra a correspon-dente Unit, o número de pontos e a porcentagem decobertura. O ponto de cobertura é a posição na roti-na que representa a parte do código que sempre éexecutada seqüencialmente pelo teste unitário, mar-cado com um sinal de checagem no código fonte.Pontos não cobertos, ou seja, não testados, são mar-cados com um X.Uma outra funcionalidade da Discover é exportar osdados de cobertura que são mostrados nas páginasFig. 5. Código fonte da aplicação e os pontos de co-bertura.Fig. 6. Exportação dos dados de cobertura para umarquivo texto.O formato padrão utilizado é%0:s;%1:s;%2:s;%3:s;%4:s;%5:s;%6:s, onde:• s0: nome do arquivo da Unit.• s1: nome da Unit.• s2: tamanho da Unit.• s3: total de rotinas da Unit• s4: rotinas da Unit com 0% de cobertura.• s5: rotinas da Unit com 100% de cobertura.• s6: cobertura da Unit.Cobertura dos Testes Unitários do SIGIEsta tabela mostra a cobertura de alguns testes uni-tários do SIGI cliente medida em maio de 2002.TstBOPdoSegNT BOPdoSegNT 69 GustavoTstBOPlanEstrategico BOPlanEstrategico 100 CantuTstBOPotImp BOPotImp 100 GustavoTstBOPotPmt BOPotPmt 100 GustavoTstBOPotVta BOPotVta 100 GustavoTstBOPresupuestoPartida BOPresupuestoPartida 91 BanzattoTstBOProblemaSeguimiento BOProblemaSeguimiento 100 GustavoTstBOProblemaMetaSeguimiento BOProblemaMetaSeguimiento 100 GustavoTstBOProductoMetaSeguimientoPry ProductoMetaSeguimientoPry 87 GustavoTstBOProductoMetaSeguimientoSpy BOProductoMetaSeguimientoSpy 89 GustavoTstBOProductoPlanificacion BOProductoPlanificacion 78 GustavoTstBOProductoSeguimiento BOProductoSeguimiento 81 CantuTstBOProductoSeguimientoPry BOProductoSeguimientoPry 28 GustavoTstBOProductoSeguimientoSpy BOProductoSeguimientoSpy 42 GustavoTstBOPrograma BOPrograma 100 GustavoTstBoProyecto BOProyecto 60 CantuTstBoPryDI BOPryDI 67 GustavoNome do Projeto DUnit(dpr)Nome da Unit testada(.pas)Cobertura(%)AutorCobertura de Testes Unitários no SIGI 5ComunicadoTécnico,   25Embrapa Informática AgropecuáriaÁrea de Comunicação e Negócios (ACN)Av. André Tosello, 209Cidade Universitária - “Zeferino Vaz”Barão Geraldo - Caixa Postal 604113083-970 - Campinas, SPTelefone (19) 3789-5743 - Fax (19) 3289-9594e-mail: sac@cnptia.embrapa.br1a edição2002 - on-lineTodos os direitos reservadosPresidente: José Ruy Porto de CarvalhoMembros efetivos: Amarindo Fausto Soares, Ivanilde Dispato,Luciana Alvim Santos Romani, Marcia Izabel Fugisawa Souza,Suzilei Almeida CarneiroSuplentes: Adriana Delfino dos Santos, Fábio Cesar da Silva,João Francisco Gonçalves Antunes, Maria Angélica de AndradeLeite, Moacir Pedroso JúniorSupervisor editorial: Ivanilde DispatoNormalização bibliográfica: Marcia Izabel Fugisawa SouzaCapa: Intermídia Publicações CientíficasEditoração Eletrônica: Intermídia Publicações CientíficasComitê dePublicacõesExpedienteConclusões e ComentáriosA atividade de teste é complexa porque software écomplexo e altamente modificável. É uma atividadeque exige planejamento, projeto, execução, acom-panhamento, integração com outras áreas e recur-sos como equipe, processo, treinamento e ferramen-tas adequadas.No SIGI, a execução automática dos casos de testeunitários foi realizada com auxílio da ferramentaDUnit. Cada desenvolvedor, após implementar ostestes unitários de sua responsabilidade,  executa aDiscover para saber quanto cada teste está cobrin-do. Usando essas informações pode-se tomar açõespara elaborar testes mais específicos para eliminaras áreas descobertas até se conseguir uma porcen-tagem de cobertura aceitável. O ideal seria sempre100%, mas às vezes isso não é possível.A cobertura dos testes unitários foi medidafreqüentemente para avaliar a consistência dos tes-tes. Porém, não pode ser feita de forma centralizadana máquina que faz a compilação e execução contí-nua de todos os casos de testes unitários porque nãofoi possível compilar os programas de testes inte-grados a Discover, via linha-de-comando, devido aconfiguração do Search path no arquivo de configu-ração do Delphi (.cfg).Para o futuro fica a tarefa de automatizar todo o pro-cesso de medição da cobertura de testes unitários jáque a DUnit e a Discover podem ser executadas vialinha-de-comando, gerando o arquivo texto de saídacom os dados de cobertura.Referências BibliográficasBECK, K. Extreme programming explained: embracechange. Boston: Addison Wesley, 2000. 224 p.CYAMON SOFTWARE. Discover: version 1.50. Dispo-nível em: <http://www.cyamon.com>. Acesso em: 11nov. 2002.MYERS, G. J. The art of software testing. New York:John Wiley, 1979. 192 p. (Business Data Processing,a Wiley Series).PEDROSO JÚNIOR, M.; ANTUNES, J. F. G.; VISOLI,M. C.; CASTRO, A. M. G.; LIMA, S. M. V. Sistema deInformação Gerencial de Projetos de PesquisaAgropecuária para o Instituto Nacional deInvestigaciones Agrícolas da Venezuela. Campinas:Embrapa Informática Agropecuária, 2001. 14 p.(Embrapa. Programa 12 – Automação Agropecuária.Projeto 12.2001.950). Projeto em andamento.PRESSMAN, R. S. Software engineering: apractitioner’s approach. 4th ed. New York: McGraw-Hill, 1997. 852 p.ROCHA, A. R. C.; MALDONADO, J. C.; WEBER, K. C.(Ed.). Qualidade de software: teoria e prática. SãoPaulo: Prentice-Hall, 2001. 303 p.SOURCEFORGE. SourceForge.net: Project Info -DUnit: Xtreme Unit Testing for Delphi. Disponível em:<https://sourceforge.net/projects/dunit>. Acesso em:11 nov. 2002.

Cobertura de testes unitários no SIGI.

http://www.infoteca.cnptia.embrapa.br/infoteca/bitstream/doc/8626/1/comuntec25.pdf

Cobertura de testes unitários no SIGI.

Abstract

Similar works

Full text

Available Versions

Infoteca-e