Data accumulation and software effort prediction

BACKGROUND: In reality project managers are constrained by the incremental nature of data collection. Specifically, project observations are accumulated one project at a time. Likewise within-project data are accumulated one stage or phase at a time. However, empirical researchers have given limited attention to this perspective. PROBLEM: Consequently, our analyses may be biased. On the one hand, our predictions may be optimistic due to the availability of the entire data set, but on the other hand pessimistic due to the failure to capitalize upon the temporal nature of the data. Our goals are (i) to explore the impact of ignoring time when building cost prediction models and (ii) to show the benefits of re-estimating using completed phase data during a project. METHOD: Using a small industrial data set of sixteen software projects from a single organization we compare predictive models developed using a time-aware approach with a more traditional leave-one-out analysis. We then investigate the impact of using requirements, design and implementation phase data on estimating subsequent phase effort. RESULTS: First, we find that failure to take the temporal nature of data into account leads to unreliable estimates of their predictive efficacy. Second, for this organization, prior-phase effort data could be used to improve the management of subsequent process tasks. CONCLUSION: We should collect time-related data and use it in our analyses. Failure to do so may lead to incorrect conclusions being drawn, and may also inhibit industrial take up of our research work

Mineração de repositórios de software modelos de previsão de pedidos de evolução de software

Dissertação para obtenção do Grau de Mestre em Engenharia InformáticaA descoberta, ou confirmação, de tendências e padrões na evolução de sistemas de software tem vindo a conferir relevância à mineração de repositórios de software. A Engenharia de Software recorre assim a abordagens específicas para a mineração de dados, originários da construção de software, tais como: código-fonte, histórico de versões (logs), relatórios de erros (rastreio de defeitos), entre outros. Os membros da equipa de desenvolvimento são um recurso valioso no processo de desenvolvimento e manutenção de um software. Para otimizar o seu trabalho têm surgido ferramentas de software integradas e ligadas às atividades de desenvolvimento que permitem que os dados (tais como, pedidos de evolução, repositórios de controlo de versões, entre outros) sejam armazenados automaticamente. Estes dados poderão então ser recuperados e devidamente tratados para que se obtenha informação importante para uma melhoria do processo de desenvolvimento de software. A mineração de dados nos repositórios do processo de desenvolvimento permite detetar tendências e padrões quer no processo de desenvolvimento quer nos artefactos desenvolvidos, constituindo assim uma importante ferramenta de apoio à gestão desse processo. Pretendemos com este estudo usar a informação contida em repositórios de pedidos de evolução para criar modelos de previsão da distribuição desses pedidos ao longo do tempo. Esse tipo de modelos é útil para facilitar a gestão do processo de desenvolvimento e manutenção de software, na medida em que permitem prever períodos em que a densidade de pedidos será maior, contrastando com outros em que há menos pedidos, sendo essa informação relevante para a alocação de recursos humanos ao processo de desenvolvimento e manutenção. A abordagem a utilizar visa estudar que tipos de modelos são mais adequados, conforme o volume de dados histórico existente e o padrão de versões a que o repositório diz respeito. Em particular, queremos saber: - Será que a escolha do “melhor” modelo é relativamente estável, ou muito volátil? A implicação é que podemos ter de atualizar modelos muito frequentemente, ou nem por isso. - Será que os modelos que integram informação sazonal se tornam dominantes? Se sim, quanto tempo de dados históricos é necessário para que a informação sazonal seja relevante