Using configuration management and product line software paradigms to support the experimentation process in software engineering.

There is no empirical evidence whatsoever to support most of the beliefs on which software construction is based. We do not yet know the adequacy, limits, qualities, costs and risks of the technologies used to develop software. Experimentation helps to check and convert beliefs and opinions into facts. This research is concerned with the replication area. Replication is a key component for gathering empirical evidence on software development that can be used in industry to build better software more efficiently. Replication has not been an easy thing to do in software engineering (SE) because the experimental paradigm applied to software development is still immature. Nowadays, a replication is executed mostly using a traditional replication package. But traditional replication packages do not appear, for some reason, to have been as effective as expected for transferring information among researchers in SE experimentation. The trouble spot appears to be the replication setup, caused by version management problems with materials, instruments, documents, etc. This has proved to be an obstacle to obtaining enough details about the experiment to be able to reproduce it as exactly as possible. We address the problem of information exchange among experimenters by developing a schema to characterize replications. We will adapt configuration management and product line ideas to support the experimentation process. This will enable researchers to make systematic decisions based on explicit knowledge rather than assumptions about replications. This research will output a replication support web environment. This environment will not only archive but also manage experimental materials flexibly enough to allow both similar and differentiated replications with massive experimental data storage. The platform should be accessible to several research groups working together on the same families of experiments

Gestión de Materiales Experimentales y su Uso en Replicaciones de Experimentos: Un Mapeo Sistemático de la Literatura

Resumen: La Ingeniería de Software Experimental (ISE) aplica la experimentación para obtener conocimiento sobre productos, métodos, técnicas usados en el proceso de desarrollo software. Para validar el conocimiento es necesario repetir el experimento original tantas veces como sea necesario. Se requieren mucha información y materiales acerca del experimento para que un experimentador realice una replicación. Previa a la ejecución de la replicación del experimento, algunos o la totalidad de los materiales pueden requerir cambios produciendo nuevas o modificadas versiones de estos. Una vez ejecutada la replicación del experimento se espera que, parte o la totalidad de los materiales, se incorporen al material del experimento original. El incremento en el número de replicaciones del experimento original está directamente relacionado con el incremento de las versiones del material experimental, que ocasiona comúnmente confusión y desorden en su organización. En este trabajo, realizamos un mapeo sistemático de la literatura (MSL) para localizar trabajos sobre Gestión de Materiales Experimentales y su Uso en Replicaciones en Ingeniería de Software Experimental. Los resultados encontrados reflejan la escasa existencia de artículos sobre esta temática. Además, el análisis de los estudios encontrados ha descubierto que dichos artículos, en su mayoría, adolecen de problemas en la gestión de versiones de materiales experimentales para poder llevar a cabo un proceso de replicación. Estos datos proporcionan información de interés para iniciar la investigación de la adopción del paradigma de gestión de configuración de software en la gestión del material experimental en ISE.Palabras clave: Ingeniería del Software Experimental, Replicación de Experimentos, Material Experimental, Gestión del Material Experimenta