Potential and limitations of the ISBSG dataset in enhancing software engineering research: A mapping review

Context The International Software Benchmarking Standards Group (ISBSG) maintains a software development repository with over 6000 software projects. This dataset makes it possible to estimate a project s size, effort, duration, and cost. Objective The aim of this study was to determine how and to what extent, ISBSG has been used by researchers from 2000, when the first papers were published, until June of 2012. Method A systematic mapping review was used as the research method, which was applied to over 129 papers obtained after the filtering process. Results The papers were published in 19 journals and 40 conferences. Thirty-five percent of the papers published between years 2000 and 2011 have received at least one citation in journals and only five papers have received six or more citations. Effort variable is the focus of 70.5% of the papers, 22.5% center their research in a variable different from effort and 7% do not consider any target variable. Additionally, in as many as 70.5% of papers, effort estimation is the research topic, followed by dataset properties (36.4%). The more frequent methods are Regression (61.2%), Machine Learning (35.7%), and Estimation by Analogy (22.5%). ISBSG is used as the only support in 55% of the papers while the remaining papers use complementary datasets. The ISBSG release 10 is used most frequently with 32 references. Finally, some benefits and drawbacks of the usage of ISBSG have been highlighted. Conclusion This work presents a snapshot of the existing usage of ISBSG in software development research. ISBSG offers a wealth of information regarding practices from a wide range of organizations, applications, and development types, which constitutes its main potential. However, a data preparation process is required before any analysis. Lastly, the potential of ISBSG to develop new research is also outlined.Fernández Diego, M.; González-Ladrón-De-Guevara, F. (2014). Potential and limitations of the ISBSG dataset in enhancing software engineering research: A mapping review. Information and Software Technology. 56(6):527-544. doi:10.1016/j.infsof.2014.01.003S52754456

Impact analysis of a multiple imputation technique for handling missing value in the ISBSG repository of software projects

Up until the early 2000’s, most of the empirical studies on the performance of estimation models for software projects have been carried out with fairly small samples (less than 20 projects) while only a few were based on larger samples (between 60 to 90 projects). With the set-up of the repository of software projects by the International Software Benchmarking Standards Group – ISBSG – there exists now a much larger data repository available for productivity analysis and for building estimation models: the 2013 release 12 of this ISBSG repository contains over 6,000 projects, thereby providing a sounder basis for statistical studies. However, there is in the ISBSG repository a large number of missing values for a significant number of variables, making its uses rather challenging for research purposes. This research aims to build a basis to improve the investigation of the ISBSG repository of software projects, in order to develop estimation models using different combinations of parameters for which there are distinct sub-samples without missing values. The goal of this research is to tackle the new problems in larger datasets in software engineering including missing values and outliers using the multiple imputation technique

Études empiriques des relations entre les modèles de qualité du logiciel d' ISO 9126 en utilisant le référentiel de données d'ISBSG et la méthode Taguchi

Avec l'évolution du domaine du genie logiciel, la gestion de la qualite du logiciel a évolué : elle s'est orientee non seulement vers la production de logiciels qui s'executent, mais aussi vers la satisfaction des objectifs pour lesquels ces logiciels sont concus. Contrairement au genie industriel, la gestion de la qualite du logiciel ne porte pas sur le traitement des produits physiques (hard) mais des produits logiques (soft), incluant le developpement du produit logiciel. En genie logiciel la gestion de la qualite requiert l'elaboration d'un ensemble de criteres de qualite que le logiciel doit satisfaire et la proposition de mesures pour evaluer cette qualite, tel que presente dans ISO 9126. La serie ISO 9126 comprend une norme intemationale sur la qualite du produit logiciel et trois rapports techniques. La norme ISO 9126-1 definit deux modeles de qualite du produit logiciel. Le premier modele de « qualite inteme » et de « qualite externe » comprend un ensemble de six caracteristiques, subdivisees en un ensemble de 27 souscaracteristiques pour lesquelles des mesures sont proposees dans les rapports techniques ISO TR 9126-2 et 3. Le deuxieme modele de « qualite en utilisation » comprend un ensemble de quatre caracteristiques et des mesures sont proposees dans le rapport technique ISO TR 9126-4 pour evaluer ces caracteristiques. Cette serie ISO (9126 parties 1 a 4) propose des liens entre ces trois modeles de qualite. Cependant, ces liens, bien que definis par un consensus international d'experts ISO, n'ont pas necessairement été démontrés objectivement et empiriquement: ces liens ne devraient donc etre consideres que comme un ensemble theorique interessant, et pour lequel des experimentations rigoureuses sont requises afin d'en demontrer indubitablement la validite. L'experimentation necessite une collecte de donnees pour realiser les experiences et faire ressortir les resultats des experiences. Cependant, en absence d'opportunites d'experimentations en Industrie, il est possible d'utiliser des referentiels de donnees disponibles en genie logiciel : par exemple, le referentiel de donnees industrielles de rinternational Software Benchmarking Standards Group (ISBSG) regroupe un ensemble d'informations sur les différentes phases du cycle de vie du logiciel. L'approche choisie pour ce projet de recherche est de combiner deux disciplines (genie industriel et genie logiciel) a travers I'utilisafion de la methode Taguchi afin de mener les experimentations avec le contenu des documents ISO 9126 et en exploitant le referentiel de donnees d'ISBSG. La methode Taguchi de concepfion de plan d'experiences, developpee par le Dr. Genichi Taguchi, combine des pratiques industrielles et statistiques et offi-e un moyen d'evaluer la qualite. Le but principal de ce projet de recherche est d'explorer la pertinence des relations entre les modeles de qualite d'ISO 9126 dans la production de logiciels de qualite. Afin de demontrer la pertinence ou non des relations entre ces modeles, les objectifs spécifiques de cette recherche sont de demontrer, par des etudes empiriques, si les relations prises pour acquises par ISO 9126 sont supportees par des donnees empiriques. II s'agit des relations entre : 1. La qualite inteme et la qualite externe. 2. La qualite exteme et la qualite en utilisation. 3. La qualite inteme et la qualite en utilisation. Pour realiser ces objectifs, la methodologie suivante a ete suivie : • verifier jusqu'a quel point le questionnaire d'ISBSG tient compte des trois types de qualite definis dans la norme ISO 9126-1. Pour cela, nous avons aligne les differentes parties du questionnaire d'ISBSG par rapport a la qualite interne, la qualite exteme et la qualite en utilisation de la norme ISO 9126-1; • identifier les caracteristiques de qualite inteme, exteme et en utilisation couvertes par le questionnaire d'ISBSG a travers I'idenfificafion des donnees de qualite du questionnaire d'ISBSG et leurs mesures correspondantes dans les rapports techniques ISO TR 9126-2 a 4; • analyser le referentiel de donnees d'ISBSG afin de determiner les donnees de qualite disponibles pour evaluer les trois types de qualite du produit logiciel d'ISO 9126. Nous avons propose des mesures propres a ISBSG a base de ces donnees. Ces mesures seront utiles lors de la conception des plans d'analyses empiriques avec la methode Taguchi; • adapter la methode Taguchi dc conception de plans d'experiences, d'ordre industriel, au contexte d'analyse empirique en genie logiciel, laquelle adaptation a porte sur I'etape de parametres de design de la strategic hors production (offline) du controle de la qualite de Taguchi; • etablir et analyser les resultats des plans d'analyses empiriques permettant de verifier les liens entre les trois types de qualite d'ISO 9126-1 en utilisant la methode Taguchi et en exploitant les donnees de I'extrait du referentiel d'ISBSG mis a notre disposition pour des fins de recherche. Les resultats de ces travaux de cette recherche ont permis la verification des hypothèses des liens de la norme ISO 9126-1 entre les trois types de qualite : la qualite interne affecte la qualite exteme qui affecte, a son tour, la qualite en utilisation du produit logiciel est effectivement justifiee dans cette these. Les resultats de ces travaux de recherche pourront être utiles pour les chercheurs, praticiens et industriels dans le domaine de la qualite du logiciel. Les resultats de cette recherche pourront egalement être utiles pour l'organisation ISBSG et les experts d'ISO 9126 en particulier, et pour la discipline du genie logiciel en general

A comparative study of the relative performance and real-world suitability of optimization approaches for Human Resource Allocation

The problem of Staffing and Scheduling a Software Project (SSSP), where we consider Human Resource Allocation (HRA) to minimize project time, offers a management challenge for Project Managers (PM’s). Unlike the general HRA problem, SSSP involves determination of the assignment of a fixed amount of resources to teams and the allocation of these teams to project’s jobs. SSSP problem arises across a diverse range of resources’ and project characteristics (discrete variables), and this variety has offered a wide range of HRA methods. The general consensus is that the benchmark for SSSP are Meta-heuristic optimization techniques using deterministic or stochastic simulation of time. However, different HRA methods and project attributes are considered by SSSP approaches, and their solutions need to be compared against each other. The majority of SSSP approaches provide their approximation using Genetic Algorithm (GA) validated by a synthetic data or empirical method such as Quasi-experiment. Limited studies offer the comparison between these SSSP approaches, either by a comprehensive survey or systematic literature review for qualitative concepts. We aim to answer a set of research questions including: what is the best way to show the quality and performance differences between SSSP approaches? And, are these SSSP approaches suitable for industrial adoption? Our thesis is that the best methodology is to identify according to the conceptual models used by the approaches a set of challenging data levels. In support of our thesis, we propose a systematic benchmarking and evaluation approach that encompass the data levels, and a set of quality measures. Next, we propose an empirical study that assess how PMs from software industry perform the allocation given the same datasets. The results of both works demonstrate significant differences between the approaches, highlighted four methods that advances the research filed, and provide interesting discussion on the PMs’ practices on SSSP