Are comprehensive quality models necessary for evaluating software quality?

The concept of software quality is very complex and has many facets. Reflecting all these facets and at the same time measuring everything related to these facets results in comprehensive but large quality models and extensive measurements. In contrast, there are also many smaller, focused quality models claiming to evaluate quality with few measures. We investigate if and to what extent it is possible to build a focused quality model with similar evaluation results as a comprehensive quality model but with far less measures needed to be collected and, hence, reduced effort. We make quality evaluations with the comprehensive Quamoco base quality model and build focused quality models based on the same set of measures and data from over 2,000 open source systems. We analyse the ability of the focused model to predict the results of the Quamoco model by comparing them with a random predictor as a baseline. We calculate the standardised accuracy measure SA and effect sizes. We found that for the Quamoco model and its 378 automatically collected measures, we can build a focused model with only 10 measures but an accuracy of 61% and a medium to high effect size. We conclude that we can build focused quality models to get an impression of a system’s quality similar to comprehensive models. However, when including manually collected measures, the accuracy of the models stayed below 50%. Hence, manual measures seem to have a high impact and should therefore not be ignored in a focused model

A Model for Software Quality Evaluation Using the User's Point of Views

Contexte: Dans le marché des logiciels en constante évolution, les acheteurs de logiciels sont confrontés à un défi majeur: parmi ces différents produits, lequel répond le mieux aux exigences et au budget des utilisateurs? Bien que la plupart des acheteurs de logiciels soient conscients de leurs besoins fonctionnels et budgétaires, les facteurs de qualité tels que la « disponibilité » ou la «fiabilité » ne sont généralement pas pris en compte. Les fournisseurs de logiciels parlent aussi rarement des aspects de qualité de leurs produits. Le défi principal est « comment susciter les attentes de qualité des utilisateurs ? », puis « comment déterminer les caractéristiques de qualité d'un produit logiciel ?». La comparaison de ces deux facteurs de qualité peut aider les acheteurs de logiciels à sélectionner le produit le mieux adapté et à ne pas gaspiller de budget supplémentaire pour des facteurs de qualité inutiles et ne pas acheter un produit qui ne couvre pas leurs exigences de qualité. Existe-t-il une méthode systématique pour rendre cette comparaison possible? Quels sont les facteurs qui influent sur la perception de l'utilisateur de la qualité du produit logiciel? Objectif: Dans cette thèse, nous visons à aborder la qualité du produit logiciel du point de vue des utilisateurs. L'objectif est de créer le profil de qualité attendu et observé du produit logiciel afin de démontrer les différences entre les qualités attendues par les utilisateurs et quelles qualités sont observées chez le produit logiciel. Méthode: Nous avons utilisé une stratégie empirique en utilisant une méthode basée sur un sondage pour créer le profil des caractéristiques de qualité attendues et observées. Après avoir développé un modèle de qualité standard, nous avons créé quatre types de questionnaires pour les utilisateurs finaux et les utilisateurs expérimentés, qui visent à susciter les facteurs de qualité. À titre d'étude de cas, nous avons mené trois enquêtes en deux phases dans l'industrie. Dans la phase I, nous avons demandé aux utilisateurs potentiels d'un produit logiciel en cours de développement, de répondre au questionnaire «qualité attendue». Dans la phase II, les utilisateurs d'un produit logiciel existant ont été invités à répondre au questionnaire «qualité observée». Résultats: Les résultats de la première phase montrent qu'il n'y a pas de différence significative entre les attentes de qualité de groupe d'utilisateurs final (end user) et d'utilisateurs expérimentés (power user). Dans la phase II, les résultats révèlent que les utilisateurs du département de développement, connus comme utilisateurs techniquement compétents, trouvent le logiciel plus performant que les utilisateurs d'autres départements de l'entreprise. Conclusion: Avec des profils de plan de qualité en main, il est possible d'effectuer un contrôle croisé utile entre les attentes de qualité spécifiques des utilisateurs et d'autres pilotes (exigences fonctionnelles et architecture / conception), avant ou pendant le processus de développement de logiciels. Le contrôle croisé devrait viser à garantir qu'il existe suffisamment d'activités et de sous-activités dans le processus de développement de logiciels pour répondre aux attentes de qualité des utilisateurs. Sur la base des enquêtes menées, nous concluons que la qualité du logiciel du point de vue des utilisateurs dépend de la connaissance des utilisateurs sur les développements et la qualité de la technologie, en général, et sur le produit logiciel à l'étude, en particulier.----------ABSTRACT : Context: In the ever-evolving software market, software buyers face a central challenge: Among these various products, which one best meets the users’ requirements and budget? While most software buyers are aware of their functional and budgetary requirements, quality factors such as ‘availability’ or ‘reliability’ are not usually taken into account. Software vendors also rarely talk about the quality aspects of their products. The primary challenge is “how to elicit the users’ quality expectations”, and then “how to determine the quality characteristics of a software product”. Comparing these two can assist the software buyers to select the best-fit product; not to waste extra budget for unnecessary quality factors, and not buy a product that does not cover their quality requirements. Is there any systematic method to make this comparison possible? What are the influencing factors that affect the user’s perception of the software product quality? Objective: In this thesis, we aim to address the quality of the software product from the users’ point of view. The goal is to create the expected and observed quality profile of the software product to demonstrate the differences between what qualities were expected from the users’ side, and what qualities are observed in the software product. Method: We employed an empirical strategy using a surveybased method to create the profile of expected and observed quality characteristics. After developing a standard-based quality model, we created four types of questionnaires for end users and power users, which aim to elicit the quality factors. As a case study, we conducted three surveys in two phases in the industry. In phase I, we asked the potential users of a software product which was under development, to answer the ‘expected-quality’ questionnaire. In phase II, the users of an existing software product were asked to answer the ‘observed-quality’ questionnaire. Results: The results of the first phase show that there is no significant difference between the quality expectations of the end and power user groups. In phase II, the results reveal that the users in development department who are known as technically knowledgeable users find the software as higher quality than the users in other departments of the company. Conclusion: With quality plan profiles in hand, it is possible to perform a useful crosscheck between users’ specific quality expectations and other drivers (functional and architecture/design requirements), before or during the software development process. The crosscheck should be aimed to guarantee that there are enough activities and sub-activities in the software development process to support the users’ quality expectations. Based on the conducted surveys, we conclude that the software quality from the users’ point of view depends on the knowledge of the users about the software developments and quality, in general, and on the software product under study, specifically

Diseño de sistema para el aseguramiento y el control de la calidad en los proyectos de software del TEC Digital

Informe de Trabajo Final de Graduación (Licenciatura de Administración de Tecnología de Información) Instituto Tecnológico de Costa Rica, Área Académica de Administración de Tecnologías de Información, 2019.En el presente documento de trabajo final de graduación, se expone la investigación y el diseño de un sistema para el aseguramiento y el control de la calidad en los proyectos de software de la Unidad TEC Digital, instancia del Instituto Tecnológico de Costa Rica. La calidad es un tema que organizaciones desarrolladoras de software como el TEC Digital, deben abordar para cumplir el objetivo de ofrecer productos y servicios, los cuales satisfagan los requerimientos y las necesidades de sus usuarios finales. Sin embargo, los procesos y las actividades para propiciar dicha calidad, en ocasiones representan elementos con alto costo en cuanto a los recursos necesarios para su implementación y ejecución. Por este motivo, se plantea el diseño del sistema mencionado, con el fin crear una ruta sistematizada y planificada de las acciones requeridas, las cuales se dividen según las etapas de la metodología de desarrollo de software de la Unidad, para asegurar y controlar la calidad del software que desarrolla esta organización, a la vez que se aprovecha de forma efectiva, los recursos con los cuales cuenta. El diseño del sistema se propone en función de tres elementos principales: roles, actividades y artefactos. Estos tres componentes desarrollan las interacciones que se plantean para el sistema y, de forma conjunta, despliegan la ruta sistematizada y planificada que se indicó. Además, se realiza la propuesta de integración de dos elementos para la ejecución del propio sistema: 1) herramientas de software que soporten las actividades planteadas y 2) un modelo de calidad de software para la verificación, validación y evaluación de la misma a través de todo el ciclo de vida de desarrollo de los proyectos de software del TEC Digital.In the present final graduation document, it is elaborated the design of a system for the assurance and quality control in the software projects of the TEC Digital Unit, instance of the Technological Institute of Costa Rica. Quality is an issue that software development organizations such as TEC Digital must address to accomplish the goal of offering products and services that meet the requirements and needs of its end users. However, the processes and activities to promote such quality, sometimes represent elements with a lot of cost as far as the necessary resources for its implementation and execution. For this reason, the design of the mentioned system is proposed to create a systematized and planned route of the required actions, which are divided according to the stages of the software development methodology of the Unit, to ensure and control the quality of the software that this Unit develops, effectively taking advantage of the resources with which it counts. The design of the system is based on three main elements: roles, activities and artifacts. These three components develop the interactions that arise for the system and jointly develop the mentioned systematized and planned route. In addition, it is suggested the integration of two elements for the execution of the system: 1) software tools that support the proposed activities and 2) a software quality model for the verification, validation and evaluation of such quality through the entire development cycle of the TEC Digital software projects