Extending the Conceptual Base for a Holistic Quality Evaluation Approach

For software organizations often performing measurement, evaluation (ME), and even change/improvement (MEC) projects, a wellestablished quality evaluation approach can be useful. In this direction, we have developed a holistic quality evaluation approach whose architecture is based on two pillars, namely: a quality multi-view modeling framework, and ME/MEC integrated strategies. In this paper, we specify the conceptual base for the former pillar. Specifically, we specify an ontology of quality views documenting its main terms, properties and relationships. Quality views are paramount for selecting evaluation strategies and strategy patterns to be assigned as resources to ME/MEC projects. Also, we show how this ontology is semantically linked with the previously built ME domain ontology.Sociedad Argentina de Informática e Investigación Operativa (SADIO

Extending the Conceptual Base for a Holistic Quality Evaluation Approach

For software organizations often performing measurement, evaluation (ME), and even change/improvement (MEC) projects, a wellestablished quality evaluation approach can be useful. In this direction, we have developed a holistic quality evaluation approach whose architecture is based on two pillars, namely: a quality multi-view modeling framework, and ME/MEC integrated strategies. In this paper, we specify the conceptual base for the former pillar. Specifically, we specify an ontology of quality views documenting its main terms, properties and relationships. Quality views are paramount for selecting evaluation strategies and strategy patterns to be assigned as resources to ME/MEC projects. Also, we show how this ontology is semantically linked with the previously built ME domain ontology.Sociedad Argentina de Informática e Investigación Operativa (SADIO

A Method To Select Goals, Indicators and Strategies for IT Services

Background: Measurement is a key process to support organizations in management and improvement of processes, products and services. Indicators are measures used to monitor whether a goal is reached, increasing feedback and objectivity on judgment and helping organizations to focus attention and effort on what matters. IT services literature, such as libraries, frameworks, standards, and maturity models, requires proper identification of critical business process and definition of relevant measures to support decision-making. However, there is no clear direction about what should be those critical business processes and indicators. IT service departments often spend time and effort measuring without being sure about what the measurement results represent and organizations consider the indicators selection as a difficult task. Aims: We conducted this work aiming to answer the research question: “How to support selection of IT services indicators in different organizational levels and aligned to business goals?” Method: Considering this scenario, we proposed SINIS, a method to help organizations select indicators for IT services in several levels in alignment to business goals. SINIS was created based on concepts from process improvement models and approaches related to IT Services Management. We evaluated SINIS in the IT Infrastructure and the IT Security areas of a global large company. Results: By using SINIS IT Infrastructure was able to define indicators and an appropriate set of strategies aligned with IT Service goals in which teams could focus work and IT Security was able to better understand and document indicators, associate them to business goals and strategies and discard those ones that were not considered useful. Conclusion: SINIS was evidenced as applicable to different IT Service areas, supporting definition of strategies and indicators for members to work on that could help attending IT service and business goals, instead of working in several and unfocused initiatives.

On the symbiosis between conceptual modeling and ontology engineering : recommendation-based conceptual modeling

Within an enterprise, different conceptual models, such as process, data, and goal models, are created by various stakeholders. These models are fundamentally based on similar underlying enterprise (domain) concepts, but they have a different focus, are represented using different modeling languages, take different viewpoints, utilize different terminology, and are used to develop different enterprise artefacts (such as documents, software, databases, etc.); therefore, they typically lack consistency and alignment. Another issue is that modelers have different vocabulary selections and different modeling styles. As a result, the enterprise can find itself accumulating a pile of models which cover similar aspects in different manners. Those models are not machine-readable and cannot be processed automatically. Enterprise-Specific Ontologies (ESOs) aim to solve this problem by serving as a reference during the conceptual model creation. Using such a shared semantic repository makes conceptual models semantically aligned and facilitates model integration. However, managing those ontologies is complicated; an enterprise is an evolving entity, and as it changes, the ESO might become outdated. During the years of research dedicated to this dissertation, the Recommendation-Based Conceptual Modeling and Ontology Evolution (CMOE+) framework was developed. This framework establishes a symbiotic relationship between the Ontology engineering and the Conceptual modeling fields. CMOE+ consists of two cycles: the Ontology Evolution cycle and the Conceptual Modeling cycle. The Ontology Evolution cycle is responsible for setting up the initial version of the ESO and updating it as the knowledge within the enterprise evolves. Additionally, this cycle encapsulates recommendation services to perform ontology look-up and to present the most relevant ESO concepts in support of the modeler. The Conceptual Modeling cycle is responsible for the creation of conceptual models in different modeling languages based on the ESO. This cycle is also concerned with the quality evaluation of the created models. CMOE+ was developed based on requirements identified as a result of a literature review and a case study. The development process follows the Design Science Research Methodology (DSRM). After the initial version of CMOE+ was put forward, our focus was narrowed towards the recommendation-based conceptual modeling part of CMOE+, and we continued to gradually improve the framework in iterations until it reached its current state. The Ontology Evolution Cycle is not fully addressed within the scope of this dissertation. In order to demonstrate the performance and usability of CMOE+, it was exemplified for process modeling using BPMN and goal modeling using i*. This thesis presents a detailed instantiation, and explains steps to be performed in order to instantiate CMOE+ for other modeling languages. In order to evaluate the process modeling instance of CMOE+, a CMOE+BPMN tool was implemented. This tool incorporates a BPMN modeler, facilitates storage and access of the ESO, and includes all algorithms functioning within CMOE+ for the BPMN modeling language (as some of the algorithms are language dependent). Next, CMOE+ was exemplified using the i* goal modeling language. Finally, we demonstrated the ability of CMOE+ to perform alignment between i* and BPMN models, in order to show that CMOE+ is indeed beneficial in achieving interoperability among models created in different modeling languages and covering distinct aspects of the enterprise

A Unified Metamodel for Assessing and Predicting Software Evolvability Quality

Software quality is a key assessment factor for organizations to determine the ability of software ecosystems to meet the constantly changing requirements. Many quality models exist that capture and assess the changing factors affecting the quality of a software product. Common to these models is that they, contrary to the software ecosystems they are assessing, are not evolvable or reusable. The thesis first defines what constitutes a unified, evolvable, and reusable quality metamodel. We then introduce SE-EQUAM, a novel, ontological, quality assessment metamodel that was designed from the ground up to support quality unification, reuse, and evolvability. We then validate the reus-ability of our metamodel through instantiating a domain specific quality assessment model called OntEQAM that assesses evolvability as a non-functional software quality based on product and com-munity dimensions. A fuzzy logic based assessment process that addresses uncertainties around score boundaries supports the evolvability quality assessment. The presented assessment process also uses the unified representation of the input knowledge artifacts, the metamodel, and the model to provide a fuzzy assessment score. Finally, we further interpret and predict the evolvability as-sessment scores using a novel, cross-disciplinary approach that re-applies financial technical analy-sis, which are indicators, and patterns typically used for price analysis and the forecasting of stocks in financial markets. We performed several case studies to illustrate and evaluate the applicability of our proposed evolvability score prediction approach

Enfoque integrado de medición, evaluación y mejora de calidad con soporte a metas de negocio y de necesidad de información: aplicación de estrategias a partir de patrones de estrategia

En toda organización de software madura, se debe asegurar la mejora continua de la calidad de los productos, servicios, procesos y recursos. Para ello, no solo es necesario contar con actividades de medición y evaluación que permitan conocer la situación real o estimada de una entidad, analizando y detectando debilidades y vulnerabilidades; sino que también es preciso contar con actividades que permitan introducir cambios orientados a la mejora. Un modo ingenieril de organizar las actividades y recursos involucrados es mediante la gestión de proyectos de medición, evaluación y/o cambio. Estos proyectos operacionalizan metas de necesidad de información de medición y evaluación. Por ejemplo, una meta de este tipo puede ser “comprender el estado actual de una aplicación móvil respecto a la característica usabilidad”. Estas metas constituyen un tipo de meta de necesidad de información que da soporte a metas de negocio operativas, las cuales debieran estar alineadas con metas de negocio estratégicas. A su vez, una estrategia integrada ayuda a alcanzar las metas de un proyecto mediante sus actividades y métodos bien establecidos. En especial, la aplicación de dichas estrategias para llevar a cabo metas de necesidad de información de medición y evaluación, se puede realizar a partir de la instanciación de patrones de estrategia. La presente tesis doctoral se centra en definir un Enfoque Multinivel y Multipropósito de Evaluación de la Calidad que permita establecer metas de necesidad de información de medición y evaluación vinculadas con metas de negocio a distintos niveles organizacionales. Promueve además, la utilización de estrategias integradas específicas para llevar a cabo dichas metas, por medio de la instanciación de patrones de estrategia, como modo de proveer soluciones reusables a problemas recurrentes en la instanciación de estrategias integradas empleadas en proyectos de medición, evaluación y/o cambio.Facultad de Informátic

Soporte organizacional de medición y evaluación orientada a objetivos y sensible al contexto

El éxito de un producto o servicio de software depende en gran medida de la satisfacción de un cierto nivel de calidad observado sobre el mismo producto o servicio así como sobre los recursos y procesos involucrados en su obtención y su operación. Conocer de forma cuantitativa y objetiva el nivel de calidad de un producto, servicio, proceso o recurso es fundamental como parámetro para la toma de decisiones hacia un camino de mejora. Sin embargo, lograr esto no es una tarea trivial ya que la calidad es un concepto abstracto y relativo que debe ser considerado desde diversos puntos de vista, involucrando diversos aspectos y en contextos de aplicación particulares. Para lograr lo anterior, es crucial para una organización contar con programas y procesos de Aseguramiento de Calidad para definir las tareas necesarias para detectar y corregir problemas en la calidad así como procesos de Medición y Evaluación que provean la información cuantitativa y objetiva sobre los niveles de calidad reales de cada una de las entidades relevantes involucradas. Sin embargo, configurar, ejecutar y mantener un programa de medición y evaluación robusto y consistente no es una tarea simple. Cuando se implementan programas de medición y evaluación en organizaciones de software, ciertos aspectos técnicos clave deben ser resueltos. En primer lugar, se deben establecer claramente, mediante la especificación de un proceso, las actividades a realizar, así como los recursos y los artefactos que serán utilizados y producidos durante su ejecución. Estas actividades deben organizarse de tal manera que puedan ser coordinadas con actividades de soporte relacionadas con actividades ingenieriles. En segundo lugar, se debe establecer de forma explícita un marco conceptual que facilite un entendimiento común de los términos y relaciones utilizados en las actividades mencionadas entre los proyectos de la organización así como el intercambio y reuso consistente de instancias de tales conceptos para que los resultados puedan ser repetibles, comparables y consistentes. En tercer lugar, se deben utilizar métodos, técnicas y herramientas específicos y apropiados para llevar a cabo efectivamente las actividades definidas. En este sentido existe un número importante de propuestas que definen enfoques, procesos, modelos, métodos y herramientas para llevar a cabo las actividades de medición y evaluación. Sin embargo, la mayoría de estas propuestas no proveen un enfoque integrado que incluya todos estos elementos. Adicionalmente muchas de estas propuestas carece de una base conceptual que defina de forma clara y estructurada los conceptos y relaciones involucradas en tales actividades. Y en los casos donde existe una terminología definida no existe un consenso general (aún entre propuestas de la misma fuente) sobre los términos involucrados que permita integrar diferentes propuestas, complicando aún más los problemas de implementación de programas de medición y evaluación. En esta tesis se muestran los resultados de una investigación destinada a crear una solución para cubrir dicha falta proponiendo un marco conceptual con base ontológica que define de forma clara y estructurada los elementos de información (los términos y relaciones) utilizados para especificar el diseño e implementación de actividades de medición y evaluación. El marco propuesto fue creado a partir de los términos definidos en la literatura relevante, siguiendo un enfoque orientado a objetivos y enfocado a la organización. Además el marco sigue un enfoque sensible al contexto para proveer un soporte a la toma de decisiones más coherente y consistente entre los proyectos de la organización. El marco resultante conforma una plataforma de soporte para la definición de procesos y métodos para la ejecución de proyectos de medición y evaluación en la organización. La propuesta incluye además una arquitectura de soporte que permite la integración del marco al dominio de aplicación de la organización. Finalmente, estos elementos han sido implementados en una herramienta web que permite visualizar los beneficios de la propuesta.Facultad de Informátic