El objetivo de este artículo es presentar la situación actual y los avances realizados en el proyecto de investigación MyFEPS Metodologías y Framework para la Evaluación de Productos de Software, desarrollado en la Facultad de Ingeniería y Tecnología Informática de la Universidad de Belgrano. En este contexto se describen las actividades de transferencia y ajustes al Framework, producto de la última fase del proyecto.Eje: Ingeniería de SoftwareRed de Universidades con Carreras en Informática (RedUNCI

Angeleri, Paula

Ceballos, Jorge

Titiosky, Rolando

Spanish

SEDICI - Repositorio de la UNLP

Framework de Evaluación de Productos Software  
Paula Angeleri, Rolando Titiosky, Jorge Ceballos 
 
Facultad de Ingeniería y Tecnología Informática/ Universidad de Belgrano 
Av. F. Lacroze 1947, CABA 
Paula.angeleri@ub.edu.ar, {paula.angeleri; rolando.titiosky; jorge.ceballos}@comunidad.ub.edu.ar 
 
 
 
Resumen 
El objetivo de este artículo es 
presentar la situación actual y los avances 
realizados en el proyecto de investigación  
MyFEPS Metodologías y Framework 
para la Evaluación de Productos de 
Software [1], desarrollado en la Facultad 
de Ingeniería y Tecnología Informática de 
la Universidad de Belgrano. En este 
contexto se describen las actividades de 
transferencia y ajustes al Framework, 
producto de la última fase del proyecto.  
 
Palabras clave: Calidad de software, 
Evaluación de calidad de producto 
software, Framework MyFEPS. 
 
Contexto 
Evaluación de Productos Software 
A partir del interés del IRAM1, 
UNIT2, ABNT3, INN4 y del BID5 de 
elaborar normas técnicas que permitiesen 
mejorar la competitividad de las 
empresas, nace el proyecto BID-FOMIN 
que incluye un Programa “Software” 
gracias al cual se  adoptaron normas 
                                                          
1 Instituto Argentino de Normalización y 
Certificación.  
2 Instituto Uruguayo de Normas Técnicas. 
3 Asociación Brasilera de Normas Técnicas. 
4 Instituto Nacional de Normalización de Chile.  
5 Banco Interamericano de Desarrollo. 
ISO/IEC6 en Argentina y a Nivel 
MERCOSUR. A partir de la publicación 
de estas normas, IRAM desarrolla el 
servicio de certificación de productos 
software [2]. Para dar apoyo a este 
servicio, para especificar un modelo de 
calidad actualizado [3], y un proceso de 
evaluación que permitiese la ponderación 
de características de calidad en base a 
objetivos de evaluación [4],  entre otros 
objetivos explicados anteriormente [5], 
[6], la Universidad de Belgrano inicia un 
proyecto de investigación para elaborar 
un Framework que facilite la evaluación 
de productos software: el proyecto 
MyFEPS. El proyecto fue financiado por 
la Universidad de Belgrano, y con aportes 
de la empresa TSOFT, a través de un 
aporte del FONTAR [7].  
 
Introducción 
El proyecto MyFEPS se llevó a cabo 
conforme a lo planificado, y cumpliento 
sus objetivos [5], [6]. En primer lugar se 
elaboraron las bases teóricas [1], luego el 
modelo de calidad de productos software 
                                                          
6
 Las normas ISO de Tecnología de la 
Información son normas ISO/IEC porque 
dependen del JTC1, Comité Técnico Conjunto de 
la International Standardization Organizarion y 
de la International Electro Technical Commission. 
657
QSAT7 [3], posteriormente el proceso de 
evaluación [4], basado en las normas 
internacionales ISO/IEC 14598 [12] e 
ISO/IEC 25040 [13], y mientras tanto se 
construían herramientas de apoyo [7], 
entre otros objetivos específicos. A 
continuación se llevaron a cabo tres 
proyectos para validar la adecuación del 
proceso de evaluación y del modelo de 
calidad. Estos fueron los proyectos 
ConexionUB, eCOMM, y SHG [6] [7], los 
cuales cumplieron sus objetivos, 
validando que el proceso es fácil de 
utilizar y adecuado, y que sus atributos y 
métricas referidas a las características 
básicas “usabilidad objetiva”, “satisfac-
ción subjetiva de los usuarios”, y 
“facilidad de instalación”, permitieron 
medir su calidad (con algunos ajustes que 
surgieron de estos proyectos).  
A la fecha, el Laboratorio de Testing 
de la Universidad de Belgrano ha 
realizado otros proyectos de evaluación 
de calidad utilizando MyFEPS,  durante 
2014 y 2015, y brindado cursos de 
capacitación, los que se  describen a 
continuación:  
 
Evaluación de Morpho  
Una de las experiencias más 
importantes por las dimensiones de la 
evaluación y la cantidad de recursos 
involucrados, fue el proyecto Morpho. 
Proyecto que culminò con la certificación 
IRAM Chile del software desarrollado 
por la empresa Morpho para el Gobierno 
de Chile, Ministerio del Interior. Dadas ls 
dimensiones del proyecto, IRAM Central 
asignó el trabajo a tres laboratorios, 
manteniendo la gestión de proyecto. Los 
laboratorios participantes fueron 
Laboratorio de Testing San Luis (LTSL), 
Laboratorio de Testing de Universidad de 
                                                          
7 QSAT: sigla proveniente del apellido de sus 
creadores: Sorgen, Angeleri y Titiosky. La Q es 
por “quality”. 
Belgrano, y Laboratorio de Testing de la 
Universidad de Morón. A su vez LTSL 
coordinaba el trabajo de los tres 
laboratorios. El Proceso de Evaluación de 
la Calidad utilizado fue el mismo para 
todos los laboratorios involucrados, se 
usó MyFEPs para definir las etapas y las 
estimaciones de costo. El Laboratorio de 
Testing de UB usó también el proceso de 
evaluación MyFEPS para estimar el 
calendario y la planificación de recursos. 
Los otros laboratorios usaron métodos 
heurísticos propios para la definición de 
roles, puesto que la ISO no define un 
procedimiento de evaluación, sino el 
proceso y sus requisitos. El Modelo de 
Calidad elegido fue el de la norma 
ISO/IEC 25010 [14]. Las Características 
Evaluadas para los Módulos de Bloqueo, 
Inventario, Entrega, y Correspondencia, 
fueron: Adecuación funcional, Seguridad, 
Usabilidad. Al Modulo Correspondencia, 
se le agregó la característica 
Compatibilidad. Las Métricas utilizadas 
fueron en casi todos los casos ISO/IEC, 
excepto en algunas subcaracterìsticas 
donde se recomendó el uso de las 
métricas de QSAT, dado que las métricas 
de la serie ISO/IEC 25000 [15] aún no se 
han publicado y se estaba trabajando con 
las métricas correspondientes a la 
ISO/IEC 9126 [16], que no las incluía. 
 
Evaluación de Learning System 
Uno de los proyectos fue Learning 
System, con el objetivo de evaluar la 
mejor plataforma de E-learnign y su 
integración con un CRM orientado al 
negocio Educativo. Experiencia que 
permitió validar los atributos y mètricas 
de varias características básicas.  En el 
proyecto participaron un Project 
Manager, un Ingeniero de Software y tres 
Testers, y se evaluaron:  
• LMS/LCMS: Ilias, Chamilgo y  
Moodle. 
658
• CRM: SugarCRM, vTiger, Salesforce 
 
Se Planificó, Cuantifico, Ejecutó y 
Concluyó la Evaluación desde la óptica 
de diferentes StakeHolders: 
• LMS: Alumnos, Docentes, 
Responsable de Área.  
• CRM: Alumnos, Administrador, 
Cliente, Sistema. 
 
El Proceso de Evaluación de la Calidad 
utilizado fue MyFEPs con el que se  
definió las etapas, las estimaciones de 
costo, los tiempo necesarios y los 
recursos humanos y sus roles.  El Modelo 
de Calidad elegido fue el QSAT. Las 
Características Evaluadas para ambos 
sistemas fueron: Adecuación Funcional, 
Eficiencia, Facilidad de Instalación, 
Seguridad de datos y de procesos, y 
Calidad de Artefactos. Las Métricas y sus 
Procedimientos fueron en todos los casos 
QSAT. La totalidad de ejecuciones de 
Tests fueron realizadas por el Laboratorio 
UB consolidando los resultados con el fin 
de obtener el grado de Calidad asociado a 
cada Módulo. 
 
Capacitación 
Se realizaron cursos de capacitación en 
Calidad de Software y ESPECÍFICOS DE 
MyFEPs. Se pasó material de cursos con 
casos de estudio de los proyectos de 
evaluaciòn MyFEPS a IRAM, y se 
dictaron dos talleres para SyK. A su vez 
se dictaron 2 cursos por el programa 
EMPLEARTEC, durante 2014 y 2015. 
Asimismo se incluyó MyFEPS en 
programas analíticos de asignaturas de 
carreras de Ingeniería Informática, 
Licenciatura en Sistemas.  
 
Líneas de Investigación, 
Desarrollo e Innovación 
Las líneas de investigación sobre las 
que se ha trabajado abarcan: 
Dominio de conceptos: se ha definido un 
Glosario de términos relacionados a la 
calidad del software. 
Herramientas de Apoyo a la Evaluación: 
se han investigado cuales son los Casos 
de Uso más Importantes que influencian 
en el proceso de evaluación y cómo 
afectan al proceso. Ejemplos de estos 
Casos son: a. Definición de los Objetivos 
de la evaluación de manera colaborativa, 
b. Definición del Modelo de Calidad a 
usar, c. Etapas y actividades del Proyecto, 
d. Ponderación e Integración de 
Resultados. 
Intercambiabilidad del Modelo: se ha 
utilizado el Proceso MyFEPs, pero con 
los Modelos de calidad ISO/IEC 9126 e, 
ISO/IEC 25010, este último con la 
restricción de usar en lo posible las 
métricas ISO/IEC 9216-2 dado que a la 
fecha no se han publicado las métricas 
externas de la serie ISO/IEC 25000.  
Método de evaluación de la calidad del 
software: se ha establecido un método de 
evaluación basado en los procesos de 
evaluación de software ISO/IEC 14598 e 
ISO/IEC 25040, pero incorporando 
actividades en la evaluación que 
permitiesen incorporar objetivos de 
evaluación de diferentes stakeholders, 
establecer mecanismos de ponderación de 
atributos a la hora de calcular la calidad 
del producto, e incorporando por cada 
atributo de calidad, un pseudo-
procedimiento que indica cómo calcular 
sus métricas. 
 
Si bien se ha validado que el método 
de evaluación MyFEPS es adecuado para 
realizar evaluaciones de calidad (incluso 
por estudiantes), y se han probado como 
659
válidas algunas métricas, como ser 
aquellas que aplican a la evaluación de las 
características básicas “Satisfacción 
sujetiva de los usuarios”, “, “satisfacción 
de stakeholders no usuarios”, Usabilidad 
Objetiva”, “Facilidad de Instalación”, a 
modo de ejemplo, se considera apropiado 
continuar esta línea de investigación con 
evaluaciones que permitan validar la 
adecuación de las restantes características 
básicas (en total son 16) [3]  
 
 
Resultados y Objetivos  
El objetivo principal de los últimos 
años fue la continua experimentación y 
uso de MyFEPs (tanto con el modelo de 
calidad ISO/IEC 25000 como con QSAT) 
en diferentes tipos de proyectos 
académicos, (tesis) y profesionales 
(industria).   
En ese sentido estuvo presente la 
transferencia a Organismos (IRAM, 
Gobierno, Universidades) y/o Industria 
(Laboratorios y Empresas) del 
Framework MyFEPS, el modelo QSAT,  
los avances en las normas ISO/IEC y los 
conocimientos prácticos capitalizados en 
los proyectos, en el uso de estos modelos. 
 
Como Objetivos derivados de la 
continua experimentación, tuvimos: 
 
1. Continuar validando la base teórica que 
de sustento al modelo QSAT y al proceso 
MyFEPs. 
 
2. Mantener actualizado el acervo de 
metodologías, técnicas, documentación, 
herramientas y normas de evaluación de 
productos de software. 
 
3. Experimentar en el uso del modelo de 
calidad, y la ponderación de 
características de calidad en base a 
objetivos de evaluación. 
 
4. Especificar las métricas a utilizar para 
Medir el grado de calidad de cada 
característica fundamental. 
 
5. Usar MyFEPS en diferentes escenarios, 
tanto metodológicos (para evaluar su 
adaptabilidad), como del tipo evaluación, 
y las particularidades de los softwares 
para cada tipo de producto y objetivos de 
Evaluación. 
 
6. Usar MyFEPs para definir diferentes 
tipos de evaluaciones, sus lineamientos, 
técnicas, herramientas y plantillas para las 
actividades de evaluación. 
 
7. Se validaron con proyectos piloto la 
validez del uso de MyFEPs, quedando 
QSAT desplazada por el modelo ISO 
25023 
 
8. A partir de los hallazgos encontrados 
en los pilotos, se validaron la pertinencia 
de los ajustes realizados a MyFEPs. 
 
9. Se transfirieron los conocimientos 
adquiridos a la industria del software a 
través de conferencias, publicaciones y 
cursos de capacitación. 
 
10. Se capitalizó los conocimientos (y se 
lo continua haciendo) adquiridos 
incorporándolos en asignaturas de las 
carreras de grado y en cursos de 
postgrado y de actualización profesional. 
 
Formación de Recursos Humanos 
Directora: Mg. Paula María Angeleri 
(2010-actual). Co Director Dr. Amos 
Sorgen (2010 al 2012).  
Profesores investigadores: Mg. Rolando 
Titiosky (2011-actual), Lic. Jaquelina 
Wuille Bille (2011-2013). 
660
Tesistas: Martín Santi, Agustín Ventura, 
Diego Ardizzone (tesinas de grado 
finalizadas), Roberto Basile, Facundo 
Scipione (tesinas de grado en curso).  
 
Los integrantes de este grupo de 
investigación dirigen a estudiantes en 
diferentes contextos (becarios, tesinas, 
trabajos prácticos de cátedra). Además 
participan en el dictado de asignaturas de 
grado y cursos en los cuales este año se 
enseña el Framework MyFEPS.  
 
Referencias 
[1]   Sorgen, A., Angeleri, P.: El Modelo de 
Evaluación del Proyecto MyFEPS, 40JAIIO -
ASSE 2011 - ISSN: 1850-2792, 180-191, 2011,  
http://www.40jaiio.org.ar/sites/default/files/T2011
/ASSE/790.pdf 
[2] Angeleri, P.: Premios Sadosky 2008, IRAM 
Newsletter, Año 2 Nro.6, 2009. 
[3] Angeleri, P.;Oliveros, A; Sorgen, A.; Titiosky, 
R.; 
Wuille Bille J.; Modelo de calidad de productos 
de software, CONAIISI 2014, ISSN: 2346-9927 - 
Página 1043. 
[4]  Angeleri, P.; Titiosky, R.; Santi, M..; Davila, 
A.: Proceso de Evaluación de Productos Software, 
CONAIISI 2015. 
[5] Sorgen, A., Angeleri, P.: Teoría y Práctica en 
la Evaluación de Productos de Software, XIV 
Workshop de Investigadores en Ciencias de la 
Computación 2012. 
[6] Titiosky, R., Angeleri, P., Sorgen, A., Wuille 
Bille, J.: "Proyectos de Evaluación de Productos 
de Software con un nuevo Framework de 
Calidad", XV Workshop de Investigadores en 
Ciencias de la Computación 2013, ISBN: 
9789872817961. 
[7] Angeleri, P., Titiosky, R.,, Sorgen, A., Wuille 
Bille, J., Oliveros, A.: Ajustes al Framework de 
Evaluación de Productos de Software MyFEPS, 
XVI Workshop de Investigadores en Ciencias de 
la Computación 2014. 
[8] Angeleri, P., Sorgen, A., Bidone, P., Fava, A., 
Grasso, W.; Diseño y desarrollo de un framework 
metodológico e instrumental para asistir a la 
evaluación de software, 43 JAIIO - JUI 2014 - 
ISSN: 1851-2518 - Página 10. 
http://sedici.unlp.edu.ar/bitstream/handle/10915/4
2015/Documento_completo.pdf?sequence=1 
[9] Ceballos, J.: Caso de Éxito de certificación de 
producto software según las normas serie ISO/IEC 
25000, NEWSLETTER IRAM AÑO 9 • Nº 72 • 
Diciembre 2015. 
[10] Santi, M., Medición de la Usabilidad de un 
Ecommerce empleando el Framework MyFEPS, 
tesis de grado de Universidad de Belgrano, 2013. 
[11] Santi, M., Evaluación de la Usabilidad de un 
sitio de Comercio Electrónico empleando el 
Framework MyFEPS, CONAIISI 2014. 
[12] serie de normas IRAM-ISO-IEC 14598: 
Tecnología de la información. Ingeniería de 
software. Evaluación del producto de software. 
Information technology. Software engineering. 
Software product evaluation. Parte 1, 2006,  
Partes 2,3, 2007, Partes 4,5, 2009, Parte 6, 2012.  
[13] ISO/IEC 25040 Systems and software 
engineering — Systems and software Quality 
Requirements and Evaluation (SQuaRE) — 
Evaluation process. 2012 
[14] ISO/IEC 25010 Systems and software 
engineering — Systems and software Quality 
Requirements and Evaluation (SQuaRE) – System 
and software quality model.  
[15] ISO/IEC 25000 Systems and software 
engineering — Systems and software Quality 
Requirements and Evaluation (SQuaRE) – 
Overview 
[16] IRAM-NM-ISO/IEC 9126-1 Tecnología de la 
información-Ingeniería de software - Calidad del 
producto Parte 1 - Modelo de calidad (ISO/IEC 
9126-1:2001, IDT) Information technology - 
Software engineering – Product quality Part 1 - 
Quality Model 1, IRAM, 2009. 
 
 
 
661


Framework de evaluación de productos Software

http://sedici.unlp.edu.ar/bitstream/handle/10915/54072/Documento_completo.pdf?sequence=1

Framework de evaluación de productos Software

Abstract

Similar works

Full text

Available Versions

SEDICI - Repositorio de la UNLP