A Usability Inspection Method for Model-driven Web Development Processes

Las aplicaciones Web son consideradas actualmente un elemento esencial e indispensable en toda actividad empresarial, intercambio de información y motor de redes sociales. La usabilidad, en este tipo de aplicaciones, es reconocida como uno de los factores clave más importantes, puesto que la facilidad o dificultad que los usuarios experimentan con estas aplicaciones determinan en gran medida su éxito o fracaso. Sin embargo, existen varias limitaciones en las propuestas actuales de evaluación de usabilidad Web, tales como: el concepto de usabilidad sólo se soporta parcialmente, las evaluaciones de usabilidad se realizan principalmente cuando la aplicación Web se ha desarrollado, hay una carencia de guías sobre cómo integrar adecuadamente la usabilidad en el desarrollo Web, y también existe una carencia de métodos de evaluación de la usabilidad Web que hayan sido validados empíricamente. Además, la mayoría de los procesos de desarrollo Web no aprovechan los artefactos producidos en las fases de diseño. Estos artefactos software intermedios se utilizan principalmente para guiar a los desarrolladores y para documentar la aplicación Web, pero no para realizar evaluaciones de usabilidad. Dado que la trazabilidad entre estos artefactos y la aplicación Web final no está bien definida, la realización de evaluaciones de usabilidad de estos artefactos resulta difícil. Este problema se mitiga en el desarrollo Web dirigido por modelos (DWDM), donde los artefactos intermedios (modelos) que representan diferentes perspectivas de una aplicación Web, se utilizan en todas las etapas del proceso de desarrollo, y el código fuente final se genera automáticamente a partir estos modelos. Al tener en cuenta la trazabilidad entre estos modelos, la evaluación de estos modelos permite detectar problemas de usabilidad que experimentaran los usuarios finales de la aplicación Web final, y proveer recomendaciones para corregir estos problemas de usabilidad durante fases tempranas del proceso de desarrollo Web. Esta tesis tiene como objetivo, tratando las anteriores limitaciones detectadas, el proponer un método de inspección de usabilidad que se puede integrar en diferentes procesos de desarrollo Web dirigido por modelos. El método se compone de un modelo de usabilidad Web que descompone el concepto de usabilidad en sub-características, atributos y métricas genéricas, y un proceso de evaluación de usabilidad Web (WUEP), que proporciona directrices sobre cómo el modelo de usabilidad se puede utilizar para llevar a cabo evaluaciones específicas. Las métricas genéricas del modelo de usabilidad deben operacionalizarse con el fin de ser aplicables a los artefactos software de diferentes métodos de desarrollo Web y en diferentes niveles de abstracción, lo que permite evaluar la usabilidad en varias etapas del proceso de desarrollo Web, especialmente en las etapas tempranas. Tanto el modelo de usabilidad como el proceso de evaluación están alineados con la última norma ISO/IEC 25000 estándar para la evaluación de la calidad de productos de software (SQuaRE). El método de inspección de usabilidad propuesto (WUEP) se ha instanciado en dos procesos de desarrollo Web dirigido por modelos diferentes (OO-H y WebML) a fin de demostrar la factibilidad de nuestra propuesta. Además, WUEP fue validado empíricamente mediante la realización de una familia de experimentos en OO-H y un experimento controlado en WebML. El objetivo de nuestros estudios empíricos fue evaluar la efectividad, la eficiencia, facilidad de uso percibida y la satisfacción percibida de los participantes; cuando utilizaron WUEP en comparación con un método de inspección industrial ampliamente utilizado: La Evaluación Heurística (HE). El análisis estadístico y meta-análisis de los datos obtenidos por separado de cada experimento indicaron que WUEP es más eficaz y eficiente que HE en la detección de problemas de usabilidad. Los evaluadores también percibieron más satisfacción cuando se aplicaron WUEP, y lesFernández Martínez, A. (2012). A Usability Inspection Method for Model-driven Web Development Processes [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/17845Palanci

Guidelines for the usability evaluation of a BI application within a coal mining organization

Business Intelligence (BI) applications are consulted by their users on a daily basis. BI information obtained assist users to make business decisions and allow for a deeper understanding of the business and its driving forces. In a mining environment companies need to derive maximum benefit from BI applications, therefore these applications need to be used optimally. Optimal use depends on various factors including the usability of the product. The documented lack of usability evaluation guidelines provides the rationale for this study. The purpose is to investigate the usability evaluation of BI applications in the context of a coal mining organization. The research is guided by the question: What guidelines should be used to evaluate the usability of BI applications. The research design included the identification of BI usability issues based on the observation of BI users at the coal mining organization. The usability criteria extracted from the usability issues were compared and then merged with general usability criteria from literature to form an initial set of BI usability evaluation criteria. These criteria were used as the basis for a heuristic evaluation of the BI application used at the coal mining organization. The same application was also evaluated using the Software Usability Measurement Inventory (SUMI) standardised questionnaire. The results from the two evaluations were triangulated to provide a refined set of criteria. The main contribution of the study is the heuristic evaluation guidelines for BI applications (based on these criteria). These guidelines are grouped in the following functional areas: visibility, flexibility, cognition, application behaviour, error control and help, affect and BI elements.Information ScienceM.Sc. (Information Systems

Usability-Ergebnisse als Wissensressource in Organisationen

Durch den Prozess der nutzerzentrierten Softwareentwicklung sammeln Organisationen wichtige Erkenntnisse über die Nutzer ihre Produkte, deren Arbeitsaufgaben und über die Nutzungskontexte, in dem diese sie anwenden. Diese Arbeit untersucht, wie derartige Usability-Ergebnisse in einer Organisation langfristig als Durch den Prozess der nutzerzentrierten Softwareentwicklung sammeln Organisationen wichtige Erkenntnisse über die Nutzer ihrer Produkte, deren Arbeitsaufgaben und über die Nutzungskontexte, in denen sie angewendet werden. Diese Arbeit untersucht, wie derartige Usability-Ergebnisse in einer Organisation langfristig als Wissensressource eingesetzt werden können, um die Usability zukünftiger Produkte zu verbessern und die Effizienz des nutzerzentrierten Entwicklungsprozesses zu optimieren. Im Fokus stehen dabei interne Usability-Beauftragte als Anwender dieser Wissensressource: Da diese innerhalb ihrer Organisation für die dort entwickelten Produkte verantwortlich sind, haben sie ein besonders hohes Interesse an der nachhaltigen Nutzung der erhobenen Usability-Ergebnisse. Zu einer organisationsinternen Nutzung von Usability-Ergebnissen existieren bereits Ansätze aus der Forschung zu nutzerzentrierten Entwicklungsprozessen im Bereich der Mensch-Computer-Interaktion, die unterschiedliche Ziele verfolgen. (Hughes, 2006; Douglas, 2007; Vilbergsdottir et al., 2014). Einen frühen Ansatz stellt Andre et al. (2001) mit dem User Action Framework vor, dessen Anwendung jedoch aufwendig sein kann (Hornbæk et al., 2008). Vorschläge für die Klassifizierung von empirischen Usability-Ergebnissen werden bislang vor allem im Kontext der Forschung zu Usability-Methoden eingesetzt (etwa Lavery et al., 1997; Hornbæk et al., 2008). In anderen Bereichen finden sie jedoch keine breite Anwendung, da sie nicht auf die Anwendungsfälle für Usability-Information in Organisationen abgestimmt sind. Als eine zentrale Fragestellung dieser Arbeit wird daher untersucht, für welche Anwendungsfälle eine Sammlung von Usability-Ergebnissen eingesetzt werden kann (Forschungsfrage RQ1). Dafür werden qualitativ ausgerichtete Interviews (n=8) mit internen Usability-Beauftragten sowie Fokusgruppen in zwei Organisationen durchgeführt. Im Rahmen dieser Studien können außerdem die Anforderungen an die Wissensorganisation und an die Informationsinteraktion für die Nutzung von Usability-Ergebnissen als Wissensressource analysiert werden (RQ2). Die Anforderungen werden als ein prototypisches Usability-Informationssystem umgesetzt, welches den Zugang zu einer Sammlung von Usability-Ergebnissen bereitstellt. In einer Studie mit Usability-Beauftragten (n=11) wird dieses System evaluiert, um Rückschlüsse auf die zugrunde liegenden Anforderungen zu ermöglichen. Im Rahmen der Studie werden zudem die Entscheidungsprozesse diskutiert, die angewendet werden, wenn Usability-Ergebnisse auf andere Kontexte übertragen oder verallgemeinert werden sollen (RQ3). Weiterhin werden die Faktoren und Barrieren untersucht, welche die Akzeptanz von Usability-Ergebnissen als Wissensressource in einer Organisation beeinflussen (RQ4). Die Untersuchungen zeigen, dass Usability-Ergebnisse bereits in vielen Organisationen gesammelt und gezielt eingesetzt werden. Die erhobenen Anwendungsfälle (RQ1) umfassen die Übertragung von vorhandenen Ergebnissen auf aktuelle Gestaltungsentscheidungen, Lernprozesse, analytische Fragestellungen und die Verallgemeinerung zu internen Richtlinien. Zu den identifizierten Anforderungen für die Organisation von Usability-Wissen (RQ2) gehört die Kombination von produktübergreifenden und produktbezogenen Metadaten. Die empirischen Evaluierungsergebnisse aus Nutzertests sollten mit den zugrunde liegenden Daten, vor allem aber mit den resultierenden Lösungsvorschlägen verknüpft werden. Bei der Gestaltung der Informationsinteraktion sollten die gezielte Suche, der Umgang mit potenziell unbekannter oder wechselnder Terminologie, aber auch explorative Such- und Lernprozesse unterstützen werden. Wenn Usability-Ergebnisse in einer Organisation mit dem Ziel der Vollständigkeit erhoben werden, können darauf auch Funktionen für die quantitative Analyse und für die Prozessbewertung aufbauen. Für die Bewertung der Übertragbarkeit von Usability-Ergebnissen (RQ3) sind eine Reihe von Entscheidungskriterien und Hinweisen relevant, anhand derer ihre Zuverlässigkeit überprüft und der Erhebungskontext hinsichtlich der Relevanz für eine aktuelle Fragestellung bewertet werden kann. Die Akzeptanz der Anwendung von Usability-Wissen (RQ4) erscheint primär von dem Aufwand abhängig, der für die Erschließung der Ergebnisse erforderlich ist. Die meisten der Teilnehmer bewerten den Aufwand im Verhältnis zu den erwarteten Vorteilen jedoch als angemessen. Mögliche Barrieren für die Wissensteilung können aus der Befürchtung entstehen, die Kontrolle über die Interpretation der Ergebnisse zu verlieren, sowie aus der Wahrnehmung als öffentliche Kritik an den jeweiligen Produktverantwortlichen. Die Ergebnisse dieser Arbeit können dabei helfen, die Unterstützung für die Nutzung von Usability-Ergebnissen als Wissensressource auf die erhobenen Anwendungsfälle auszurichten. Dafür werden Empfehlungen zu möglichen Ausrichtungen eines Usability-Informationssystems in Organisationen gegeben. Die Ergebnisse verweisen außerdem auf das große Potenzial für weitere Forschungsvorhaben in diesem Bereich, sowohl in Hinblick auf eine bessere Unterstützung des Wissensmanagements von Usability-Ergebnissen als auch in Bezug auf die Übertragung der grundlegenden Erkenntnisse dieser Arbeit auf andere Anwendungsdomänen, etwa im Bereich des Managements von Forschungsdaten.User centered software development provides organizations with valuable insights about the users of their software, about their work tasks and the various contexts in which a product is used. This dissertation explores how organizations can profit even more from such results in the long term by using them as an internal knowledge resource for improving the usability of future products and for increasing the efficiency of user centered processes. This topic will be investigated for in-house usability consultants as the primary target group of such a resource. In-house consultants are responsible for the quality of the products developed in their company, and the sustainable management of internal usability results therefore is of particular interest to them. In the research field of human computer interaction and user centered design, several approaches have already been proposed which can be used to systematize usability results in order to pursue a variety of goals (e.g. Hughes 2006; Douglas 2007; Vilbergsdottir et al. 2014). The User Action Framework (Andre et al. 2001) is an important contribution in this area. Its implementation, however, may prove to be difficult for many organizations because applying it was found to be resource intensive (Hornbæk et al., 2008). Other classification systems for usability problems have predominantly been in use in scientific studies on the evaluation of usability methods (e. g. Lavery et al. 1997; Hornbæk & Frøkjær 2008). These approaches have not been widely adopted because of the efforts involved in applying them, and because they do not take into account relevant use cases for usability information in organizations. The identification of use cases for the internal application of usability results therefore constitutes an important research question of this dissertation (research question RQ1). Qualitative interviews with in-house usability consultants (n=8) as well as focus groups in two organizations are conducted in order to investigate this question and to elicit usage requirements of an usability information system (research question RQ2). A prototypical usability information system implements these requirements based on a set of realistic usability results. The system and the proposed requirements are evaluated in an additional study with usability consultants (n=11). In the context of this study, criteria for reusing and generalizing usability results can be examined from the point of view of the participants (research question RQ3). In addition, the factors and barriers influencing the process of sharing and using usability knowledge have been investigated (research question RQ4). Results demonstrate that usability results have already been collected and applied to different use cases in many organizations (RQ1), including their direct application to current design decisions, learning and exploration, analytic questions, and the creation of internal usability standards. The organization of usability results (RQ2) requires a combination of product-specific characteristics with more general attributes as metadata for search and analysis. Results from user studies should be linked to the underlying empirical data and to the resulting design recommendations. Requirements for information interaction include support for the targeted search for usability results, dealing with potentially unknown or changing terminology, as well as possibilities for exploratory search and learning. If results are collected comprehensively in an organization, features for information analysis can be used to support the improvement of development processes. A number of different criteria are used to assess the reliability of usability results and the fit between the context in which a result was elicited and the context to which the result is to be applied. These aspects together provide the basis for deciding about the transferability of results (RQ3). Acceptance of the application of usability results as an information resource (RQ4) primarily depends on the amount of effort which is required for documenting these results. However, most participants expect the benefits to outweigh these efforts. Possible barriers for sharing usability results also include concerns about the loss of control over their interpretation as well as the perception of published results as criticism by those who are responsible for a product. In addition to describing existing practices, the results of this dissertation are intended to offer assistance for the application of usability results as an information resource in different use cases. Accordingly, recommendations about different categories of usability information systems are presented. The findings indicate further possibilities for research with the goal of improving knowledge management for usability results and may also be applied to other domains such as research data management

A tool to support usability inspection

SUIT (Systematic Usability Inspection Tool) is an Internet-based tool that supports the evaluators during the usability inspection of software applications. SUIT makes it possible to reach inspectors everywhere, guiding them in their activities. Differently from other tools that have been proposed in literature, SUIT not only supports the activities of a single evaluator, but permits to manage a team of evaluators who can perform peer reviews of their inspection works and merge their individual reports in a single document on which they agree