A model-based framework for classifying and diagnosing usability problems

A great deal of study has been devoted to the problem of how to identify and categorize usability problems; however, there is still a lack of studies dealing with the problem of how to diagnose the causes of usability problems and how to feed them back into design process. The value of classifying usability problems can be enhanced when they are interpreted in connection with design process and activities. Thus, it is necessary to develop a systematic way of diagnosing usability problems in terms of design aspects and applying diagnosis results to improve design process and activities. With this issue in mind, this paper proposes a conceptual framework that supports a systematic classification and diagnosis of usability problems. This paper firstly reviews seven approaches to classifying usability problems. Then, we point out the needs of adopting a model-based approach to classifying and diagnosing usability problems and of developing a comprehensive framework guiding the use of model-based approaches. We then propose a conceptual framework that specifies how a model-based classification and diagnosis of usability problems should be conducted and suggests the combined use of three different types of models, each of which addresses context of use, design knowledge and design activities. Last, we explain how a sound classification scheme of usability problems can be systematically developed, and how the classification of usability problems can be connected to design process and activities on the basis of the framework

Heuristic Evaluation for Novice Programming Systems

The past few years has seen a proliferation of novice programming tools. The availability of a large number of systems has made it difficult for many users to choose among them. Even for education researchers, comparing the relative quality of these tools, or judging their respective suitability for a given context, is hard in many instances. For designers of such systems, assessing the respective quality of competing design decisions can be equally difficult. Heuristic evaluation provides a practical method of assessing the quality of alternatives in these situations and of identifying potential problems with existing systems for a given target group or context. Existing sets of heuristics, however, are not specific to the domain of novice programming and thus do not evaluate all aspects of interest to us in this specialised application domain. In this article, we propose a set of heuristics to be used in heuristic evaluations of novice programming systems. These heuristics have the potential to allow a useful assessment of the quality of a given system with lower cost than full formal user studies and greater precision than the use of existing sets of heuristics. The heuristics are described and discussed in detail. We present an evaluation of the effectiveness of the heuristics that suggests that the new set of heuristics provides additional useful information to designers not obtained with existing heuristics sets

Pelin pelattavuuden arviointimenetelmät:kuvaileva kirjallisuuskatsaus

Tiivistelmä. Kilpailu videopelimarkkinoilla on kovaa, jonka myötä kehittäjien tulee panostaa pelikokemukseen entistä enemmän. Yksi keskeisin keino parantaa pelikokemusta on arvioida pelin pelattavuutta erilaisten arviointimenetelmien avulla ja löytää siten pelikokemusta haittaavia ongelmia. Tutkimuksen tavoitteena oli tarkastella laadullisesti aikaisemman kirjallisuuden avulla erilaisia menetelmiä pelin pelattavuuden arviointiin, menetelmien hyviä ja huonoja puolia sekä tekijöitä, jotka vaikuttavat menetelmien valintaan. Tarkoituksena oli antaa arviointimenetelmistä kokonaisvaltainen kuva, jonka myötä saataisiin käsitys erilaisten arviointimenetelmien olemassaolosta sekä niiden käytöstä, merkityksestä ja valinnasta niin käytännön peliarvioinnissa kuin myös tieteellisessä tutkimuksessa. Tutkimusmenetelmänä oli kuvaileva kirjallisuuskatsaus, toiselta nimeltä narratiivinen kirjallisuuskatsaus, jonka tavoitteena oli kuvata ja jäsennellä aikaisempaa tietoa tutkimuskysymysten mukaan. Aineistoa etsittiin Google Scholar -hakukoneella ja löydettyjen artikkeleiden lähdeluetteloiden kautta. Tärkeimmäksi lähteeksi muodostui Isbisterin ja Schafferin kokoama artikkelikokoelma ”Game Usability”, jonka artikkeleissa esiteltiin monia tutkimuksen kannalta keskeisiä pelin arviointimenetelmiä. Tutkimuksen tuloksena arviointimenetelmät jaoteltiin asiantuntijamenetelmiin ja käyttäjäkeskeisiin menetelmiin. Asiantuntijamenetelmiä olivat heuristinen arviointi, asiantuntija-arviointi ja SEEM-arviointi. Käyttäjäkeskeisiä menetelmiä olivat puolestaan käyttäjätestaus, ryhmätestaus, psykofysiologinen mittaus, betatestaus sekä kyselyt ja haastattelut. Asiantuntijamenetelmien keskeisenä hyötynä löydettiin, että niitä voidaan hyödyntää missä tahansa suunnittelun vaiheissa. Suurimpana haittana niillä oli, että asiantuntijoiden tekemän arvioinnin myötä ne erkaantuvat käyttäjistä, eivätkä löydä siten kaikkia pelaajien kohtaamia ongelmia. Käyttäjäkeskeisissä menetelmissä on mukana varsinaisia pelaajia ja niiden hyötyinä oli siten arviointi ja ongelmien löytäminen pelaajien näkökulmasta. Käyttäjäkeskeisten menetelmien hyödyntämiseksi tarvitaan kuitenkin toimiva peli ja ne vaativat myös enemmän resursseja kuin asiantuntijamenetelmät. Menetelmien valintaa tarkastellessa huomattiin, että siihen vaikuttaa millaista tietoa arvioinnista halutaan saada, missä vaiheessa pelin kehitys on ja millaisia resursseja on saatavilla? Valinnassa tulee lisäksi ottaa huomioon erilaisten arviointimenetelmien yhdistäminen ja rinnakkainen käyttö, sillä erilaiset menetelmät täydentävät toisiaan niin käytännön peliarvioinnissa kuin myös tieteellisessä tutkimuksessa. Tulokset antoivat uuden näkökulman erilaisista pelattavuuden arviointimenetelmistä ja niiden vertailusta. Jatkotutkimuksena tarvitaan lisää erilaisia näkemyksiä pelin arviointimenetelmien kartoittamisesta. Arviointimenetelmiä tulisi myös testata lisää käytännön tilanteissa ja jatkokehittää. Lisäksi tarvitaan lisää tutkimusta, jonka myötä voitaisiin siirtyä pelin käytettävyyden tutkimuksesta enemmän kohti pelattavuuden tutkimusta, sillä pelit eroavat tavallisista järjestelmistä ja perinteinen käytettävyys ei pysty siten selittämään pelistä saatavaa monimuotoista pelikokemusta yhtä kattavasti kuin pelejä varten kehitetty pelattavuuden konsepti

Evaluación de diferentes paradigmas de interacción con niños de educación especial

Los juegos por ordenador son herramientas de enseñanza-aprendizaje efectivas porque permiten que los usuarios aprendan mediante la participación activa a través de distintas formas de interacción, además de promover la resolución de problemas y, al mismo tiempo, enfatizan la exploración y el auto-descubrimiento. Además, se trata de un modo de entretenimiento y diversión para los niños sin que perciban que al mismo tiempo están aprendiendo. Sin embargo, el diseño y desarrollo de estos juegos, en particular aquellos destinados a niños pequeños, no es una tarea simple. Para obtener un buen producto es necesaria la participación de usuarios reales para que verifiquen la usabilidad (facilidad de uso), la experiencia de usuario (emociones que provoca en el usuario) y la accesibilidad (flexibilidad para acomodarse a las necesidades de cada usuario). En este trabajo, en primer lugar, se lleva a cabo un estudio exhaustivo del estado del arte de los métodos de evaluación que se utilizan con niños, los cuales se clasifican en función de sus características principales, se comentan sus ventajas y desventajas principales y, además, se enumeran los artículos que emplean dichos métodos. A partir del estudio del estado del arte, se seleccionan varios métodos de evaluación con el objetivo de realizar un estudio comparativo sobre diferentes técnicas de interacción natural con niños muy pequeños y niños con algún tipo de discapacidad cognitiva o física. Para ello, se parte de un juego de granja desarrollado mediante interacción tangible (a través de juguetes en una superficie horizontal) y se implementa una versión del mismo que puede ser utilizada por medio de teclado, ratón o por pantalla táctil. Posteriormente, para ambas interfaces se realiza un análisis de los datos (cuantitativo) de acuerdo a los métodos de evaluación escogidos, para valorar la usabilidad, la experiencia de usuario y la accesibilidad con usuarios reales. Los resultados indican, principalmente, la necesidad de realizar mejoras en las futuras iteraciones que se realicen

A comparison of two analytical evaluation methods for educational computer games for young children

In this paper we describe a comparison of two analytical methods for educational computer games for young children. The methods compared in the study are the Structured Expert Evaluation Method (SEEM) and the Combined Heuristic Evaluation (HE) (based on a combination of Nielsen’s HE and the fun-related concepts from Malone and Lepper) with both usability and fun heuristics for children’s computer games. To verify SEEM’s relative quality, a study was set up in which adult evaluators predicted problems in computer games. Outcomes based on thoroughness (whether the analytical method finds all problems), validity (whether the analytical method uncovers problems that are likely to be true) and appropriateness (whether the method is applied correctly) are compared. The results show that both the thoroughness and validity of SEEM are higher than the thoroughness and validity of the Combined HE. The appropriateness scores indicate that SEEM gives evaluators more guidance when predicting problems than the Combined HE does

Designing a Value Centred Inspection Method for Children

There are currently several evaluation methods suited to children within the Child-Computer Interaction (CCI) community. However, these methods are user based leaving a gap in inspection method suited to children, that is, where children will act as the inspection method evaluators. This research focused on how to design an effective and easy to use inspection method where children will perform the evaluation based on their values. To ensure that the above is met, a user centred approach and a mixed methodology was explored and finally resulted in the creation of the Inspection Method for Children (IMCH) with an accompanying guideline. This six stages method could be used by CCI researchers as a guide to develop similar methods for children, by industries to perform inspection method evaluation with children on technologies designed for children and could be used by designers to gather design criteria for children’s technology. The process undertaken within this research to develop the new method is also novel and could be adapted by new and old researchers when adapting method to suit children. Future work will focus on carrying out evaluation with wider age range of children in the method to ensure suitability of the method for more children. Comparative studies of the method with other usability method to determine the effectiveness of the method and as a refinement process to produce a validated and refined IMCH method