Heuristic usability evaluation on games: a modular approach

Heuristic evaluation is the preferred method to assess usability in games when experts conduct this evaluation. Many heuristics guidelines have been proposed attending to specificities of games but they only focus on specific subsets of games or platforms. In fact, to date the most used guideline to evaluate games usability is still Nielsen’s proposal, which is focused on generic software. As a result, most evaluations do not cover important aspects in games such as mobility, multiplayer interactions, enjoyability and playability, etc. To promote the usage of new heuristics adapted to different game and platform aspects we propose a modular approach based on the classification of existing game heuristics using metadata and a tool, MUSE (Meta-heUristics uSability Evaluation tool) for games, which allows a rebuild of heuristic guidelines based on metadata selection in order to obtain a customized list for every real evaluation case. The usage of these new rebuilt heuristic guidelines allows an explicit attendance to a wide range of usability aspects in games and a better detection of usability issues. We preliminarily evaluate MUSE with an analysis of two different games, using both the Nielsen’s heuristics and the customized heuristic lists generated by our tool.Unión Europea PI055-15/E0

Simplifying Fitness Games for Users with Learning Disabilities

Motivating people with learning disabilities (LD) to carry out physical exercises is a difficult task. Simplified fitness games can address this problem. Yet we do not know much about the design characteristics of the fitness games for this particular user group. Based on Rouse’s process model, this paper explores the design characteristics in three development phases: ‘conceptual outline’, ‘implementation’ and ‘outcome’. A mixed-method approach has been adopted. First, interviews and observations were conducted. Based on the qualitative findings and a literature review, a questionnaire was generated addressing the important design characteristics in each phases. The questionnaire surveyed 235 people from both game and healthcare industries to assess their agreement to the design characteristics. By identifying critical design characteristics in each phase, our paper provides guidance for an inclusive and nuanced approach to designing games for the users with LD. It identifies concepts in fitness games that intrinsically motivate physical activities.

Game Design Feedback Collection Methods in Pre-Release Game Development

The development of games is secretive in nature due to its creative constraints, and a project can run over the course of a few years. With the advent of agile methodologies, software projects have involved customers in the development process to iterate on received feedback. By exploring the different methods game developers employ to involve customers or tackle issues that interfere with the value of the final product, this study offers an insight into what practitioners actually do to collect the feedback they deem useful. We find that there are two main categories of feedback methods, those that are internal to the company and those that involve potential customers. Within these categories, different mechanisms are employed with differing goals and targets at different stages of the development process. While there are clear patterns on what constitutes useful feedback to practitioners, the implementation of those feedback collection mechanisms differs across the industry

Investigation of Videogame Flow: Effects of Expertise and Challenge

The number of participants in this expertise and videogame flow test totaled 80 from multiple target locations. Participants engaged in various levels of the videogame SuperMario Bros. Twenty experts and twenty novices experienced the easier level of World 1-2 while the other twenty experts and novices were exposed to the more difficult level World 6-1. After gameplay, participants completed a modified survey measuring flow. This survey, along with overall percentage game score, was analyzed. A significant interaction was found between game level (challenge level) and skill levels in perceived immersion, with significant main effects for expertise in perceived skill, for game level (challenge level) in perceived challenge, and for game level (challenge level) in overall percentage score. No significant correlation was found between perceived skill and overall percentage score, between perceived challenge and overall percentage score, or between perceived immersion and overall percentage score. These findings are relevant for understanding videogame flow in videogames of varying degrees of challenge and in players of different expertise levels. Discussion on these findings highlights the purpose of this paper

Academic methods for usability evaluation of serious games: a systematic review

In the last years, there has been an increasing interest in the design of video games as a tool for education, training, health promotion, socialization, etc. Usability, which is a key factor in any video game, becomes even more important in these so-called Bserious games^, where the users’ special characteristics should be considered, and the game efficacy depends on the users’ adherence and engagement. However, evaluation of the usability of this kind of games requires a redefinition of techniques, methods and even terminology. In this paper, we elicit six research questions and conduct a systematic review of the scientific literature, which resulted in the selection of 187 papers that contained the most relevant responses. The conclusions of this systematic review illustrate the general status of current academic usability evaluations of these games and the main trends in the selection of methodologies and how are they applied. This view may be a very valuable foundation for future researchMinisterio de Ciencia e Innovación PROCUR@-IPT-2011-1038-90000

Serious games and the gamification of tourism

Gamification has become a focus of attention in an increasing number of fields including business, education, and health care. Through a wide range of applications and support functions, its potential for the tourism industry is significant. Gamification of tourism can contribute to a more rewarding interactions and higher level of satisfaction, as well as increase brand awareness and loyalty to the destination. As one of the first attempts to conceptualize gamification of tourism, this paper examines gaming in general terms and the application of it in specific tourism fields. It identifies game design elements that can contribute to a meaningful gamification. A few cases of best practices are presented to show how this innovative concept can benefit tourism marketing. Implications for tourism marketing and management are discussed as well as future research recommendations

Pelattavuusheuristiikkakokoelmien vertailua yksinpelattavissa videopeleissä

Tiivistelmä. Videopelien pelaaminen on suosittu vapaa-ajan harrastus ja pelaajat käyttävät paljon aikaa ja rahaa peleihin. Koska pelaajien resurssit ovat rajallisia, joutuu peliteollisuus kilpailemaan näistä resursseista. Peleistä on kehitettävä mahdollisimman kiinnostavia ja laadukkaita, jotta ne menevät kaupaksi pelaajille. Siksi on tärkeää kehittää edullisia ja tehokkaita työkaluja mahdollistamaan pelin kaupallinen menestyminen. Tällaisessa tarkoituksessa voidaan käyttää heuristista evaluaatiota. Tässä työssä perehdyttiin kirjallisuuskatsauksen pohjalta erilaisiin pelattavuusheuristiikkakokonaisuuksiin ja tutkittiin niiden eroavaisuuksia sekä pelikokemuksen ja haasteen määritelmiä. Työssä keskityttiin pääasiallisesti tarkastelemaan viihdekäyttöön tarkoitettujen yksinpelien heuristiikkoja. Lopputuloksena syntyi käsitys siitä, miten pelattavuusheuristiikkakokonaisuudet määrittelevät pelikokemuksen ja haasteen. Lisäksi tarkasteltiin miten pelattavuusheuristiikkakokonaisuudet eroavat toisistaan muiden heuristiikkojen kategorioitten määrityksissä. Seuraavaksi tarkasteltiin pelattavuusheuristiikkojen käyttöä pelinkehityksen eri vaiheissa, eri genreissä ja niille ilmoitetuista rajoitteista. Lopuksi vertailtiin pelattavuusheuristiikkoja ja niiden määriä keskenään. Työn kontribuutio oli eri pelattavuusheuristiikkakokoelmille havaittava samankaltainen rakenne

Pelattavuusheuristiikkojen toteutuminen yksinpelattavissa shoot ’em up -videopeleissä

Tiivistelmä. Vaikka videopelien pelaaminen on hyvin suosittua, ei se riitä takaamaan jokaiselle pelinkehittäjälle onnistunutta uraa. Kilpailu pelimarkkinoilla on kovaa ja pelin täytyy kyetä erottumaan positiivisesti muista peleistä. Siksi on tärkeää kehittää arviointimenetelmiä, joilla voidaan mitata pelin laatua. Tässä tutkielmassa keskityttiin tutkimaan heuristista evaluointia shoot ’em up -genren pelien arviointimenetelmänä. Shoot ’em up -genren peleille ei kirjallisuudesta löytynyt genrespesifisiä heuristiikkoja. Arvioinnin työkaluina käytettiin Sweetserin ja Wyethin vuonna 2005 kehittämiä haasteen, pelaajan taitojen kehittymisen, selkeiden tavoitteiden ja palautteen 16 heuristiikkaa. Tarkemmin tässä työssä selvitettiin, miten kaksi arvioitavaa peliä toteutti neljää edellä mainittujen kategorioiden heuristiikkaa, mitkä niistä toteutuivat arvioitavissa peleissä ja olivatko heuristisen evaluoinnin tulokset yhteneviä ammattilaisarvostelujen tulosten kanssa. Vastauksia näihin tutkimuskysymyksiin haettiin puolistrukturoidulla kyselytutkimuksella. Tutkimukseen osallistui arvioijia, jotka pelasivat kahta arvioitavaa peliä ja suorittivat pelikokemuksen perusteella strukturoidun heuristisen evaluoinnin ja vastasivat puolistrukturoidun haastattelun kysymyksiin. Tutkimustuloksista saatiin ymmärrystä siihen, miten käytetyt heuristiikat toteutuivat arvioitavissa peleissä, mitä ongelmia niiden käytössä oli ja miten niitä voisi kehittää edelleen. Lisäksi selvisi mitkä heuristiikat eivät toteutuneet arvioitavissa peleissä. Vaikka heurististen evaluointien ja ammattilaisarvostelujen tulosten välillä löytyy yhteys, ei se ole riittävän suuri, jotta voidaan todeta, että käytetyt heuristiikat olisivat nykyisessä muodossaan hyvä indikaattori pelien menestymiseen ammattilaisarvosteluissa

Evaluación heurística de la usabilidad en contextos específicos

En la tesis existe un contrato de cesión de derechos.La atención a la usabilidad de los sistemas de información, como requisito no funcional, es especialmente relevante al tratarse de un factor crítico que determina buena parte del volumen de desarrollos correctivos que van a necesitar los productos en su fase de mantenimiento y el grado de aceptación del usuario hacia dicho sistema, producto o programa. Para evaluar el grado de usabilidad de las interfaces y detectar precozmente el mayor número de problemas se diseñan planes de evaluación que seleccionarán y combinarán distintas herramientas teniendo en cuenta las características de la interfaz, los objetivos prioritarios de la evaluación y la fase de desarrollo del producto o prototipo objeto del análisis; así como cualesquiera otras circunstancias o condicionantes, sea el coste o el tiempo, la formación del personal, etc. La Evaluación Heurística es una herramienta de evaluación de la usabilidad basada en la intervención de expertos. Consiste en la comprobación de los elementos de una lista de heurísticas que, por su naturaleza, no pueden comprobarse automáticamente y requieren del criterio de un experto. Supone un método de bajo coste y buen rendimiento de detección de fallos que se adapta a distintos productos y objetivos, a las características de las distintas fases de desarrollo y, en definitiva, a muy distintos planes de evaluación. En la literatura coexisten distintas propuestas de listas heurísticas de carácter general que, en dominios específicos, deben adaptarse a las características del contexto para maximizar su eficacia. Un ejemplo es la heurística propuesta en esta Tesis, adaptada a la interacción con interfaces móviles. Estas listas adaptadas también se han multiplicado en la literatura atendiendo a distintos aspectos de los planes de evaluación. De este modo el volumen de propuestas a disposición de los evaluadores, para su selección y potencial combinación, resulta bastante inmanejable Tomando un contexto tan específico como los videojuegos —juegos a partir de ahora— , sin embargo, una revisión sistemática de la literatura permite observar que la lista generalista de Nielsen sigue siendo la más usada, incluso cuando resulta insuficiente a la hora de abarcar las características específicas y novedosas de este dominio de aplicación. Partiendo de las hipótesis de que el gran número de propuestas, con distintas características y objetivos, supone un obstáculo a la hora de que los evaluadores puedan seleccionar la más ajustada a su caso y de que incluso una selección ajustada desaprovecharía potenciales ventajas de otras propuestas, se ha desarrollado una herramienta denominada MUSE (Meta-heUristics uSability Evaluation tool) que es capaz de generar una lista heurística personalizada para un plan de evaluación específico tomando como base las distintas propuestas de la bibliografía y automatizando al máximo su selección y filtrado. Una evaluación preliminar de la herramienta aventura resultados prometedores en cuanto a su capacidad de mejorar la detección de vulneraciones de la usabilidad frente al uso de herramientas genéricas en el caso del contexto específico de los juegos y, particularmente, cuando los evaluadores involucrados no son expertos. La presente Tesis comprende, por tanto, tres trabajos principales: • La construcción y análisis de una heurística adaptada a un contexto específico: interfaces móviles. • Una revisión sistemática de la bibliografía que presenta el estado de las evaluaciones de usabilidad de juegos en el ámbito académico.• El desarrollo de la herramienta MUSE usando como base la concepción modular de las heurísticas y su manejo desde una metaheurística capaz de adaptarse, potencialmente, a nuevos contextos específicos y características concretas de los planes de evaluación, generando listas más eficaces