Toolkits for the Development of Hybrid Games: from Tangible Tabletops to Interactive Spaces

Durante los últimos años, los dispositivos tabletop han sido considerados el entorno ideal para los juegos híbridos, los cuales combinan técnicas de juego tradicional, como el uso de objetos físicos para interactuar con el juego de una forma natural, con las nuevas posibilidades que los tabletops ofrecen de aumentar el espacio de juego con imágenes digitales y audio.Sin embargo, los juegos híbridos no se restringen simplemente a tabletops, pudiéndose jugar también en entornos más amplios en los que convergen otros paradigmas de interacción. Por esta razón, el uso de juegos híbridos en Espacios Interactivos está ganando fuerza, pero el número y heterogeneidad de dispositivos y estilos de interacción que se encuentran en estos entornos hace que el diseño y prototipado de juegos sea una tarea difícil. Por lo tanto, el gran reto se encuentra en ofrecer a diseñadores y desarrolladores herramientas apropiadas para la creación de estas aplicaciones.En esta línea de trabajo, el grupo Affective Lab lanzó el proyecto JUGUEMOS (TIN2015-67149-C3-1R), un proyecto nacional centrado en el desarrollo de juegos híbridos en entornos interactivos. Esta Tesis Doctoral se enmarca en este proyecto.El primer paso de la realización de esta tesis fue establecer los dos objetivos principales (Capítulo 1):1) El primer objetivo que se estableció fue profundizar en el uso de tabletops tangibles en terapia con niños con necesidades especiales. Durante los últimos años el grupo Affective Lab había visto la potencialidad de los tabletops tangibles para el trabajo con niños pequeños, pero todavía era necesario llevar a cabo más experiencias y evaluaciones en el ámbito terapéutico, así como explorar si otros grupos de usuarios (adultos con problemas cognitivos) podían beneficiarse de las características de los tabletops.2) El segundo objetivo consistió en diseñar e implementar un toolkit para el desarrollo de juegos híbridos para espacios interactivos. Se decidió que el toolkit estuviera dirigido a desarrolladores para facilitar su trabajo a la hora de crear este tipo de aplicaciones.Una vez establecidos los objetivos, se realizó un estado del arte a su vez dividido en dos partes (Capítulo 2):1) Se realizó una categorización de juegos híbridos para entender y extraer sus principales características, así como los principales retos que surgen al desarrollar este tipo de juegos. También se estudiaron toolkits cuyo objetivo era el desarrollo de juegos híbridos.2) Se estudiaron juegos híbridos desarrollados para niños con necesidades especiales y adultos con problemas cognitivos que hacían uso de la Interacción Tangible y tabletops, así como toolkits dirigidos a terapeutas o educadores para ayudarles en la creación de actividades para sus pacientes.Para llevar a cabo las experiencias y evaluaciones relacionadas con el primer objetivo, se hizo uso del tabletop tangible NIKVision, desarrollado previamente por el grupo Affective Lab, y el toolkit KitVision, una herramienta dirigida a profesionales sin conocimientos de programación para la creación de actividades tangibles y que fue desarrollado durante el Proyecto Final de Carrera de la autora. En el Capítulo 3 de esta Tesis se comenta brevemente el tabletop NIKVision y la arquitectura de KitVision, se describen las evaluaciones que se llevaron a cabo con terapeutas con el objetivo de mejorar y probar la utilidad del toolkit, y se explica una experiencia de un año durante la cual una terapeuta ocupacional de ASAPME, una asociaciónque trabaja con adultos con problemas cognitivos, estuvo usando el tabletop y el toolkit sin supervisión.En el Capítulo 4 se describen diferentes experiencias con KitVision que se llevaron a cabo:- Gracias a una colaboración con la Residencia Romareda, NIKVision y KitVision fueron instalados provisionalmente en la residencia y, tras una evaluación inicial, se desarrollaron tres nuevas actividades para los usuarios de la residencia.- Gracias a la colaboración con ENMOvimienTO y con uno de los centros de Atención Temprana del Instituto Aragonés de Servicios Sociales (IASS), ambos enfocados a trabajar con niños con problemas de aprendizaje, se pudieron realizar evaluaciones que nos permitieron mejorar KitVision y crear nuevas actividades específicamente diseñadas para ellos.- Finalmente, gracias a una colaboración con Atenciona, pudimos evaluar actividades con niños con Trastorno por Déficit de Atención e Hiperactividad (TDAH) y extraer una serie de directrices para diseñar actividades para este tipo de niños. También pudimos llevar a cabo una experiencia de Diseño Participativo con estos niños.El completo desarrollo del toolkit JUGUEMOS, para la creación de juegos híbridos en espacios interactivos, se explica en el Capítulo 5. En este apartado primero se describe el Espacio Interactivo JUGUEMOS que sirvió de base para desarrollar el toolkit. Después se explican con detalle las decisiones de diseño que se tomaron, el modelo de abstracción que se usó para diseñar los juegos, y la arquitectura del toolkit. También se detallan las distintas fases de implementación que se llevaron a cabo, basadas en los tres retos que se extrajeron en el estado del arte: (1) integrar diferentes dispositivos, (2) gestionar salidas gráficas diversas y (3) facilitar la codificación del juego. Finalmente, se presentan dos prototipos de juegos que se desarrollaron durante las dos estancias de investigación que la autora realizó.Finalmente, en el Capítulo 6 se describen los tres casos de uso que se realizaron para tener una primera valoración de la usabilidad del toolkit JUGUEMOS: (1) una evaluación con estudiantes de Máster en la que se implementó un juego completamente funcional para el Espacio Interactivo JUGUEMOS, (2) un juego que fue completamente desarrollado usando el toolkit JUGUEMOS una vez que éste se acabó de implementar, (3) una experiencia que involucró a dos grupos multidisciplinares compuestos por diseñadores y desarrolladores, en la que tuvieron que colaborar para diseñar e implementar dos prototipos de juegos híbridos para el espacio interactivo.<br /

Home-Based Activities for Children with Speech Sound Disorders:Requirements for a Tangible User Interface for Internet of Things Artefacts

This paper presents the state of the art regarding the use of tangible user interfaces for internet of artefacts (IoA) targeting health applications, with a focus on speech and language therapy and related areas, targeting home-based interventions, including data security and privacy issues. Results from a systematic literature review, focus group, and a nationwide questionnaire have been used to determine the system requirements for an artefact prototype to be developed. The aim of this study was to understand what is the usual practice of clinicians and to contribute to a better intervention or post-intervention approach for children with Speech Sound Disorders (SSD). The literature review revealed that some studies proposed technological solutions while others used a social approach and/or gamified activities. We could conclude that more research is needed and that a unified method or framework to address SSD intervention or post-intervention tools is lacking. Clinicians need more and better tools to be able to quantify and qualitatively assess the activities developed at home

Proceedings of the 3rd IUI Workshop on Interacting with Smart Objects

These are the Proceedings of the 3rd IUI Workshop on Interacting with Smart Objects. Objects that we use in our everyday life are expanding their restricted interaction capabilities and provide functionalities that go far beyond their original functionality. They feature computing capabilities and are thus able to capture information, process and store it and interact with their environments, turning them into smart objects

Guidelines to design tangible tabletop activities for children with attention deficit hyperactivity disorder

Attention deficit hyperactivity disorder is one of the most frequent neurodevelopmental disorders among children. In spite of this, there is a lack of HCI research specifically devoted to these children. This paper describes efforts to transfer previous experience with other neurodiverse children in the field of tangible tabletops to ADHD children. The results of evaluation sessions carried out in conjunction with an ADHD association, complemented with an in-depth study of their special characteristics and needs, have led to a set of guidelines oriented to the design of tangible tabletop activities. These guidelines are mostly general and applicable to the design of any interactive application oriented to ADHD children. They are also appropriate for applications for other neurodiverse children or, in fact, any child from a more inclusive perspective

Children s Acceptance of a Collaborative Problem Solving Game Based on Physical Versus Digital Learning Spaces

[EN] Collaborative problem solving (CPS) is an essential soft skill that should be fostered from a young age. Research shows that a good way of teaching such skills is through video games; however, the success and viability of this method may be affected by the technological platform used. In this work we propose a gameful approach to train CPS skills in the form of the CPSbot framework and describe a study involving 80 primary school children on user experience and acceptance of a game, Quizbot, using three different technological platforms: two purely digital (tabletop and handheld tablets) and another based on tangible interfaces and physical spaces. The results show that physical spaces proved to be more effective than the screen-based platforms in several ways, as well as being considered more fun and easier to use by the children. Finally, we propose a set of design considerations for future gameful CPS systems based on the observations made during this study.Spanish Ministry of Economy and Competitiveness and the European Regional Development Fund (project TIN2014-60077-R); Spanish Ministry of Education, Culture and Sport (with fellowship FPU14/00136) and Conselleria d'Educacio, Cultura i Esport (Generalitat Valenciana, Spain) (grant ACIF/2014/214).Jurdi, S.; García Sanjuan, F.; Nácher-Soler, VE.; Jaén Martínez, FJ. (2018). Children s Acceptance of a Collaborative Problem Solving Game Based on Physical Versus Digital Learning Spaces. Interacting with Computers. 30(3):187-206. https://doi.org/10.1093/iwc/iwy006S18720630

A systematic review of game technologies for pediatric patients

[EN] Children in hospital are subjected to multiple negative stimuli that may hinder their development and social interactions. Although game technologies are thought to improve children's experience in hospital, there is a lack of information on how they can be used effectively. This paper presents a systematic review of the literature on the existing approaches in this context to identify gaps for future research. A total of 1305 studies were identified, of which 75 were thoroughly analyzed according to our review protocol. The results show that the most common approach is to design mono-user games with traditional computers or monitor-based video consoles, which serve as a distractor or a motivator for physical rehabilitation for primary school children undergoing fearful procedures such as venipuncture, or those suffering chronic, neurological, or traumatic diseases/injures. We conclude that, on the one hand, game technologies seem to present physical and psychological benefits to pediatric patients, but more research is needed on this. On the other hand, future designers of games for pediatric hospitalization should consider: 1. The development for kindergarten patients and adolescents, 2. Address the psychological impact caused by long-term hospitalization, 3. Use collaboration as an effective game strategy to reduce patient isolation, 4. Have purposes other than distraction, such as socialization, coping with emotions, or fostering physical mobility, 5. Include parents/caregivers and hospital staff in the game activities; and 6. Exploit new technological artifacts such as robots and tangible interactive elements to encourage intrinsic motivation.This work is supported by the Spanish Ministry of Economy and Competitiveness and the European Development Regional Fund (EDRF-FEDER) with Project TIN2014-60077-R.El Jurdi, S.; Montaner-Marco, J.; García Sanjuan, F.; Jaén Martínez, FJ.; Nácher-Soler, VE. (2018). A systematic review of game technologies for pediatric patients. Computers in Biology and Medicine. 97:89-112. https://doi.org/10.1016/j.compbiomed.2018.04.019S891129

Motion-based technology to support motor skills screening in developing children: A scoping review

Background. Acquiring motor skills is fundamental for children's development since it is linked to cognitive development. However, access to early detection of motor development delays is limited. Aim. This review explores the use and potential of motion-based technology (MBT) as a complement to support and increase access to motor screening in developing children. Methods. Six databases were searched following the PRISMA guidelines to search, select, and assess relevant works where MBT recognised the execution of children's motor skills. Results. 164 studies were analysed to understand the type of MBT used, the motor skills detected, the purpose of using MBT and the age group targeted. Conclusions. There is a gap in the literature aiming to integrate MBT in motor skills development screening and assessment processes. Depth sensors are the prevailing technology offering the largest detection range for children from age 2. Nonetheless, the motor skills detected by MBT represent about half of the motor skills usually observed to screen and assess motor development. Overall, research in this field is underexplored. The use of multimodal approaches, combining various motion-based sensors, may support professionals in the health domain and increase access to early detection programmes.Funding for open access charge: Universidad de Málaga / CBUA

Assistive Technology to Improve Collaboration in Children with ASD: State-of-the-Art and Future Challenges in the Smart Products Sector

Within the field of products for autism spectrum disorder, one of the main research areas is focused on the development of assistive technology. Mid and high-tech products integrate interactive and smart functions with multisensory reinforcements, making the user experience more intuitive, adaptable, and dynamic. These products have a very significant impact on improving the skills of children with autism, including collaboration and social skills, which are essential for the integration of these children into society and, therefore, their well-being. This work carried out an exhaustive analysis of the scientific literature, as well as market research and trends, and patent analysis to explore the state-of-the-art of assistive technology and smart products for children with ASD, specifically those aimed at improving social and communication skills. The results show a reduced availability of products that act as facilitators of the special needs of children with ASD, which is even more evident for products aimed at improving collaboration skills. Products that allow the participation of several users simultaneously through multi-user interfaces are required. On top of this, the trend toward virtual environments is leading to a loss of material aspects in the design that are essential for the development of these children