Tangible user interfaces : past, present and future directions

In the last two decades, Tangible User Interfaces (TUIs) have emerged as a new interface type that interlinks the digital and physical worlds. Drawing upon users' knowledge and skills of interaction with the real non-digital world, TUIs show a potential to enhance the way in which people interact with and leverage digital information. However, TUI research is still in its infancy and extensive research is required in or- der to fully understand the implications of tangible user interfaces, to develop technologies that further bridge the digital and the physical, and to guide TUI design with empirical knowledge. This paper examines the existing body of work on Tangible User In- terfaces. We start by sketching the history of tangible user interfaces, examining the intellectual origins of this field. We then present TUIs in a broader context, survey application domains, and review frame- works and taxonomies. We also discuss conceptual foundations of TUIs including perspectives from cognitive sciences, phycology, and philoso- phy. Methods and technologies for designing, building, and evaluating TUIs are also addressed. Finally, we discuss the strengths and limita- tions of TUIs and chart directions for future research

Beyond representations: towards an action-centric perspective on tangible interaction

In the light of theoretical as well as concrete technical development, we discuss a conceptual shift from an information-centric to an action-centric perspective on tangible interactive technology. We explicitly emphasise the qualities of shareable use, and the importance of designing tangibles that allow for meaningful manipulation and control of the digital material. This involves a broadened focus from studying properties of the interface, to instead aim for qualities of the activity of using a system, a general tendency towards designing for social and sharable use settings and an increased openness towards multiple and subjective interpretations. An effect of this is that tangibles are not designed as representations of data, but as resources for action. We discuss four ways that tangible artefacts work as resources for action: (1) for physical manipulation; (2) for referential, social and contextually oriented action; (3) for perception and sensory experience; (4) for digitally mediated action

Setting the stage – embodied and spatial dimensions in emerging programming practices.

In the design of interactive systems, developers sometimes need to engage in various ways of physical performance in order to communicate ideas and to test out properties of the system to be realised. External resources such as sketches, as well as bodily action, often play important parts in such processes, and several methods and tools that explicitly address such aspects of interaction design have recently been developed. This combined with the growing range of pervasive, ubiquitous, and tangible technologies add up to a complex web of physicality within the practice of designing interactive systems. We illustrate this dimension of systems development through three cases which in different ways address the design of systems where embodied performance is important. The first case shows how building a physical sport simulator emphasises a shift in activity between programming and debugging. The second case shows a build-once run-once scenario, where the fine-tuning and control of the run-time activity gets turned into an act of in situ performance by the programmers. The third example illustrates the explorative and experiential nature of programming and debugging systems for specialised and autonomous interaction devices. This multitude in approaches in existing programming settings reveals an expanded perspective of what practices of interaction design consist of, emphasising the interlinking between design, programming, and performance with the system that is being developed

Toolkits for the Development of Hybrid Games: from Tangible Tabletops to Interactive Spaces

Durante los últimos años, los dispositivos tabletop han sido considerados el entorno ideal para los juegos híbridos, los cuales combinan técnicas de juego tradicional, como el uso de objetos físicos para interactuar con el juego de una forma natural, con las nuevas posibilidades que los tabletops ofrecen de aumentar el espacio de juego con imágenes digitales y audio.Sin embargo, los juegos híbridos no se restringen simplemente a tabletops, pudiéndose jugar también en entornos más amplios en los que convergen otros paradigmas de interacción. Por esta razón, el uso de juegos híbridos en Espacios Interactivos está ganando fuerza, pero el número y heterogeneidad de dispositivos y estilos de interacción que se encuentran en estos entornos hace que el diseño y prototipado de juegos sea una tarea difícil. Por lo tanto, el gran reto se encuentra en ofrecer a diseñadores y desarrolladores herramientas apropiadas para la creación de estas aplicaciones.En esta línea de trabajo, el grupo Affective Lab lanzó el proyecto JUGUEMOS (TIN2015-67149-C3-1R), un proyecto nacional centrado en el desarrollo de juegos híbridos en entornos interactivos. Esta Tesis Doctoral se enmarca en este proyecto.El primer paso de la realización de esta tesis fue establecer los dos objetivos principales (Capítulo 1):1) El primer objetivo que se estableció fue profundizar en el uso de tabletops tangibles en terapia con niños con necesidades especiales. Durante los últimos años el grupo Affective Lab había visto la potencialidad de los tabletops tangibles para el trabajo con niños pequeños, pero todavía era necesario llevar a cabo más experiencias y evaluaciones en el ámbito terapéutico, así como explorar si otros grupos de usuarios (adultos con problemas cognitivos) podían beneficiarse de las características de los tabletops.2) El segundo objetivo consistió en diseñar e implementar un toolkit para el desarrollo de juegos híbridos para espacios interactivos. Se decidió que el toolkit estuviera dirigido a desarrolladores para facilitar su trabajo a la hora de crear este tipo de aplicaciones.Una vez establecidos los objetivos, se realizó un estado del arte a su vez dividido en dos partes (Capítulo 2):1) Se realizó una categorización de juegos híbridos para entender y extraer sus principales características, así como los principales retos que surgen al desarrollar este tipo de juegos. También se estudiaron toolkits cuyo objetivo era el desarrollo de juegos híbridos.2) Se estudiaron juegos híbridos desarrollados para niños con necesidades especiales y adultos con problemas cognitivos que hacían uso de la Interacción Tangible y tabletops, así como toolkits dirigidos a terapeutas o educadores para ayudarles en la creación de actividades para sus pacientes.Para llevar a cabo las experiencias y evaluaciones relacionadas con el primer objetivo, se hizo uso del tabletop tangible NIKVision, desarrollado previamente por el grupo Affective Lab, y el toolkit KitVision, una herramienta dirigida a profesionales sin conocimientos de programación para la creación de actividades tangibles y que fue desarrollado durante el Proyecto Final de Carrera de la autora. En el Capítulo 3 de esta Tesis se comenta brevemente el tabletop NIKVision y la arquitectura de KitVision, se describen las evaluaciones que se llevaron a cabo con terapeutas con el objetivo de mejorar y probar la utilidad del toolkit, y se explica una experiencia de un año durante la cual una terapeuta ocupacional de ASAPME, una asociaciónque trabaja con adultos con problemas cognitivos, estuvo usando el tabletop y el toolkit sin supervisión.En el Capítulo 4 se describen diferentes experiencias con KitVision que se llevaron a cabo:- Gracias a una colaboración con la Residencia Romareda, NIKVision y KitVision fueron instalados provisionalmente en la residencia y, tras una evaluación inicial, se desarrollaron tres nuevas actividades para los usuarios de la residencia.- Gracias a la colaboración con ENMOvimienTO y con uno de los centros de Atención Temprana del Instituto Aragonés de Servicios Sociales (IASS), ambos enfocados a trabajar con niños con problemas de aprendizaje, se pudieron realizar evaluaciones que nos permitieron mejorar KitVision y crear nuevas actividades específicamente diseñadas para ellos.- Finalmente, gracias a una colaboración con Atenciona, pudimos evaluar actividades con niños con Trastorno por Déficit de Atención e Hiperactividad (TDAH) y extraer una serie de directrices para diseñar actividades para este tipo de niños. También pudimos llevar a cabo una experiencia de Diseño Participativo con estos niños.El completo desarrollo del toolkit JUGUEMOS, para la creación de juegos híbridos en espacios interactivos, se explica en el Capítulo 5. En este apartado primero se describe el Espacio Interactivo JUGUEMOS que sirvió de base para desarrollar el toolkit. Después se explican con detalle las decisiones de diseño que se tomaron, el modelo de abstracción que se usó para diseñar los juegos, y la arquitectura del toolkit. También se detallan las distintas fases de implementación que se llevaron a cabo, basadas en los tres retos que se extrajeron en el estado del arte: (1) integrar diferentes dispositivos, (2) gestionar salidas gráficas diversas y (3) facilitar la codificación del juego. Finalmente, se presentan dos prototipos de juegos que se desarrollaron durante las dos estancias de investigación que la autora realizó.Finalmente, en el Capítulo 6 se describen los tres casos de uso que se realizaron para tener una primera valoración de la usabilidad del toolkit JUGUEMOS: (1) una evaluación con estudiantes de Máster en la que se implementó un juego completamente funcional para el Espacio Interactivo JUGUEMOS, (2) un juego que fue completamente desarrollado usando el toolkit JUGUEMOS una vez que éste se acabó de implementar, (3) una experiencia que involucró a dos grupos multidisciplinares compuestos por diseñadores y desarrolladores, en la que tuvieron que colaborar para diseñar e implementar dos prototipos de juegos híbridos para el espacio interactivo.<br /

Diseño de un juego basado en Interacción Tangible para la enseñanza de Programación

En este artículo se presenta un juego educativo basado en interacción tangible, diseñado para ayudar a los alumnos en la comprensión de temas claves de los cursos introductorios de Programación, de las carreras en Informática. El juego (EPIT: Enseñanza de la Programación usando Interacción Tangible) propone la reflexión y el análisis sobre posibles soluciones para la resolución de un problema que involucra el uso de diferentes estructuras de datos, abordadas en los programas de estas asignaturas. Se trata de un juego colaborativo, en los que se trabaja en grupos de 4 alumnos, a los que se les propone atravesar por tres etapas que hacen a la dinámica de la actividad, y en cada una se procura que los alumnos pongan en juego habilidades cognitivas tales como el análisis, comparación, y comprensión, y en particular, en la segunda y tercera etapa, habilidades más orientadas a la colaboración y reflexión conjunta. Se presentan aquí los antecedentes que permitieron la realización de este juego, su diseño y el plan para poder aplicarlo en los próximos meses. Se detallan los resultados esperados y las conclusiones del trabajo.III Workshop de Innovación en Educación en Informática (WIEI

Diseño de un juego basado en Interacción Tangible para la enseñanza de Programación

En este artículo se presenta un juego educativo basado en interacción tangible, diseñado para ayudar a los alumnos en la comprensión de temas claves de los cursos introductorios de Programación, de las carreras en Informática. El juego (EPIT: Enseñanza de la Programación usando Interacción Tangible) propone la reflexión y el análisis sobre posibles soluciones para la resolución de un problema que involucra el uso de diferentes estructuras de datos, abordadas en los programas de estas asignaturas. Se trata de un juego colaborativo, en los que se trabaja en grupos de 4 alumnos, a los que se les propone atravesar por tres etapas que hacen a la dinámica de la actividad, y en cada una se procura que los alumnos pongan en juego habilidades cognitivas tales como el análisis, comparación, y comprensión, y en particular, en la segunda y tercera etapa, habilidades más orientadas a la colaboración y reflexión conjunta. Se presentan aquí los antecedentes que permitieron la realización de este juego, su diseño y el plan para poder aplicarlo en los próximos meses. Se detallan los resultados esperados y las conclusiones del trabajo.III Workshop de Innovación en Educación en Informática (WIEI

Collocated Collaboration Analytics: Principles and Dilemmas for Mining Multimodal Interaction Data

© 2019, Copyright © 2017 Taylor & Francis Group, LLC. Learning to collaborate effectively requires practice, awareness of group dynamics, and reflection; often it benefits from coaching by an expert facilitator. However, in physical spaces it is not always easy to provide teams with evidence to support collaboration. Emerging technology provides a promising opportunity to make collocated collaboration visible by harnessing data about interactions and then mining and visualizing it. These collocated collaboration analytics can help researchers, designers, and users to understand the complexity of collaboration and to find ways they can support collaboration. This article introduces and motivates a set of principles for mining collocated collaboration data and draws attention to trade-offs that may need to be negotiated en route. We integrate Data Science principles and techniques with the advances in interactive surface devices and sensing technologies. We draw on a 7-year research program that has involved the analysis of six group situations in collocated settings with more than 500 users and a variety of surface technologies, tasks, grouping structures, and domains. The contribution of the article includes the key insights and themes that we have identified and summarized in a set of principles and dilemmas that can inform design of future collocated collaboration analytics innovations

Exploring children's designs for maker technologies

There is growing interest in maker technologies around how they can be included in school curriculums to engage children with science subjects and about their use to explore new creative possibilities. Given that maker technologies are currently unfamiliar to most children across the world this work sought to use these technologies to investigate whether technology experience has an influence on design within a making context. A study was carried out with 29 participants aged 8-9 that involved a design task and a scaffolded making task based around a physical game using Arduino. Half of the participants completed the making task first then the design task, the other half completed the design task first then the making task. The design ideas created were then coded on 5-point scales for complexity of construction and novelty of concept, the coders also looked for evidence of transference from the making task to the design ideas. Results indicated that completing the making task prior to the design task increased the mean complexity of construction score. No clear evidence was found of elements from the making task being transferred into the design ideas. In addition to the specific findings about technology influence on design, the paper offers more general insights for those working within this space

Practical, appropriate, empirically-validated guidelines for designing educational games

There has recently been a great deal of interest in the potential of computer games to function as innovative educational tools. However, there is very little evidence of games fulfilling that potential. Indeed, the process of merging the disparate goals of education and games design appears problematic, and there are currently no practical guidelines for how to do so in a coherent manner. In this paper, we describe the successful, empirically validated teaching methods developed by behavioural psychologists and point out how they are uniquely suited to take advantage of the benefits that games offer to education. We conclude by proposing some practical steps for designing educational games, based on the techniques of Applied Behaviour Analysis. It is intended that this paper can both focus educational games designers on the features of games that are genuinely useful for education, and also introduce a successful form of teaching that this audience may not yet be familiar with

From Centralized interactive tabletops to Distributed surfaces: the Tangiget concept

International audienceAfter having outlined the uses of new technologies such as smartphones, touch-screen tablets, and laptops, this article presents the TangiSense interactive tabletop, equipped with RFID technology tagged on tangible objects, as a new paradigm of interaction for ambient intelligence. Within its framework, this article aims to distribute surfaces (tables) interacting mainly with tangible objects. Leads for interactive surface distribution such as interactive tables are given. The article proposes to describe some tangible objects, which are the interaction supports; these are called Tangigets. They are defined according to an augmented Presentation-Abstraction-Control structure to take the tangibility element into account. Six categories of Tangigets are also proposed, which are tangible objects, and the supports of distributed collaboration. To validate the Tangiget concept and its use on the TangiSense tabletop, illustrations in centralized and distributed configurations are proposed. A first evaluation is also presented. To conclude, the article presents the directions under consideration for our future research