From Centralized interactive tabletops to Distributed surfaces: the Tangiget concept

International audienceAfter having outlined the uses of new technologies such as smartphones, touch-screen tablets, and laptops, this article presents the TangiSense interactive tabletop, equipped with RFID technology tagged on tangible objects, as a new paradigm of interaction for ambient intelligence. Within its framework, this article aims to distribute surfaces (tables) interacting mainly with tangible objects. Leads for interactive surface distribution such as interactive tables are given. The article proposes to describe some tangible objects, which are the interaction supports; these are called Tangigets. They are defined according to an augmented Presentation-Abstraction-Control structure to take the tangibility element into account. Six categories of Tangigets are also proposed, which are tangible objects, and the supports of distributed collaboration. To validate the Tangiget concept and its use on the TangiSense tabletop, illustrations in centralized and distributed configurations are proposed. A first evaluation is also presented. To conclude, the article presents the directions under consideration for our future research

Nectar: Multi-user Spatial Augmented Reality for everyone: Three live demonstrations of educative applications

International audienceIn this demonstration we showcase a new spatial augmented reality device (interactive projection) with three applications: education and experimentation of color models, map exploration for visually impaired people and scientific vulgarization of machine learning. The first exhibition is an interactive exploration about the nature of light. Visitors can experiment with additive subtractive color models. We engage them with questions, and they have to reply using cards to find out answers. This exhibit is suitable for children. The second exhibition is about map exploration and creation for Visually Impaired Persons (VIP). VIP generally use tactile maps with braille to learn about an unknown environment. However, these maps are not accessible to the 80% of VIP who don't read braille. Our prototype augments raised-line maps with audio output. The third exhibition is destined to be used for scientific outreach. It enables the creation of artificial neural networks (ANN) using tangible interfaces. Neurons are represented by laser-cut diamond shaped tokens, and the data to learn is printed on cards. The ANN learns to differentiate shapes, and the whole learning process is made visible and interactive. These three applications demonstrate the capabilities of our hardware and software development kit in different scenarios. At ReVo, each demonstration will have its own setup and interactive space

Review: Development and technical design of tangible user interfaces in wide-field areas of application

A tangible user interface or TUI connects physical objects and digital interfaces. It is more interactive and interesting for users than a classic graphic user interface. This article presents a descriptive overview of TUI's real-world applications sorted into ten main application areas-teaching of traditional subjects, medicine and psychology, programming, database development, music and arts, modeling of 3D objects, modeling in architecture, literature and storytelling, adjustable TUI solutions, and commercial TUI smart toys. The paper focuses on TUI's technical solutions and a description of technical constructions that influences the applicability of TUIs in the real world. Based on the review, the technical concept was divided into two main approaches: the sensory technical concept and technology based on a computer vision algorithm. The sensory technical concept is processed to use wireless technology, sensors, and feedback possibilities in TUI applications. The image processing approach is processed to a marker and markerless approach for object recognition, the use of cameras, and the use of computer vision platforms for TUI applications.Web of Science2113art. no. 425

Tap it again, Sam: Harmonizing personal environments towards lifelong learning

The increasing number of mobile vendors releas- ing NFC-enabled devices to the market and their prominent adoption has moved this technology from a niche product to a product with a large market-share. NFC facilitates natural interactions between digital world and physical learning environments. The scaffolding of learning ecologies is a key aspect for lifelong learners in their challenge to integrate learning activities into busy daily life. The contribution of this manuscript is twofold: first, a review of scientific litera- ture in which NFC has been used with a direct or indirect purpose to learn is presented, and potential uses for learners are classified according to their type of interaction; based on these findings the NFC MediaPlayer is presented as an instantiation of an ecology of resources (EoR) in a lifelong learning context. Finally, shortcomings and best practices are highlighted in the conclusions, and future work is discussed

Ubiquitous Technology for Lifelong Learners

Nowadays, most people change their career throughout their lives, many times independently on what they learned during their formal education period. Therefore, the necessity to continually keep our skills sharp and up-to-date becomes increasingly important in a rapidly changing job market. The European Commission stressed the importance of lifelong learning as a key challenge for the knowledge society to adapt to the pace in which digital technology is transforming every aspect of people’s lives. Later on, the Commission published a reference framework comprising eight competences to flexibly adapt to a rapidly changing and highly interconnected world. In this thesis, we aim at supporting learners to understand the way they can better learn in-context using technology, therefore we focus on two specific competences, namely, learning to learn and digital competence

Putting manipulation, grasping and sensing in educational APPs for children

La tesi ha come obiettivo di valorizzare pratiche psico-pedagogiche classiche utilizzando le nuove opportunità fornite dalla tecnologia e dagli strumenti digitali sempre più ubiquitari nella nostra società. La modalità individuata per connettere l’ambito digitale e quello fisico è attraverso lo sviluppo della multisensorialità e dunque la riscoperta dei sensi come l’olfatto, il gusto e il tatto nelle pratiche educative per bambini dai 6 agli 8 anni (primi tre anni della scuola primaria). Per ottenere questo obiettivo si sono sviluppate metodologie e prototipi (sia hardware, che software – APP) fruibili dai bambini della scuola primaria. In primo luogo è stato ideato, concettualizzato e sviluppato il modello dell’Hyper Activity Book (HAB), che rappresenta la porzione modellistica fondamentale a cui ispirarsi per l’implementazione di prototipi in un settore così delicato quanto cruciale, dove troppo spesso le applicazioni si sono fermate a miglioramenti puntuali e non sistemici. Il modello dell’Hyper Activity Book ha l’ambizione di formare uno schema entro cui poter applicare in maniera organica i principi del Learning by Doing in stretta comunicazione con il concetto degli ambienti didattici ibridi e delle interfacce-utente di stampo tangibile e dei moduli di Intelligenza Artificiale. A corredo del modello dell’HAB e sulla base dell’analisi dello stato dell’arte condotto, sono state prodotte delle linee guida per la progettazione di Ambienti Ibridi. La ricerca ha permesso lo sviluppo di due hardware, che hanno rappresentato un’evoluzione e un miglioramento incrementale rispetto alle precedenti realizzazioni. Si è sviluppato un algoritmo per il riconoscimento di oggetti fisici su schermi touchscreen grazie al loro posizionamento sugli stessi. Il prototipo, denominato TriPOD, contiene l’algoritmo che è in grado di riconoscere gli oggetti fisici sulla base della disposizione delle protrusioni capacitive (i pin capacitivi) in maniera univoca, collegando l’identificativo generato con un oggetto tangibile. Questo prototipo è funzionante e sebbene abbia necessità di divenire ancora più robusto in termini tecnici, è uno sviluppo interessante per le applicazioni nel settore dell’educazione e della riabilitazione, in grado di aprire nuovi scenari applicativi. L’altro prototipo hardware, sviluppato nel percorso dottorale è rappresentato dall’Activity Board 1.0. La tavoletta attiva che sfrutta la tecnologia RFID è il miglioramento di precedenti versioni, attraverso un complesso e lungo lavoro di riaggiornamenti e miglioramenti incrementali. La nuova versione ha la possibilità di connettersi via Wi-Fi e contiene tutti i materiali al suo interno, fornendo una versione “portatile” e immediatamente fruibile in ogni contesto. La tavoletta ha raggiunto un ottimo grado di robustezza, tanto da permettere sperimentazioni senza bug di sistema e rimuovendo la maggior parte di problematiche tecniche. Un risultato è stato anche quello di ridurre drasticamente il costo del sistema, attraverso un’attenta analisi delle componentistiche sul mercato, con l’obiettivo di mantenere gli standard progettuali definiti dal modello HAB e i requisiti funzionali. Ulteriore risultato del progetto è stato lo sviluppo di APP educative che sfruttano i principi della multisensorialità. Con queste APP educative si intende estendere il campo rispetto alla manualità che è stata centrale nei progetti precedenti (vedi BlockMagic). L’estensione nei confronti dell’udito, del tatto, del gusto e dell’olfatto hanno aperto nuovi scenari di opportunità per tutto il gruppo di ricerca, proponendo delle modalità di interazione ancora più aderenti alle pratiche psico-pedagogiche a cui si ispire. Le APP educative si sono centrate sul metodo ibrido, di coniugazione tra mondo fisico e reale in campo didattico, creando applicazioni per l’educazione musicale, per l’educazione olfattiva e della conoscenza del mondo, per l’immersione nei processi di storytelling, per l’apprendimento dell’anatomia, per l’apprendimento delle lingue, per l’apprendimento dell’ortografia e per l’apprendimento dei rudimenti della matematica. In questa tesi sono stati presentati solo alcune delle APP educative sviluppate in questi tre anni. A valle del processo è stata svolta una sperimentazione per verificare l’efficacia e l’accettabilità degli strumenti nei confronti di due modelli già utilizzati nelle classi e negli ambiti informati ossia lo strumento cartaceo e il tablet. Per quanto riguarda l’accettabilità, gli strumenti multisensoriali sono emersi come i preferiti per il gruppo di partecipanti (121 bambini appartenenti a due scuole). Per quanto riguarda l’efficacia, si è effettuato uno studio sulla memorizzazione di storie. I dati mostrano come le storie eseguite con il libro e con i materiali multisensoriali permettono un buon grado di memorizzazione mentre con il tablet il ricordo degli avvenimenti scende radicalmente

Foundations and applications of human-machine-interaction

Der vorliegende Tagungsband zur 10. Berliner Werkstatt Mensch-Maschine-Systeme gibt einen Einblick in die aktuelle Forschung im Bereich der Mensch-Maschine- Interaktion. Einen besonderen Fokus stellt das Wechselspiel von Grundlagenforschung und anwendungsbezogener Forschung dar, was sich im breiten Themenspektrum widerspiegelt, welches von theoretischen und methodischen Betrachtungen bis hin zu anwendungsnahen Fragestellungen reicht. Dabei finden Inhalte aus allen Phasen des Forschungsprozesses Beachtung, sodass auch im Rahmen der 10. Berliner Werkstatt MMS wieder sowohl neue Untersuchungskonzepte als auch abschließende Befunde diskutiert werden. Zentrale Themengebiete sind u. a. Fahrer-Fahrzeug-Interaktion, Assistenzsysteme, User Experience, Usability, Ubiquitous Computing, Mixed & Virtual Reality, Robotics & Automation, Wahrnehmungsspezifika sowie Psychophysiologie und Beanspruchung in der Mensch-Maschine-Interaktion.The proceedings of the 10th Berlin Workshop Human-Machine-Systems provide an insight into the current research in the field of human-machine-interaction. The main focus lies on the interplay between basic and applied research, which is reflected in the wide range of subjects: from theoretical and methodological issues to application oriented considerations. Again all stages of the research process are represented in the contributions of the 10th Berlin Workshop HMS. This means new research concepts as well as final results are subject of this volume. Central topics include driver-vehicleinteraction, assistance systems, user experience, usability, ubiquitous computing, mixed and virtual reality, robotics & automation, perception specifics, as well as psychophysiology and workload in human-machine-interaction