GAINE - A Portable Framework for the Development of Edutainment Applications Based on Multitouch and Tangible Interaction

In the last few years, Multitouch and Tangible User Interfaces have emerged as a powerful tool to integrate interactive surfaces and responsive spaces that embody digital information. Besides providing a natural interaction with digital contents, they allow the interaction of multiple users at the same time, thus promoting collaborative activities and information sharing. In particular, these characteristics have opened new exploration possibilities in the edutainment context, as witnessed by the many applications successfully developed in different areas, from children’s collaborative learning to interactive storytelling, cultural heritage and medical therapy support. However, due to the availability of different multitouch and tangible interaction technologies and of different target computing platforms, the development and deployment of such applications can be challenging. To this end, in this paper we present GAINE (tanGible Augmented INteraction for Edutainment), a software framework that enables rapid prototyping and development of tangible augmented applications for edutainment purposes. GAINE has two main features. First, it offers developers high-level context specific constructs that significantly reduces the implementation burden. Second, the framework is portable on different operating systems and offers independence from the underlying hardware and tracking technology. In this paper, we also discuss several case studies to show the effectiveness of GAINE in simplifying the development of entertainment and edutainment applications based on multitouch and tangible interaction

Putting manipulation, grasping and sensing in educational APPs for children

La tesi ha come obiettivo di valorizzare pratiche psico-pedagogiche classiche utilizzando le nuove opportunità fornite dalla tecnologia e dagli strumenti digitali sempre più ubiquitari nella nostra società. La modalità individuata per connettere l’ambito digitale e quello fisico è attraverso lo sviluppo della multisensorialità e dunque la riscoperta dei sensi come l’olfatto, il gusto e il tatto nelle pratiche educative per bambini dai 6 agli 8 anni (primi tre anni della scuola primaria). Per ottenere questo obiettivo si sono sviluppate metodologie e prototipi (sia hardware, che software – APP) fruibili dai bambini della scuola primaria. In primo luogo è stato ideato, concettualizzato e sviluppato il modello dell’Hyper Activity Book (HAB), che rappresenta la porzione modellistica fondamentale a cui ispirarsi per l’implementazione di prototipi in un settore così delicato quanto cruciale, dove troppo spesso le applicazioni si sono fermate a miglioramenti puntuali e non sistemici. Il modello dell’Hyper Activity Book ha l’ambizione di formare uno schema entro cui poter applicare in maniera organica i principi del Learning by Doing in stretta comunicazione con il concetto degli ambienti didattici ibridi e delle interfacce-utente di stampo tangibile e dei moduli di Intelligenza Artificiale. A corredo del modello dell’HAB e sulla base dell’analisi dello stato dell’arte condotto, sono state prodotte delle linee guida per la progettazione di Ambienti Ibridi. La ricerca ha permesso lo sviluppo di due hardware, che hanno rappresentato un’evoluzione e un miglioramento incrementale rispetto alle precedenti realizzazioni. Si è sviluppato un algoritmo per il riconoscimento di oggetti fisici su schermi touchscreen grazie al loro posizionamento sugli stessi. Il prototipo, denominato TriPOD, contiene l’algoritmo che è in grado di riconoscere gli oggetti fisici sulla base della disposizione delle protrusioni capacitive (i pin capacitivi) in maniera univoca, collegando l’identificativo generato con un oggetto tangibile. Questo prototipo è funzionante e sebbene abbia necessità di divenire ancora più robusto in termini tecnici, è uno sviluppo interessante per le applicazioni nel settore dell’educazione e della riabilitazione, in grado di aprire nuovi scenari applicativi. L’altro prototipo hardware, sviluppato nel percorso dottorale è rappresentato dall’Activity Board 1.0. La tavoletta attiva che sfrutta la tecnologia RFID è il miglioramento di precedenti versioni, attraverso un complesso e lungo lavoro di riaggiornamenti e miglioramenti incrementali. La nuova versione ha la possibilità di connettersi via Wi-Fi e contiene tutti i materiali al suo interno, fornendo una versione “portatile” e immediatamente fruibile in ogni contesto. La tavoletta ha raggiunto un ottimo grado di robustezza, tanto da permettere sperimentazioni senza bug di sistema e rimuovendo la maggior parte di problematiche tecniche. Un risultato è stato anche quello di ridurre drasticamente il costo del sistema, attraverso un’attenta analisi delle componentistiche sul mercato, con l’obiettivo di mantenere gli standard progettuali definiti dal modello HAB e i requisiti funzionali. Ulteriore risultato del progetto è stato lo sviluppo di APP educative che sfruttano i principi della multisensorialità. Con queste APP educative si intende estendere il campo rispetto alla manualità che è stata centrale nei progetti precedenti (vedi BlockMagic). L’estensione nei confronti dell’udito, del tatto, del gusto e dell’olfatto hanno aperto nuovi scenari di opportunità per tutto il gruppo di ricerca, proponendo delle modalità di interazione ancora più aderenti alle pratiche psico-pedagogiche a cui si ispire. Le APP educative si sono centrate sul metodo ibrido, di coniugazione tra mondo fisico e reale in campo didattico, creando applicazioni per l’educazione musicale, per l’educazione olfattiva e della conoscenza del mondo, per l’immersione nei processi di storytelling, per l’apprendimento dell’anatomia, per l’apprendimento delle lingue, per l’apprendimento dell’ortografia e per l’apprendimento dei rudimenti della matematica. In questa tesi sono stati presentati solo alcune delle APP educative sviluppate in questi tre anni. A valle del processo è stata svolta una sperimentazione per verificare l’efficacia e l’accettabilità degli strumenti nei confronti di due modelli già utilizzati nelle classi e negli ambiti informati ossia lo strumento cartaceo e il tablet. Per quanto riguarda l’accettabilità, gli strumenti multisensoriali sono emersi come i preferiti per il gruppo di partecipanti (121 bambini appartenenti a due scuole). Per quanto riguarda l’efficacia, si è effettuato uno studio sulla memorizzazione di storie. I dati mostrano come le storie eseguite con il libro e con i materiali multisensoriali permettono un buon grado di memorizzazione mentre con il tablet il ricordo degli avvenimenti scende radicalmente

Investigation and development of a tangible technology framework for highly complex and abstract concepts

The ubiquitous integration of computer-supported learning tools within the educational domain has led educators to continuously seek effective technological platforms for teaching and learning. Overcoming the inherent limitations of traditional educational approaches, interactive and tangible computing platforms have consequently garnered increased interest in the pursuit of embedding active learning pedagogies within curricula. However, whilst Tangible User Interface (TUI) systems have been successfully developed to edutain children in various research contexts, TUI architectures have seen limited deployment towards more advanced educational pursuits. Thus, in contrast to current domain research, this study investigates the effectiveness and suitability of adopting TUI systems for enhancing the learning experience of abstract and complex computational science and technology-based concepts within higher educational institutions (HEI)s. Based on the proposal of a contextually apt TUI architecture, the research describes the design and development of eight distinct TUI frameworks embodying innovate interactive paradigms through tabletop peripherals, graphical design factors, and active tangible manipulatives. These computationally coupled design elements are evaluated through summative and formative experimental methodologies for their ability to aid in the effective teaching and learning of diverse threshold concepts experienced in computational science. In addition, through the design and adoption of a technology acceptance model for educational technology (TAM4Edu), the suitability of TUI frameworks in HEI education is empirically evaluated across a myriad of determinants for modelling students’ behavioural intention. In light of the statistically significant results obtained in both academic knowledge gain (μ = 25.8%) and student satisfaction (μ = 12.7%), the study outlines the affordances provided through TUI design for various constituents of active learning theories and modalities. Thus, based on an empirical and pedagogical analyses, a set of design guidelines is defined within this research to direct the effective development of TUI design elements for teaching and learning abstract threshold concepts in HEI adaptations