Come and play: interactive theatre for early years

The convergence of theatre and digital technologies can play a valuable role in theatre for early years, but, how an audience of under-5’s experiences and engages with these spaces is largely unexplored. We present an interactive performance installation and demonstrate how concepts from early years practice, in particular schemas, children’s repeated play patterns, can be used as a design framework. We integrated sensors and microcontrollers into objects, puppets, and scenography and invited eight groups of very young children and their grownups to explore the performance. We discuss how schemas are useful as a design and analysis tool in TEY, how schemas need to be expanded to include multi-sensory interactions with hybrid physical-digital objects, and how designers need to consider the roles of adults who scaffold interaction between very young children and their surroundings

Why Tangibility Matters: A Design Case Study of At-Risk Children Learning to Read and Spell

Tangibles may be effective for reading applications. Letters can be represented as 3D physical objects. Words are spatially organized collections of letters. We explore how tangibility impacts reading and spelling acquisition for young Anglophone children who have dyslexia. We describe our theory-based design rationale and present a mixedmethods case study of eight children using our PhonoBlocks system. All children made significant gains in reading and spelling on trained and untrained (new) words, and could apply all spelling rules a month later. We discuss the design features of our system that contributed to effective learning processes, resulting in successful learning outcomes: dynamic colour cues embedded in 3D letters, which can draw attention to how letter(s) position changes their sounds; and the form of 3D tangible letters, which can enforce correct letter orientation and enable epistemic strategies in letter organization that simplify spelling tasks. We conclude with design guidelines for tangible reading systems

Tangible computational systems and the design of communication in inclusive educational contexts

Orientador: Maria Cecília Calani BaranauskasTese (doutorado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: O meio de comunicação mais utilizado pelo ser humano ao longo de seu desenvolvimento natural é a linguagem oral. Dificuldades de comunicação por meio da fala demandam alternativas de várias naturezas, incluindo artefatos tecnológicos. A Comunicação Alternativa e Aumentativa (CAA) é a denominação para um conjunto de ferramentas e estratégias que uma pessoa pode utilizar como um complemento e/ou substituição da fala, para compensar as dificuldades de expressão oral. Quando um aluno não fala ou seu interlocutor não entende o que ele quer comunicar, é necessária a utilização de alternativas comunicacionais, tais como a CAA, que possibilitem uma interação, no ambiente escolar e fora dele, sem barreiras. Além de conseguir se expressar por meio da fala, é importante que o estudante consiga exprimir seus estados afetivos, pois esses são considerados essenciais para a relação de ensino e aprendizagem. Os "Grandes Desafios de Pesquisa em Interação Humano-Computador no Brasil" sugerem que tecnologias inovadoras sejam "utilizadas para a construção de sistemas que possam ser generalizados para múltiplos dispositivos e ao mesmo tempo especializados para os diferentes usuários com diferentes necessidades". Tecnologias de Informação e Comunicação têm potencial para desempenhar um importante papel na promoção da inclusão, aprimorando a utilização dos materiais pedagógicos e acrescentando novos recursos no âmbito socioeducacional. Contudo, as tecnologias de interação tangível têm sido ainda pouco utilizadas para suprir essas necessidades comunicacionais em ambientes inclusivos. Esta tese propõe sistemas de comunicação voltados para ambientes educacionais inclusivos, explorando e reconceitualizando o uso de tecnologias contemporâneas (ex. Radio Frequency Identification, Bluetooth, Smartphones) para interação tangível nesses ambientes. O processo de pesquisa deste trabalho envolveu atividades baseadas em Oficinas Semioparticipativas com partes interessadas, em diversas situações de design, situadas em contexto real de escola inclusiva. Nosso objetivo foi investigar o potencial dessas tecnologias computacionais para o cenário da Comunicação (Alternativa, Aumentativa e Afetiva) e propor ambientes baseados em tais tecnologias (via dispositivos tangíveis e por toque, entre outros) que possibilitem a comunicação pelas pessoas e entre pessoas em espaços educativos inclusivos. Considerando a relação intrínseca entre emoções e aprendizado, propusemos diferentes tipos de artefatos, que foram desenvolvidos e experimentados: Tan2Talk, SAMobile, SAMDesk, TangiSAM, CardSAM, SAMCurve, SAMLight. Tan2Talk é um ambiente tangível para apoio à comunicação alternativa e aumentativa, proposto como suplemento à comunicação de alunos que não se fazem entender pela fala, matriculados em escolas comuns (educação inclusiva). Os sistemas SAMobile e SAMDesk se utilizam de artefatos computacionais tangíveis (os quais denominamos TangiSAM e CardSAM) que possibilitam a autoexpressão de estados afetivos. Para compreender as experiências emocionais dos estudantes, desenvolvemos o SAMCurve, um artefato que possibilita a análise de mudanças nos estados afetivos do estudante ao longo do tempo e o SAMLight, que utiliza uma placa com LEDs como feedback visual do estado afetivo de diferentes grupos de estudantes. Por meio do uso dos sistemas nos ambientes educacionais inclusivos, constatamos que os artefatos TangiSAM e CardSAM foram efetivos em proporcionar aos estudantes a expressão de seus estados afetivos, além de promover na escola, de maneira divertida e leve, o tema da reflexão sobre os estados afetivos nos alunos e na prática dos professores. A diversificação das plataformas para uso desses artefatos via SamDesk e SAMobile proporcionam adequação às situações de infraestrutura tecnológica das escolas. Os artefatos SAMCurve e SAMLight permitiram análise e conscientização dos professores e coordenação pedagógica sobre os estados afetivos dos estudantes. Resultados da aplicação do Tan2Talk apontaram que as crianças conseguiam se comunicar por meio dos artefatos do sistema, aumentando suas habilidades de comunicação via associação de ideias e interação social. Os sistemas computacionais de interação tangível para apoio à comunicação alternativa, aumentativa e afetiva mostraram resultados positivos em termos de aceitação, motivação, divertimento e capacidade de comunicação entre os envolvidos, mostrando seu potencial para utilização em espaços educativosAbstract: The most used means of communication by human beings in their natural development is the oral language. Speech difficulties demand alternatives of different nature, including technological artifacts. Alternative and Augmentative Communication (AAC) is the denomination for a set of tools and strategies that one can use as a complement and/or replacement of speech to compensate for speech difficulties. When a student does not speak or the interlocutor does not understand what is being communicated, communication alternatives that allow a barrierless interaction inside and outside the school environment should be used, such as the AAC. In addition to being able to express themselves through speech, the students should be able to express their affective states, an essential aspect of the teaching and learning relationship. The "Grand Research Challenges in Human-Computer Interaction in Brazil" suggest that innovative technologies should be "used for the construction of systems that can be both generalized to multiple devices and at the same time specialized for different users with different needs". Information and Communication Technologies have the potential to play an important role in promoting inclusion, improving the use of pedagogical materials and adding new social-educational resources. Nevertheless, tangible interaction technologies have not yet been widely used to meet the communication needs in inclusive environments. This thesis proposes communication systems focused on inclusive educational environments, by exploring and reconceptualizing the use of contemporary technologies (e.g. Radio Frequency Identification, Bluetooth, Smartphones) for tangible interaction. The research process of this work involved activities based on Semioparticipatory Workshops with interested parties, in several design situations, including a real context of inclusive schools. Our objective was to investigate the potential of computational technologies for the Communication scenario (Alternative, Augmentative and Affective) and propose environments based on such technologies (via tangible and touch devices, among others) that enable the communication by people and between people in inclusive educational spaces. Considering the intrinsic relationship between emotions and learning, different types of artifacts were proposed, developed and experienced: Tan2Talk, SAMobile, SAMDesk, TangiSAM, CardSAM, SAMCurve, SAMLight. Tan2Talk is a tangible environment to support alternative and augmentative communication, proposed as a supplement to the communication of students who do not make themselves understood through speech and are enrolled in regular schools (inclusive education). The SAMobile and SAMDesk systems use tangible computational artifacts (named TangiSAM and CardSAM) to enable the self-expression of affective states. SAMCurve and SAMLight were developed to understand the students¿ emotional experiences along different activities. The former provides the analysis of their changes in affective states over time. The latter uses a display of LEDs as a visual feedback of the affective state of different groups of students. By using the systems in inclusive educational environments, TangiSAM and CardSAM have shown effective in providing students with the expression of their affective states. Furthermore, they led to a discussion on the students¿ affective states and a reflection on the teachers¿ practices. The diversification of the platforms supporting these artifacts, via SamDesk and SAMobile software enable the schools to adapt the solutions to their technological infrastructure. The SAMCurve and SAMLight artifacts allowed the analysis and awareness of the teachers and the pedagogical coordination regarding the students¿ affective states. The results of the implementation of Tan2Talk pointed out that the children were able to communicate through the artifacts, leading to an improvement in their communication skills via idea association and social interaction. The computational systems of tangible interaction to support alternative, augmentative and affective communication have shown positive results in terms of acceptance, arousal, fun and communication capacity among the participants. Therefore, the results show their potential to be useful in educational spacesDoutoradoCiência da ComputaçãoDoutora em Ciência da Computaçã

Desenvolvimento de um protótipo de artefacto tangível para tratar crianças com perturbações dos sons da fala

In the first part of this Dissertation different approaches - interaction paradigms considered relevant - that can be used to enrich a traditionally physical intervention material and how to turn everything into a coherent whole, a tangible artefact. The advantages that a tangible artefact may hold over a traditional object, as well as its role in children’s learning, are analysed. Three best practices cases are described and from them lessons are drawn for the creation of tangible artefacts. In the second part of the Dissertation the game selected to be transformed into a tangible artefact - the game of Fishing - is presented and described. Aspects of game mechanics, both in the traditional version and in the tangible/digital version, are discussed. The reasons and advantages perceived in the transformation into a tangible artefact are reviewed. The technologies used and the various stages and iterations that both the prototype and the software suffered are described. The reasons and the motivation behind the various decisions made are explained. In order to obtain suggestions and to verify if the prototype was being developed according to the needs of the identified target users, an exploratory test was prepared and carried out, with 10 participants. During this test we used the direct observation method and the following data gathering mechanisms: observation grid and semi-structured questionnaire / interview. This enabled the collection of quantitative and qualitative data, which allowed us to conclude that the prototype addresses the existing needs, has a high replay value and favours immersion. Finally, we present the conclusions and results obtained, as well as an exhaustive list of suggestions, comments and changes to be made to create a tangible artefact with final product characteristics. The artifact produced can be extremely modular and versatile and there is a clear need and interest in similar objects from speech therapists, educators and auxiliaries. However, there are aspects to improve. The process should be even more iterative, with a multidisciplinary team and all end-users able to participate as co-designers.Na primeira parte desta Dissertação são apresentadas diferentes abordagens – paradigmas de interação considerados relevantes – que poderão ser usadas para enriquecer um material de intervenção tradicionalmente físico e como tornar tudo num todo coerente, num artefacto tangível. As vantagens que um artefacto tangível poderá deter sobre um objeto tradicional, bem como o seu enquadramento na forma como as crianças aprendem, são analisados. São ainda descritos três casos considerados de sucesso e deles é produzida uma breve reflexão sobre a criação de artefactos tangíveis.. Na segunda parte da Dissertação é apresentado o jogo escolhido concebido para ser transformado num artefacto tangível – o “Jogo da Pesca”. São abordados aspetos da mecânica de jogo - na versão tradicional e também na versão tangível/digital - e o porquê e as vantagens percecionadas aquando da sua transformação. As tecnologias usadas e os vários momentos e iterações que, tanto o protótipo quanto o software sofreram, são descritos e explicados os motivos e o fio condutor por trás das várias decisões tomadas. A fim de obter sugestões e verificar se o protótipo estava a ser desenvolvido de acordo com as necessidades dos públicos-alvo identificados, realizou-se um teste exploratório, com uma amostra de 10 elementos. Durante esse teste foi utilizado o método de observação direta e os seguintes mecanismos de recolha de dados: grelha de observação e questionário/entrevista semi-estruturada. Isto permitiu a recolha de dados quantitativos e qualitativos, que nos ajudaram a concluir que o protótipo respondia às necessidades existentes, tem uma elevada capacidade de motivar o voltar a jogar e favorece a imersão. Por fim são apresentadas as conclusões e os resultados obtidos, bem como uma lista exaustiva de sugestões, comentários e alterações a realizar para criar um artefacto tangível, com características de produto final. O artefacto produzido pode ser extremamente modular e versátil e existe uma clara necessidade e interesse em objetos similares por parte de terapeutas da fala, educadoras e auxiliares. Há no entanto aspetos a melhorar. O processo deveria ser ainda mais iterativo, com uma equipa multidisciplinar e com todos os utilizadores finais a participar no design/criação.Mestrado em Comunicação Multimédi

Wrapping up LinguaBytes, for now

In this paper we present the final research prototype of LinguaBytes, a tangible interface aimed at stimulating the language development of non- or hardly speaking children between 1 and 4 years old. LinguaBytes was developed in a three-year Research through Design process in which five incremental prototypes were designed, built and evaluated in real-life settings. In this paper we present the original starting points of the project, describe our method and illustrate the resulting end-design using example scenarios of use. We give an overview of the most significant findings at the ten-month evaluation moment, after which we reflect on the original starting points and assess whether they hold up