Tangible computational systems and the design of communication in inclusive educational contexts

Orientador: Maria Cecília Calani BaranauskasTese (doutorado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: O meio de comunicação mais utilizado pelo ser humano ao longo de seu desenvolvimento natural é a linguagem oral. Dificuldades de comunicação por meio da fala demandam alternativas de várias naturezas, incluindo artefatos tecnológicos. A Comunicação Alternativa e Aumentativa (CAA) é a denominação para um conjunto de ferramentas e estratégias que uma pessoa pode utilizar como um complemento e/ou substituição da fala, para compensar as dificuldades de expressão oral. Quando um aluno não fala ou seu interlocutor não entende o que ele quer comunicar, é necessária a utilização de alternativas comunicacionais, tais como a CAA, que possibilitem uma interação, no ambiente escolar e fora dele, sem barreiras. Além de conseguir se expressar por meio da fala, é importante que o estudante consiga exprimir seus estados afetivos, pois esses são considerados essenciais para a relação de ensino e aprendizagem. Os "Grandes Desafios de Pesquisa em Interação Humano-Computador no Brasil" sugerem que tecnologias inovadoras sejam "utilizadas para a construção de sistemas que possam ser generalizados para múltiplos dispositivos e ao mesmo tempo especializados para os diferentes usuários com diferentes necessidades". Tecnologias de Informação e Comunicação têm potencial para desempenhar um importante papel na promoção da inclusão, aprimorando a utilização dos materiais pedagógicos e acrescentando novos recursos no âmbito socioeducacional. Contudo, as tecnologias de interação tangível têm sido ainda pouco utilizadas para suprir essas necessidades comunicacionais em ambientes inclusivos. Esta tese propõe sistemas de comunicação voltados para ambientes educacionais inclusivos, explorando e reconceitualizando o uso de tecnologias contemporâneas (ex. Radio Frequency Identification, Bluetooth, Smartphones) para interação tangível nesses ambientes. O processo de pesquisa deste trabalho envolveu atividades baseadas em Oficinas Semioparticipativas com partes interessadas, em diversas situações de design, situadas em contexto real de escola inclusiva. Nosso objetivo foi investigar o potencial dessas tecnologias computacionais para o cenário da Comunicação (Alternativa, Aumentativa e Afetiva) e propor ambientes baseados em tais tecnologias (via dispositivos tangíveis e por toque, entre outros) que possibilitem a comunicação pelas pessoas e entre pessoas em espaços educativos inclusivos. Considerando a relação intrínseca entre emoções e aprendizado, propusemos diferentes tipos de artefatos, que foram desenvolvidos e experimentados: Tan2Talk, SAMobile, SAMDesk, TangiSAM, CardSAM, SAMCurve, SAMLight. Tan2Talk é um ambiente tangível para apoio à comunicação alternativa e aumentativa, proposto como suplemento à comunicação de alunos que não se fazem entender pela fala, matriculados em escolas comuns (educação inclusiva). Os sistemas SAMobile e SAMDesk se utilizam de artefatos computacionais tangíveis (os quais denominamos TangiSAM e CardSAM) que possibilitam a autoexpressão de estados afetivos. Para compreender as experiências emocionais dos estudantes, desenvolvemos o SAMCurve, um artefato que possibilita a análise de mudanças nos estados afetivos do estudante ao longo do tempo e o SAMLight, que utiliza uma placa com LEDs como feedback visual do estado afetivo de diferentes grupos de estudantes. Por meio do uso dos sistemas nos ambientes educacionais inclusivos, constatamos que os artefatos TangiSAM e CardSAM foram efetivos em proporcionar aos estudantes a expressão de seus estados afetivos, além de promover na escola, de maneira divertida e leve, o tema da reflexão sobre os estados afetivos nos alunos e na prática dos professores. A diversificação das plataformas para uso desses artefatos via SamDesk e SAMobile proporcionam adequação às situações de infraestrutura tecnológica das escolas. Os artefatos SAMCurve e SAMLight permitiram análise e conscientização dos professores e coordenação pedagógica sobre os estados afetivos dos estudantes. Resultados da aplicação do Tan2Talk apontaram que as crianças conseguiam se comunicar por meio dos artefatos do sistema, aumentando suas habilidades de comunicação via associação de ideias e interação social. Os sistemas computacionais de interação tangível para apoio à comunicação alternativa, aumentativa e afetiva mostraram resultados positivos em termos de aceitação, motivação, divertimento e capacidade de comunicação entre os envolvidos, mostrando seu potencial para utilização em espaços educativosAbstract: The most used means of communication by human beings in their natural development is the oral language. Speech difficulties demand alternatives of different nature, including technological artifacts. Alternative and Augmentative Communication (AAC) is the denomination for a set of tools and strategies that one can use as a complement and/or replacement of speech to compensate for speech difficulties. When a student does not speak or the interlocutor does not understand what is being communicated, communication alternatives that allow a barrierless interaction inside and outside the school environment should be used, such as the AAC. In addition to being able to express themselves through speech, the students should be able to express their affective states, an essential aspect of the teaching and learning relationship. The "Grand Research Challenges in Human-Computer Interaction in Brazil" suggest that innovative technologies should be "used for the construction of systems that can be both generalized to multiple devices and at the same time specialized for different users with different needs". Information and Communication Technologies have the potential to play an important role in promoting inclusion, improving the use of pedagogical materials and adding new social-educational resources. Nevertheless, tangible interaction technologies have not yet been widely used to meet the communication needs in inclusive environments. This thesis proposes communication systems focused on inclusive educational environments, by exploring and reconceptualizing the use of contemporary technologies (e.g. Radio Frequency Identification, Bluetooth, Smartphones) for tangible interaction. The research process of this work involved activities based on Semioparticipatory Workshops with interested parties, in several design situations, including a real context of inclusive schools. Our objective was to investigate the potential of computational technologies for the Communication scenario (Alternative, Augmentative and Affective) and propose environments based on such technologies (via tangible and touch devices, among others) that enable the communication by people and between people in inclusive educational spaces. Considering the intrinsic relationship between emotions and learning, different types of artifacts were proposed, developed and experienced: Tan2Talk, SAMobile, SAMDesk, TangiSAM, CardSAM, SAMCurve, SAMLight. Tan2Talk is a tangible environment to support alternative and augmentative communication, proposed as a supplement to the communication of students who do not make themselves understood through speech and are enrolled in regular schools (inclusive education). The SAMobile and SAMDesk systems use tangible computational artifacts (named TangiSAM and CardSAM) to enable the self-expression of affective states. SAMCurve and SAMLight were developed to understand the students¿ emotional experiences along different activities. The former provides the analysis of their changes in affective states over time. The latter uses a display of LEDs as a visual feedback of the affective state of different groups of students. By using the systems in inclusive educational environments, TangiSAM and CardSAM have shown effective in providing students with the expression of their affective states. Furthermore, they led to a discussion on the students¿ affective states and a reflection on the teachers¿ practices. The diversification of the platforms supporting these artifacts, via SamDesk and SAMobile software enable the schools to adapt the solutions to their technological infrastructure. The SAMCurve and SAMLight artifacts allowed the analysis and awareness of the teachers and the pedagogical coordination regarding the students¿ affective states. The results of the implementation of Tan2Talk pointed out that the children were able to communicate through the artifacts, leading to an improvement in their communication skills via idea association and social interaction. The computational systems of tangible interaction to support alternative, augmentative and affective communication have shown positive results in terms of acceptance, arousal, fun and communication capacity among the participants. Therefore, the results show their potential to be useful in educational spacesDoutoradoCiência da ComputaçãoDoutora em Ciência da Computaçã