Towards Real-time Speech Emotion Recognition for Affective E-Learning

The original article is available as an open access file on the Springer website in the following link: http://link.springer.com/article/10.1007/s10639-015-9388-2This paper presents the voice emotion recognition part of the FILTWAM framework for real-time emotion recognition in affective e-learning settings. FILTWAM (Framework for Improving Learning Through Webcams And Microphones) intends to offer timely and appropriate online feedback based upon learner’s vocal intonations and facial expressions in order to foster their learning. Whereas the facial emotion recognition part has been successfully tested in a previous study, the here presented study describes the development and testing of FILTWAM's vocal emotion recognition software artefact. The main goal of this study was to show the valid use of computer microphone data for real-time and adequate interpretation of vocal intonations into extracted emotional states. The software that was developed was tested in a study with twelve participants. All participants individually received the same computer-based tasks in which they were requested eighty times to mimic specific vocal expressions (960 occurrences in total). Each individual session was recorded on video. For the validation of the voice emotion recognition software artefact, two experts annotated and rated participants' recorded behaviours. Expert findings were then compared with the software recognition results and showed an overall accuracy of Kappa of 0.743. The overall accuracy of the voice emotion recognition software artefact is 67% based on the requested emotions and the recognized emotions. Our FILTWAM-software allows to continually and unobtrusively observing learners’ behaviours and transforms these behaviours into emotional states. This paves the way for unobtrusive and real-time capturing of learners' emotional states for enhancing adaptive e-learning approaches.The Netherlands Laboratory for Lifelong Learning (NELLL) of the Open University Netherland

Computação afetiva aplicada à educação: uma proposta ao Sistema Tutor Inteligente MAZK

TCC (graduação) - Universidade Federal de Santa Catarina. Campus Araranguá. Tecnologias da Informação e ComunicaçãoA Inteligência Artificial está inserindo-se no ambiente educacional de forma acelerada, e com isso, culminando em tecnologias facilitadoras, como é o caso dos sistemas tutores inteligentes. Paralelamente, teorias sugerem que a afetividade do comportamento humano possui ligação com o processo cognitivo, e com isso, torna-se fundamentalmente importante conciliarmos as emoções com o processo de aprendizagem no ambiente educacional. Os professores são capazes de usar-se da empatia para compreender estados emocionais do aluno e intervir quando necessário, contudo, ao considerarmos tutores inteligentes, ainda enfrentam-se desafios. Tendo em vista isso, a Computação Afetiva é a área de estudo que se dedica a encontrar mecanismos para inferir emoções em máquinas, e neste trabalho, o objetivo é realizar um estudo a partir dela, visando elaborar uma proposta para dotar o Sistema Tutor Inteligente MAZK de capacidades afetivas. Para tanto, a abordagem metodológica utilizada deu-se através da pesquisa qualitativa e exploratória. A partir disso, observou-se que é possível inserir um módulo reconhecimento afetivo no MAZK, e permitir que o sistema intervenha de maneira empática em situações que sugerem que o aluno está desmotivado e com maiores dificuldades, ao passo que fornece feedbacks positivos aos alunos com bom desempenho. Este reconhecimento é possível utilizando-se de técnicas como análise de expressões faciais, comportamento observável e análise avaliativa