Recognizing Uncertainty in Speech

We address the problem of inferring a speaker's level of certainty based on prosodic information in the speech signal, which has application in speech-based dialogue systems. We show that using phrase-level prosodic features centered around the phrases causing uncertainty, in addition to utterance-level prosodic features, improves our model's level of certainty classification. In addition, our models can be used to predict which phrase a person is uncertain about. These results rely on a novel method for eliciting utterances of varying levels of certainty that allows us to compare the utility of contextually-based feature sets. We elicit level of certainty ratings from both the speakers themselves and a panel of listeners, finding that there is often a mismatch between speakers' internal states and their perceived states, and highlighting the importance of this distinction.Comment: 11 page

When Does Disengagement Correlate with Performance in Spoken Dialog Computer Tutoring?

In this paper we investigate how student disengagement relates to two performance metrics in a spoken dialog computer tutoring corpus, both when disengagement is measured through manual annotation by a trained human judge, and also when disengagement is measured through automatic annotation by the system based on a machine learning model. First, we investigate whether manually labeled overall disengagement and six different disengagement types are predictive of learning and user satisfaction in the corpus. Our results show that although students’ percentage of overall disengaged turns negatively correlates both with the amount they learn and their user satisfaction, the individual types of disengagement correlate differently: some negatively correlate with learning and user satisfaction, while others don’t correlate with eithermetric at all. Moreover, these relationships change somewhat depending on student prerequisite knowledge level. Furthermore, using multiple disengagement types to predict learning improves predictive power. Overall, these manual label-based results suggest that although adapting to disengagement should improve both student learning and user satisfaction in computer tutoring, maximizing performance requires the system to detect and respond differently based on disengagement type. Next, we present an approach to automatically detecting and responding to user disengagement types based on their differing correlations with correctness. Investigation of ourmachine learningmodel of user disengagement shows that its automatic labels negatively correlate with both performance metrics in the same way as the manual labels. The similarity of the correlations across the manual and automatic labels suggests that the automatic labels are a reasonable substitute for the manual labels. Moreover, the significant negative correlations themselves suggest that redesigning ITSPOKE to automatically detect and respond to disengagement has the potential to remediate disengagement and thereby improve performance, even in the presence of noise introduced by the automatic detection process

Exploring User Satisfaction in a Tutorial Dialogue System

Abstract User satisfaction is a common evaluation metric in task-oriented dialogue systems, whereas tutorial dialogue systems are often evaluated in terms of student learning gain. However, user satisfaction is also important for such systems, since it may predict technology acceptance. We present a detailed satisfaction questionnaire used in evaluating the BEETLE II system (REVU-NL), and explore the underlying components of user satisfaction using factor analysis. We demonstrate interesting patterns of interaction between interpretation quality, satisfaction and the dialogue policy, highlighting the importance of more finegrained evaluation of user satisfaction

Incorporating a User Model to Improve Detection of Unhelpful Robot Answers

Dialogues with robots frequently exhibit social dialogue acts such as greeting, thanks, and goodbye. This opens the opportunity of using these dialogue acts for dialogue management, in particular for detecting misunderstandings. Our corpus analysis shows that the social dialogue acts have different scopes of their associations with the discourse features within the dialogue: greeting in the user’s first turn is associated with such distant, or global, features as the likelihood of having questions answered, persistence, and ending with bye. The user’s thanks turn, on the other hand, is strongly associated with the helpfulness of the preceding robot’s answer. We therefore interpret the greeting as a component of a user model that can provide information about the user’s traits and be associated with discourse features at various stages of the dialogue. We conduct a detailed analysis of the user’s thanking behavior and demonstrate that user’s thanks can be used in the detection of unhelpful robot’s answers. Incorporating the greeting information further improves the detection. We discuss possible applications of this work for human-robot dialogue management.

Content, Social, and Metacognitive Statements: An Empirical Study Comparing Human-Human and Human-Computer Tutorial Dialogue

We present a study which compares human-human computer-mediated tutoring with two computer tutoring systems based on the same materials but differing in the type of feedback they provide. Our results show that there are significant differences in interaction style between human-human and human-computer tutoring, as well as between the two computer tutors, and that different dialogue characteristics predict learning gain in different conditions. We show that there are significant differences in the non-content statements that students make to human and computer tutors, but also to different types of computer tutors. These differences also affect which factors are correlated with learning gain and user satisfaction. We argue that ITS designers should pay particular attention to strategies for dealing with negative social and metacognitive statements, and also conduct further research on how interaction style affects human-computer tutoring. © 2010 Springer-Verlag Berlin Heidelberg

Adapting the scheduling of illustrations and graphs to learners in conceptual physics tutoring

This research investigates how to schedule multiple graphical representations in a dialogue-based conceptual physics tutor. Research on multiple graphical representations in tutoring suggests either frequently switching representations or fading from concrete to abstract representations. However, other research communities suggest that the best representation or scheduling can be dependent on various student and tutoring context factors. This thesis investigates whether these factors are important when considering a schedule of representations. Three major hypotheses are investigated. H1: that the best representational format for physics concepts is related to properties of the student and the tutoring context. H2: that it is possible to build models that predict the best representational format using student and tutoring context information. H3: that picking the representational format based upon student and tutoring context information will produce better learning gains than not considering student and tutoring context information. Additionally, this work addresses the question of whether multiple representations produce greater learning gains than a single representation (H4). A first experiment was performed to both investigate H1 and to collect data for H2. ANOVAs showed significant interaction effects in learning between low and high pretesters and between high and low spatial reasoning ability subjects, supporting the first hypothesis. Using the data collected and features describing student and tutoring context information, models were learned to predict when to show illustrations or graphs. That these models could be learned, produce meaningful rules, and outperformed a baseline supports H2. A new modeling algorithm was developed to learn these models by augmenting multiple linear regression to consider certain syntactic constraints. A third study was run to test H3 and H4 and to extrinsically evaluate the adaptive policy learned. One third of subjects had an adaptive scheduling of representations, one third a fixed alternating scheduling, and one third saw only one representation. In support of H3, subjects with high incoming knowledge sometimes perform better when receiving adaptive scheduling over an alternating scheduling, but there are also counter examples. For H4, it is not supported in general: showing only illustrations is best overall, but in some cases some subjects benefit from multiple representations

Promoting Learning by Inducing and Scaffolding Cognitive Disequilibrium and Confusion through System Feedback

Learners frequently experience uncertainty about how to proceed during learning. These experiences cause learners to enter a state of cognitive disequilibrium and its affiliated affective state of confusion. Cognitive disequilibrium and confusion have been found to frequently occur during complex learning and provide opportunities for deeper learning. In the current thesis, a learning environment that induces confusion was investigated. In the environment, learners engaged in a dialogue on scientific reasoning with an animated pedagogical agent. Confusion was induced through false feedback provided by the tutor agent (e.g., when learners responded correctly and were told their response was incorrect). Self-reports of confusion during the training session indicated that false feedback was an effective method for inducing confusion. False feedback was also found to increase learners’ ability to apply this knowledge to new and novel situations, under certain conditions. Implications for the design of learning environments are also discussed

Incorporating android conversational agents in m-learning apps

Smart Mobile Devices Have Fostered New Learning Scenarios That Demand Sophisticated Interfaces. Multimodal Conversational Agents Have Became A Strong Alternative To Develop Human-Machine Interfaces That Provide A More Engaging And Human-Like Relationship Between Students And The System. The Main Developers Of Operating Systems For Such Devices Have Provided Application Programming Interfaces For Developers To Implement Their Own Applications, Including Different Solutions For Developing Graphical Interfaces, Sensor Control And Voice Interaction. Despite The Usefulness Of Such Resources, There Are No Strategies Defined For Coupling The Multimodal Interface With The Possibilities That These Devices Offer To Enhance Mobile Educative Apps With Intelligent Communicative Capabilities And Adaptation To The User Needs. In This Paper, We Present A Practical M-Learning Application That Integrates Features Of Android Application Programming Interfaces On A Modular Architecture That Emphasizes Interaction Management And Context-Awareness To Foster User-Adaptively, Robustness And Maintainability.This work was supported in part by Projects MINECO TEC2012-37832-C02-01, CICYT TEC2011-28626-C02-02, CAM CONTEXTS (S2009/TIC-1485

Tutors' Assessments of a Tutee's Understanding in One-on-One Tutoring

Das Ziel dieser Dissertation ist es, zur Erforschung von Instruktion beizutragen, welche effektiv das Lernen von Schülerinnen und Schülern unterstützt. Derartige Instruktion leistet ihren Beitrag zu guter Bildung. Da Instruktion verändert werden kann, um Bildung zu verbessern, ist sie als Variable von großem Interesse. Um Instruktion im Sinne guter Bildung verändern zu können, ist es notwendig zu wissen, welche Instruktionsformen effektiv darin sind, das Lernen zu unterstützen. Weiterhin ist es notwendig zu wissen, welche Mechanismen diesen Instruktionsformen zugrunde liegen. Eine bedeutende Form effektiver Instruktion ist das Eins-zu-Eins-Tutoring. Mechanismen, die für die Effektivität des Tutorings als zentral gelten, sind dabei die Diagnosen und die Diagnosegenauigkeit von Tutorinnen und Tutoren. Diese Mechanismen sind bisher jedoch nicht intensiv untersucht worden. Aus diesem Grund werden in der Dissertation die Diagnosen und die Diagnosegenauigkeit von Tutorinnen und Tutoren näher betrachtet. Im Speziellen werden zwei Arten von Diagnosen untersucht. Dies sind erstens Diagnosen, die Tutorinnen und Tutoren fortlaufend während einer Tutoringsitzung durchführen (d. h. formative Diagnosen). Zweitens werden Diagnosen analysiert, die Tutorinnen und Tutoren nach dem Ende einer Tutoringsitzung erstellen (d. h. summative Diagnosen). Im Zusammenhang mit dieser Dissertation wurden zwei empirische Studien durchgeführt. In beiden Studien wurden Tutandinnen und Tutanden im Schulalter von Tutorinnen und Tutoren unterrichtet, die über mehr Wissen verfügten, als ihre Lernenden. Es wurde angenommen, dass Tutorinnen und Tutoren mit Lehrerfahrung besser darin sind das Verständnis von Tutandinnen und Tutanden zu diagnostizieren als Tutorinnen und Tutoren ohne Lehrerfahrung. In der ersten Studie wurde der Einfluss von Lehrerfahrung auf die Diagnosen von Tutorinnen und Tutoren empirisch überprüft. Zu diesem Zweck wurden die Diagnosegenauigkeit von Tutorinnen und Tutoren mit Lehrerfahrung (d. h. Lehrkräfte) und die Diagnosegenauigkeit von Tutorinnen und Tutoren ohne Lehrerfahrung (d. h. Studierende) untersucht und miteinander verglichen. In diesem Zusammenhang wurde auch die Beziehung zwischen den formativen Diagnosen einer Tutorin oder eines Tutors und den summativen Diagnosen einer Tutorin oder eines Tutors analysiert. Weiterhin wurde der Nutzen der formativen Diagnosen einer Tutorin oder eines Tutors für das Lernen der Tutandin bzw. des Tutanden erforscht (siehe Kapitel 1, Artikel 1 und 2). In der zweiten Studie wurde experimentell geprüft, ob die Diagnosen von Studierenden als Tutorinnen und Tutoren durch ein kurzes Training verbessert werden können. Das Training zielte dabei auf die Förderung eines interaktiven Tutoringstils. Die Idee für das Design des Trainings beruhte darauf, dass Tutandinnen und Tutanden wahrscheinlicher ihr eigenes Verständnis äußern, wenn Tutorinnen und Tutoren einen interaktiven Tutoringstil realisieren. Basierend auf den zusätzlichen Informationen über das Verständnis ihrer Tutandin bzw. ihres Tutanden sollten Tutorinnen und Tutoren mit einem interaktiven Tutoringstil besser in der Lage sein, summativ das Verständnis der Tutandin bzw. des Tutanden zu diagnostizieren als Tutorinnen und Tutoren mit einem weniger interaktiven Tutoringstil (siehe Kapitel 2, Artikel 3). Wie die erste Studie (vgl. Kapitel 1) belegt, diagnostizieren Tutorinnen und Tutoren im Durchschnitt das Verständnis ihrer Tutandin oder ihres Tutanden bestenfalls mäßig genau. Allerdings waren Lehrkräfte genauer darin, summativ das Verständnis ihrer Tutandin bzw. ihres Tutanden zu diagnostizieren als Studierende (vgl. Artikel 1). Darüber hinaus zeigte die erste Studie, dass alle Tutorinnen und Tutoren interaktive Instruktionsstrategien einsetzten, um formativ das Verständnis ihrer Tutandin bzw. ihres Tutanden zu diagnostizieren. Mehr formative Diagnosen führten in diesem Zusammenhang zu mehr Lernen. In vergleichbarer Weise zogen mehr formative Diagnosen auch genauere summative Verständnisdiagnosen nach sich. Auch in Bezug auf die formativen Diagnosen unterschieden sich Lehrkräfte von Studierenden. Konkret heißt dies, dass Lehrkräfte häufiger Instruktionsstrategien zum formativen Diagnostizieren des Verständnisses ihrer Tudandin bzw. ihres Tutanden einsetzten als Studierende. Dieser Unterschied im Ausmaß formativer Diagnosen bedingte auch den Unterschied zwischen Lehrkräften und Studierenden bezüglich der summativen Diagnosegenauigkeit (vgl. Artikel 2). Die Ergebnisse der ersten Studie weisen darauf hin, dass Tutorinnen und Tutoren im Allgemeinen nicht sehr gut darin sind, summativ das Verständnis von Tutandinnen und Tutanden zu diagnostizieren. Dessen ungeachtet diagnostizieren Tutorinnen und Tutoren formativ das Verständnis einer Tutandin bzw. eines Tutanden zumindest in gewissem Maß. Da zudem mehr formative Diagnosen zu mehr Lernen führen, kann angenommen werden, dass diese formativen Diagnosen tatsächlich zu den Mechanismen zählen, die Tutoring effektiv machen. Tutoring könnte somit noch effektiver werden, wenn man das formative Diagnostizieren förderte. Da außerdem beobachtet wurde, dass formative Diagnosen bessere summativen Diagnosen nach sich zogen, kann weiterhin angenommen werden, dass verbessertes formatives Diagnostizieren genauere summative Diagnosen mit sich brächte. Schließlich war auch Lehrerfahrung relevant für bessere Diagnosen. Im Speziellen verwendeten Lehrkräfte häufiger Strategien formativer Diagnose als Studierende. Dieser Unterschied erklärte auch, warum Lehrkräfte genauer summativ diagnostizierten als Studierende. Offensichtlich kann somit ein intensiverer Gebrauch von Strategien zur formativen Verständisdiagnose als beobachtbarer Indikator für Lehrerfahrung angesehen werden. Tutorinnen und Tutoren waren durchaus in der Lage, einen interaktiven Tutoringstil zu realisieren, wenn sie darin trainiert wurden, die interaktiven Instruktionsstrategien formativen Diagnostizierens zu verwenden, die in der ersten Studie beobachtet worden waren. Dies wurde in der zweiten Studie festgestellt (vgl. Kapitel 2). Allerdings wurden dadurch die summativen Diagnosen der trainierten Tutorinnen und Tutoren nicht genauer als die summativen Diagnosen der untrainierten Tutorinnen und Tutoren. Stattdessen waren die trainierten Tutorinnen und Tutoren weniger genau darin als die untrainierten, summativ das Verständnis ihrer Tutandin bzw. ihres Tutanden zu diagnostizieren. Dieses unerwartete Ergebnis wurde dadurch erklärt, dass die trainierten Tutorinnen und Tutoren stärker als die untrainierten einen interaktiven Tutoringstil realisierten. Die Ergebnisse der zweiten Studie werden in Bezug auf mögliche Unzulänglichkeiten in der kognitiven Informationsverarbeitung auf Seiten der Tutorinnen und Tutoren interpretiert. Diese Unzulänglichkeiten hängen möglicherweise damit zusammen, dass die Tutorinnen und Tutoren in dieser Studie keine Lehrerfahrung besaßen. Die gerade gelernten Strategien umzusetzen mag daher die kognitive Kapazität der Tutoren stark beansprucht haben. Obwohl die trainierten Tutorinnen und Tutoren mehr Informationen von ihrer Tutandin bzw. ihrem Tutanden gewannen, waren sie in der Folge möglicherweise nicht in der Lage, diese Informationen angemessen zu verarbeiten. Auf diese Weise kann erklärt werden, warum ein interaktiverer Tutoringstil nicht zu genaueren summativen Diagnosen führte. Eine Konsequenz, die aus dieser Interpretation gezogen werden kann, wäre es, das Design des Trainings abzuwandeln. Genauer gesagt, könnten die Tutorinnen und Tutoren die von ihrer Tutandin bzw. ihrem Tutanden gewonnenen Informationen möglicherweise besser verarbeiten, wenn sie die Strategien formativen Diagnostizierens intensiver während der Trainingsphase übten. Zusätzlich könnte das Design der Studie verändert werden, die durchgeführt worden war, um die Trainingseffekte zu analysieren. Spezifischer, würde die Informationsverarbeitung der Tutorinnen und Tutoren möglicherweise auch verbessert, wenn die summative Diagnose später erfolgte und wenn die Tutorinnen und Tutoren so die Gelegenheit erhielten, die Strategien formativen Diagnostizierens während mehrerer realer Tutoringsitzungen zu üben. Im Ergebnis überträfen die trainierten Tutorinnen und Tutoren die untrainierten eventuell tatsächlich darin, das Verständnis ihrer Tutandin bzw. ihres Tutanden summativ genau zu diagnostizieren. Durch die Analyse der Diagnosen von Tutorinnen und Tutoren trägt diese Dissertation dazu bei, die dem Tutoring zugrunde liegenden Mechanismen zu verstehen. Die Ergebnisse der Dissertation können weiterhin dazu dienen, Tutoring noch effektiver zu machen. Die Dissertation bietet somit einen wesentlichen Einblick in das Feld effektiver Instruktion