Digital Dashboards for Summative Assessment and Indicators Misinterpretation: A Case Study

Over the last decade, teachers in France have been increasingly pressured to use digital learning environments, and to shift from grade-based to skill-based assessment. Educational dashboards, which measure student input electronically, could foster such a transition by providing insights into learners’ performances. However, such dashboards could also foster data misinterpretation during the summative assessment process, should the indicators that they display be used without a proper understanding of what they reflect. This article presents a methodology to detect potential mistakes in the interpretation of the indicators in the context of inquiry-based learning. During the design of a learning environment, we analyzed, through analytics and classroom observations in primary and middle schools, the issues that could arise from the use of a dashboard. Our data suggest that the amount of information practitioners needed to collect to make indicators relevant was burdensome, making the dashboard unfit for assessment purposes at the scale of a classroom.Au cours de la décennie écoulée, les enseignants de France ont été de plus en plus poussés, d’une part, à adopter l’évaluation par compétences, et d’autre part, à utiliser des applications numériques. Les tableaux de bord qui mesurent les actions des utilisateurs de ces applications peuvent faciliter cette transition en apportant des indications sur les performances des apprenants. Néanmoins, dans une perspective d’évaluation sommative, une question se pose quant à la capacité des enseignants à interpréter correctement les indicateurs mis à leur disposition. Cet article présente une étude de cas à visée méthodologique qui a pour objectif d’identifier de potentiels problèmes d’interprétation d’indicateurs lors de l’évaluation d’une démarche d’investigation. Durant la conception d’une application numérique, le CNEC, nous avons analysé, par le moyen de traces d’interaction et d’une étude de terrain au collège et à l’école primaire, les éléments susceptibles d’affecter l’utilisation d’un tableau de bord. Nous montrons que la quantité de données à collecter pour rendre pertinent l’usage des indicateurs rend leur utilisation compliquée dans un contexte d’évaluation sommative à l’échelle d’une classe entière

Instrumentation numérique de la rédaction incrémentale : leçons tirées de la mise à l’épreuve du carnet numérique de l’élève chercheur

We studied how the introduction of the CNEC, a learning environment whose function is to foster iterative writing, affected the interactions between pupils and teachers in a sample of elementary and middle schools. Based on class observations and focus groups and through the lens of activity theory, we study the difficulties associated with the implementation of iterative writing, before and after the introduction of the CNEC. Our results corroborate the hypothesis that digital artifacts can improve the regulation of class activity in the context of inquiry-learning, compared to their paper equivalents. Parallelly, our results suggested that the perception students had of their own mistakes seems to change in a context of iterative writing, since the remarks of the teacher on such mistakes are less considered as a punishment. Observations also suggested that new contradictions could arise of the will of teachers to use both paper-based and digital artifacts to perform iterative writing, and due to the increased time the formulation of feedbacks requires. Keywords: iterative writing, evaluation, virtual learning environmentDans une perspective d’évaluation d’EIAH (environnements informatiques pour l’apprentissage humain), nous étudions dans cette recherche les changements de pratiques d’enseignement liés à l’utilisation, en contexte scolaire, du CNEC (carnet numérique de l’élève chercheur), une application numérique instrumentant la rédaction incrémentale entre l’enseignant et les élèves. Au prisme du concept de contradiction développé dans la théorie de l’activité d’Engeström, nous cherchons à appréhender les difficultés associées à la rédaction incrémentale. Pour cela, nous avons mené des groupes de discussion et des observations en classe, avant et après l’introduction de l’application. Nos résultats corroborent l’hypothèse selon laquelle, dans un contexte de démarche d’investigation, l’instrumentation numérique de cette approche permet de mieux réguler l’activité des élèves que l’instrumentation papier. Par ailleurs, les entretiens collectifs révèlent que le rapport que les élèves entretiennent aux erreurs s’en trouve modifié, la correction de celles-ci étant moins considérée comme une sanction. La nécessité pour l’enseignant d’investir davantage de temps dans la formulation des retours ainsi que la multiplication des instruments, avec une redondance partielle entre instruments papier et instruments numériques, permettent de croire que de nouvelles contradictions pourraient émerger avec l’utilisation d’un tel EIAH. Mots-clés : rédaction incrémentale, EIAH, évaluation, numériqu

Utilisation de tableaux de bord numériques pour l’évaluation des compétences scolaires : une étude de cas

Au cours de la dernière décennie, deux injonctions se sont intensifiées au niveau du système scolaire français : utiliser davantage le numérique en classe d’une part, et développer « l’approche par compétences « d’autre part. Les tableaux de bord associés à des artefacts numériques ont été utilisés dans de nombreux contextes éducatifs, et se situent à la confluence de ces deux injonctions. Nous explorons au prisme de la théorie de l’activité d’Engeström les contradictions qu’induirait l’introduction d’un tel artefact dans les pratiques d’évaluation des compétences scolaires. La contribution est fondée sur une étude de cas, la conception d’une application numérique instrumentant la démarche d’investigation. Des entretiens collectifs fondés sur des maquettes sont menés avec un panel d’enseignants. Soit le coût temporel de l’appropriation du tableau de bord est jugé trop élevé pour permettre une application, soit il y a dévolution à l’artefact d’une partie trop importante du diagnostic, grâce à l’interopérabilité croissante entre outils d’évaluation. Aveugles aux caractéristiques des élèves et aux spécificités des situations didactiques, les applications risquent de produire des diagnostics aberrants.Over the course of the last decade, teachers have been increasingly pressured to use digital artefacts in the classroom, and to shift from grade-based assessment to skill-based assessment. Dashboards have been used in various educational settings; they could help bridge the gap between these two expectations. Based on Engeström’s activity theory, we explore the contradictions that could rise if educational dashboards were to be used in an evaluation context. This article is based on a case study, the design of an application. Collective semi-structured interviews based on dashboards’ mock-ups were conducted with a panel of teachers from both elementary and middle school. Either the additional time required to deepen the evaluation is too high to enable the use of the dashboard, or the teacher would rather save time by relying heavily on the diagnostic abilities of the application. Given that the artefact is blind to the characteristics of both the didactic situation and of the learners, the dashboard is likely to produce incoherent diagnostics

Rapport scientifique de synthèse de la recherche Cahier numérique de l'élève chercheur (CNEC)

Le texte qui suit est fondé sur un travail collectif mené pendant 3 années au sein du projet EFRAN Les savanturiers du numérique

Méthodes mixtes en éducation : stratégies concomitantes et transformatives

Ce billet fait partie d'une série d'articles sur les méthodes mixtes en éducation. La lecture des articles précédents est nécessaire pour comprendre le billet du jour, consacré aux stratégies concomitantes et transformatives, deux formes de méthodes mixtes. Stratégie concomitante avec étayage réciproque Dans le design concomitant avec étayage réciproque (concurrent with triangulation, pour les anglo-saxons), l’objectif est de confirmer, de corroborer, de réaliser une validation croisée des r..

Stratégies d'analyse et fouille de données éducatives : des modèles pour guider le travail de fouille

Je vous propose aujourd'hui de nous attarder sur deux éléments : la "distillation de données pour le jugement humain", et la fouille médiée par des modèles. Cet article s'inscrit dans une série de billets consacrés aux techniques d'analyse en Educational Data Mining (fouille de données éducatives). La lecture des articles précédents est nécessaire pour mieux comprendre la démarche. Data distillation for Human Judgement Dans certains cas, les humains peuvent faire des inférences à propos des ..

Les grandes lignes de ma thèse sur les MOOC

Il y a quelques billets, je vous ai présenté mes questions de recherches. Il est temps maintenant de vous présenter les grandes orientations méthodologiques de mon travail, les données que je compte mobiliser, et tout le tintouin. Les quelques données sur lesquelles se base l’article de Koller et al. (2013) que nous évoquions l'autre fois - article fondateur s'il en est - ouvrent des pistes pour mieux appréhender la question des faibles taux de certification des MOOC, mais elles sont fragment..

Numériques pédagogiques

Ce carnet de recherche porte sur l'utilisation du numérique à des fins pédagogiques aux différents niveaux du système éducatif. Il traitera aussi bien de l'apprentissage en ligne via les MOOC, ou Massive Open Online Courses, que de l'utilisation du numérique en classe pour l'enseignement de la démarche scientifique. La recherche sur les MOOC s'inscrit dans le champ des sciences de l'éducation, à l'intersection de la sociopédagogie de l'autoformation et de l'étude des EIAH, ou Environnements I..

L'origine des confusions autour du terme MOOC

Bon, allez, malgré ce que je vous ai dit l’autre fois, je vous propose dans un petit billet de revenir sur les origines du terme MOOC. L’impact médiatique du phénomène (Bulfin, 2014 ; Kovanovic, 2015), notamment sur les réseaux sociaux (Shen & Kuo, 2015 ; Zhang, 2015), son appropriation par de multiples acteurs et l’évolution constante des dispositifs n’ont pas manqué de jeter un certain flou quant à la définition de l’objet. Le succès qu’ont rencontré les MOOC à partir de 2012 a conduit à de..

Modélisation du décrochage en formation : les origines

Dans les années 1970 outre-Atlantique, la recherche sur la question des formes d'attrition à l'université évolue rapidement. On cherche à développer des modèles de causalité et à dépasser l'approche descriptive. Je vous propose aujourd'hui de revenir sur ces travaux, en concluant notamment sur leur application au contexte de la formation à distance. Comme le souligne Tinto (2006), lorsque la question de la rétention dans l’enseignement supérieur commence à prendre de l’importance dans la lit..