A mata-analysis of confidence degrees expressed in words

peer reviewedDemander aux étudiants d’accompagner chacune de leurs réponses à un test par un degré de certitude est une pratique encore assez rare. La majorité des enseignants qui la découvrent utilisent spontanément une échelle verbale. Mon hypothèse est que cela revient à introduire, dès le départ, une énorme erreur aléatoire de mesure car il existe de grandes variations interindividuelles dans l’interprétation (la traduction) en pourcentages des mots de l’échelle verbale, comme je l’ai montré (Leclercq, 2016) par deux expériences, l’une hors contexte et l’autre en contexte. Une grande convergence entre ces deux études apparaît quant à l’épaisseur du brouillard communicationnel introduit par des mots pour exprimer des valeurs qui pourraient / devraient l’être en pourcentages (de 0% à 100%). Les Marges de variation (MV) des « traductions » de mots (tels que « peu sûr », « sûr », « très sûr », etc.) en % ont une valeur modale de 40% et les écarts-types une valeur comprise entre 10% et 15%. Mon hypothèse est donc confortée par ces deux expériences, mais qu’en est-il dans la littérature ? Dans une première partie du présent article, une révision de la littérature « à charge », appelée mata-analyse, accumule des données allant dans le sens de l’hypothèse. Dans une deuxième partie sont mises en évidence les valeurs numériques les plus fréquemment utilisées par les répondants dans différentes recherches de traduction mots – pourcentages, ainsi que les valeurs qui seraient optimales non seulement en termes de préférecnes des répondants mais surtout en termes de la précision (ou granularité) maximale qui reste fiable (ou « fidèle » en termes de répétabilité dans un court intervalle de temps).Asking to students to add a confidence degree to each of their responses to a test is rather rare, and the large majority of those who practice that use verbal scales such as “weakly sure”, “sure”, “strongly sure”, etc. instead of probabilities or percentages of chances. My hypothesis is that consists in introducing, from the beginning, an enormous random error of measurement since there exist large differences in the interpretation (the translation) into percentages of the word used in verbal scales. I demonstrated this in two experiences (Leclercq, 2016), one in context and one context free. A strong convergence appear in the results of the two experiences in terms of communicational fog produced by words in place of percentages (from 0% to 100%). Variation Ranges (VR) of translations of words into percentages have a modal value of 40% and standard deviations (SD) from 10% to 15%. Therefore my hypothesis is confirmed by these two experiences, but what does the specialized literature say? In a first part of the present article I have browsed many reviews and books with the purpose to find data that contribute to fight (and kill ?) this habit of using words instead of percentages to express confidence degrees. Therefore I have named my method a “mata” analysis (matar meaning “to kill” in Spanish), that is distinct from meta-analysis, as will be shown. In the second part of the article, I underline data that help approach what could be the optimal number of numerical degrees (and their exact values) not only in terms of students’ preferences, but mainly in terms of the reliability (measured but the repeatability criterion, i.e; stability in a short period of time) of the declared confidence

Grados de certeza y docimologia. Como calificar chap 17 de IDEAS p. 357-386

editorial reviewedGrados de certeza y docimologia: como notar Denuncia varios sistemas de cotejo inapropiados y la importancia (impredecible) de tener en cuanto el realismo (de las respuestas acertinadas) y Como verificarlo. Sobrestimación y resolución (Discriminación y lucidez). Pauta innovadora de cotejo basada en grados de certeza

Metacognicion y Tests Espectrales Metacognitivos cap 9 de IDEAS p. 171-186

editorial reviewedMeta cognición y Test Espectral Meta cognitivo (TEM) Medir capacidades como la vigilancia cognitiva, el espíritu critico, la auto-evaluación (y la meta cognición) y el desarrollo epistemológico que combina PSM con SGI (cap. 13, 14 y 15), grados de certeza (cap. 15 y 16), debate y reflexión meta cognitiva

Pour une pédagogie universitaire de qualité

La formation universitaire est aujourd’hui au cœur de l’actualité. Caractère massif des échecs, remise en cause des finalités et des méthodes, émergence de formules basées sur les technologies de l’information et de la communication. Des spécialistes de diverses universités ont contribué à apporter des réponses à ces questions. Ainsi, l’enseignement universitaire est associé, dans les esprits, à l’image d’un seul enseignant parlant à des centaines d’étudiants regroupés dans un même amphithéâtre. Or le cours ex cathedra est loin d’être la seule forme de relation pédagogique au niveau universitaire où sont aussi pratiquées des méthodes révolutionnaires. C’est le cas de l’Apprentissage Par Problèmes (APP) qui est ici détaillé par le pédagogue responsable de la question à la faculté de médecine de Maastricht. C’est aussi le cas pour le Système Adulte de Formation et d’Evaluation (SAFE) ou des méthodes mettant en œuvre des projets créatifs et coopératifs. Ces innovations sont détaillées dans leur fonctionnement ; leurs principes sous-jacents sont explicités. La question plus sociologique de la démocratisation des études universitaires est éclairée par les travaux récents menés dans plusieurs universités de la Communauté Française de Belgique. Les méthodes de travail des étudiants et les recherches sur la métacognition donnent au volet « apprentissage » la place centrale qu’il doit avoir dans le débat. L’apport des technologies à la pédagogie universitaire est traité par des spécialistes qui évoquent leur expérience quotidienne. Enfin, un chapitre est consacré à l’évaluation des enseignements par les étudiants. Bref, des facettes multiples illustrées et traitées par des regards venus de plusieurs horizons. Une mise au point démontrant que « l’avenir ne se prédit pas, mais il se construit et l’Histoire, pour se faire, a besoin des hommes ». Ils sont ici interpellés par des enseignants-chercheurs en marche