ÉLABORATION ET ÉVALUATION DES RAPPORTS DIAGNOSTIQUES DES DONNÉES DU PIRLS 2011: PERCEPTIONS DES ENSEIGNANTS AU PRIMAIRE, DES CONSEILLERS PÉDAGOGIQUES ET DES ORTHOPÉDAGOGUES

La demande croissante pour des évaluations à grande échelle s’accompagne d’une forte pression pour rendre ces évaluations plus informatives sur l’apprentissage des élèves. Or, ces évaluations fournissent les résultats des élèves sous forme de scores globaux et de sous-scores, ce qui renseigne peu sur leurs forces et faiblesses. Par ailleurs, les recherches en approche diagnostique cognitive suggèrent qu’il est possible de décomposer la lecture en connaissances et habiletés possibles à diagnostiquer grâce à des modélisations psychométriques. Des épreuves à grande échelle ont donc le potentiel de fournir aux enseignants des rapports diagnostiques contenant des rétroactions détaillées sur les forces et les faiblesses des élèves. Cet article décrit l'élaboration de rapports diagnostiques à partir des données du PIRLS 2011 avec un panel d'experts et rapporte les résultats de l’évaluation de ces rapports auprès d’enseignants au primaire, de conseillers pédagogiques et d’orthopédagogues

Evidencia de validez de dos escalas de medición relacionadas con la profesión docente

O presente estudo visa analisar duas escalas de medida associadas ao engajamento no trabalho de professores quebequenses em início de carreira – a satisfação no trabalho e a autoeficácia profissional, bem como examinar as propriedades psicométricas do instrumento utilizado. Análises de Rasch foram desenvolvidas para estudar as duas referidas escalas, assim como o efeito do gênero e do nível de ensino nas variáveis em análise, utilizando amostra de 184 novos professores. As escalas em estudo apresentam unidimensionalidade e independência local, resultados que indicam bom ajustamento dos dados aos dois modelos. No entanto, uma maior quantidade de itens é necessária para melhor estimar a localização das pessoas nas escalas de medida, sobretudo no que tange à autoeficácia profissional.Cette étude vise à analyser deux échelles de mesure associées à l'engagement dans le travail des enseignants québécois en début de carrière – la satisfaction au travail et l'autoefficacité professionnelle – ainsi qu'à examiner les propriétés psychométriques de l'instrument utilisé. Des analyses de Rasch ont été développées pour étudier les deux échelles mentionnées ainsi que l'effet du genre et du niveau d'éducation sur les variables analysées, en utilisant un échantillon de 184 enseignants en début de carrière. L'unidimensionnalité et l'indépendance locale ont été respectées dans le cas des deux échelles à l’étude et les résultats indiquent une bonne adéquation des données aux deux modèles. Cependant, une grande quantité d'éléments est nécessaire pour mieux estimer la position des personnes sur les échelles de mesure, notamment en ce qui concerne l'autoefficacité professionnelle.  This study aims to analyze two measures associated with the work engagement of early-career teachers in Quebec, namely job satisfaction and professional self-efficacy, as well as to examine the psychometric properties of the instrument used. Rasch analysis was performed to study the two measurement scales and the effect of gender and education level in the variables analyzed, using a sample of 184 novice teachers. Unidimensionality and local independence were respected for both scales under study and the results show good adjustment of the data to the two models. However, a larger number of items is needed to better determine where people lie on the scales, particularly with regard to professional self-efficacy.El presente estudio tiene como propósito analizar dos medidas asociadas con el compromiso laboral de docentes al inicio de su carrera en Quebec – satisfacción en el trabajo y autoeficacia – y examinar las propiedades psicométricas del instrumento utilizado. Se realizaron análisis mediante el modelo de Rasch para estudiar las dos escalas de medición mencionadas, así como el efecto del género y del nivel de educación en las variables analizadas utilizando una muestra de 184 docentes al inicio de su carrera. La unidimensionalidad y la independencia local fueron respectadas para las dos escalas de estudio y los resultados muestran el ajuste adecuado de los datos a los dos modelos. Sin embargo, se necesita una gran cantidad de ítems para estimar mejor la ubicación de las personas en las escalas, en particular respecto a autoeficacia profesional

Un portrait de la santé psychologique des enseignants du collégial durant la pandémie de COVID-19

Dans le contexte particulier de la pandémie de COVID-19 pour les enseignants, il est essentiel de s’intéresser à la santé psychologique de ces derniers, compte tenu de tous les bouleversements qu’ils ont vécus. La recherche dont traite cet article vise à comprendre les états affectifs et émotionnels témoignant de la santé psychologique des enseignants du collégial à travers leurs tâches durant la pandémie. Menée à l’automne 2020, la recherche a poursuivi deux objectifs spécifiques : 1) tracer un portrait de la santé psychologique des enseignants, en tenant compte des manifestations positives de bien-être et négatives de détresse psychologique liées au contexte de travail et 2) décrire les sentiments qu’éprouvent les enseignants, selon leur genre et leurs habiletés avec la technologie. De type exploratoire, la recherche a utilisé des analyses quantitatives et qualitatives pour dresser un portrait détaillé du sujet étudié. Au total, 148 enseignants québécois francophones provenant du milieu collégial ont répondu, sur une base volontaire, à un questionnaire en ligne autoadministré. Les résultats quantitatifs mettent en évidence la prédominance des sentiments positifs par rapport aux sentiments négatifs vécus par les enseignants, ainsi que les différences liées à leur état de santé psychologique selon leur genre et leur habileté avec la technologie. Les résultats qualitatifs, quant à eux, permettent d’approfondir les réflexions des enseignants sur certains aspects de leur santé psychologique. Finalement, l’étude fournit des pistes d’action adaptées à certains éléments vécus par les enseignants afin de favoriser leur santé psychologique.In the unique context of the COVID-19 pandemic for teachers, it is essential to address their psychological health because of all the upheaval they experienced. The research discussed in this article aims to understand the affective and emotional feelings that make up the psychological health of college teachers through their teaching tasks during the pandemic. The research was conducted in the fall of 2020 in order to pursue two specific objectives : 1) to draw a portrait of teachers’ psychological health, taking into account positive manifestations of well-being and negative manifestations of psychological distress related to the work context and 2) to describe the feelings that teachers experience, taking into account their gender and their skills with technology. The research was exploratory in nature and used both quantitative and qualitative analyses to provide a detailed picture of the subject matter. A total of 148 French-speaking Quebec college teachers voluntarily responded to a self-administered online questionnaire. The quantitative results highlight the preponderance of positive versus negative feelings experienced by the teachers, as well as differences in their psychological health according to their gender and their ability with technology. The qualitative results, for their part, allow us to deepen the teachers’ reflections on certain aspects of their psychological health. Finally, the study provides avenues for action adapted to certain aspects experienced by the teachers in order to promote their psychological health

Panorama des programmes actuels d’enquêtes à large échelle

L’objet du premier article de ce numéro spécial est de présenter les caractéristiques relatives à la population visée, à la fréquence de passation et aux types de données récoltées dans douze programmes d’enquêtes à large échelle. Les objectifs des versions les plus récentes de ces programmes sont détaillées ainsi que la manière dont les disciplines sont évaluées.The objective of the first article in this special issue is to present characteristics for target population, frequency of administration and data collected in twelve large-scale assessment programs. Relatively to the latest versions of these programs, objectives and the ways disciplines are assessed are presented with deeper details.O objetivo do primeiro artigo deste número especial é o de apresentar as características relativas à população visada, à frequência de administração e aos tipos de dados recolhidos em doze programas de inquéritos em grande escala. Os objetivos das versões mais recentes destes programas são detalhados, bem como a maneira através da qual as disciplinas são avaliadas

Et si la validation était plus qu’une suite de procédures techniques ?

En éducation, de nombreuses études portent sur la validation d’instruments de mesure, tels que des questionnaires ou des instruments d’évaluation. La revue Mesure et évaluation en éducation en publie d’ailleurs chaque année. Ces études peuvent être globalement classées en deux catégories : d’une part, celles dans lesquelles les procédures psychométriques, comme une analyse factorielle ou l’application d’un modèle de la théorie de réponses aux items (p. ex., le modèle de Rasch), constituent en elles-mêmes la démarche de validation ; d’autre part, celles dans lesquelles le recours à un panel d’experts pour concevoir l’instrument semble suffire à garantir sa validité. Cet article tente de montrer qu’il est nécessaire de faire reposer une démarche de validation sur un argumentaire basé sur des preuves de natures quantitative et qualitative, en proposant deux modèles qui, combinés, sont propres à guider la formulation des arguments pour soutenir la validation d’un instrument d’évaluation. L’idée est de contrer le fait que si l’on ne comprend pas ce qu’on essaie de montrer, le risque d’avoir des arguments peu utiles est grand.Many studies in the field of education focus on the validation of testing instruments, such as questionnaires or assessment instruments. Indeed, such studies are published each year in the journal Mesure et évaluation en éducation. These studies can be classified in two broad categories: on the one hand, those in which psychometric procedures (e.g. factor analysis or Item Response Theory model like the Rasch model) constitute, in and of themselves, the validation process; and on the other hand, those in which relying on an expert panel to develop the instrument is seemingly enough to ensure validity. This article aims to show the necessity of using an argument-based validation process with quantitative and qualitative evidence by proposing two models which can be combined to help formulate arguments supporting the assessment instrument validation. The idea is to address the fact that if we do not understand what we are trying to demonstrate, the arguments are likely to be of little use.Em educação, muitos estudos abordam a validação de instrumentos de medição, como questionários ou instrumentos de avaliação, que, de resto, a revista Mesure et évaluation en éducation tem publicado todos os anos. Estes estudos podem ser globalmente classificados em duas categorias: por um lado, aqueles em que os procedimentos psicométricos, como a análise fatorial ou a aplicação de um modelo de teoria da resposta ao item (por exemplo, o modelo de Rasch), constituem em si o processo de validação; por outro lado, aqueles em que o recurso a um painel de especialistas para conceber o instrumento parece ser suficiente para garantir a sua validade. Este artigo tenta mostrar que é necessário basear um processo de validação sobre um argumentário sustentado em evidências de natureza quantitativa e qualitativa, propondo dois modelos que, combinados, são capazes de guiar a formulação de argumentos para apoiar a validação de um instrumento de avaliação. A ideia é contrariar o facto de que, se alguém não entende o que está a tentar mostrar, o risco de ter argumentos pouco úteis é grande

2010, odyssée des modèles de classification diagnostique (MCD)

Cet article vise à définir les modèles de classification diagnostique (MCD) et à déterminer leur place relativement à d’autres modélisations existantes comme la TRI. Les modèles RSM, DINA et NC-RUM sont exposés plus en détail. Pour terminer, une analyse critique débouche sur des pistes de recherches théoriques et empiriques.This paper gives a definition of diagnostic classification models (DCM) and purport to compare these models to models that may be more familiar like IRT. The RSM, DINA and NC-RUM models are examined in more depth. This paper is including a critical analysis and many theoretical and empirical research avenues.Este artigo pretende definir os modelos de classificação diagnóstica (MCD) e determinar o seu lugar relativamente a outras modelizações existentes, como é o caso da TRI. Os modelos RSM, DINA e NC-RUM são apresentados mais em detalhe. O artigo termina com uma análise crítica que aponta pistas para investigações teóricas e empíricas

Quelques nouveaux modèles de mesure

La combinaison de la psychométrie et de la psychologie cognitive engendre de nouveaux modèles de mesure. Ceux-ci permettent d’établir le portrait de sujets ayant passé un test relativement à une liste d’attributs cognitifs. Cet article présente une comparaison de cinq modèles qui allient la vision psychométrique à la vision cognitive. Les comparaisons portent sur l’étude de la qualité des attributs cognitifs posés a priori, sur les caractérisations des sujets, sur la possibilité d’appliquer les modèles et d’interpréter les résultats et sur les notions de validité et de fidélité.New measurement models can be generated through the combination of psychometrics and cognitive psychology. Following a test, these models permit the creation of student portraits in relation to specific cognitive abilities. This paper presents a comparative examination of five models that link both psychometric and cognitive views. Comparisons are made in several areas, including the validity and reliability of the models, as well as how interpretable the results are, how the quality of the attributes is studied a priori, and how students are characterized.A combinação da psicometria e da psicologia cognitiva gera novos modelos de medida. A partir de um teste, estes modelos permitem traçar o retrato dos sujeitos, relativamente a uma lista de atributos cognitivos. Este artigo apresenta uma comparação de cinco modelos, que aliam a visão psicométrica à visão cognitiva. As comparações incidem no estudo da qualidade dos atributos cognitivos a priori, nas caracterizações dos sujeitos, na possibilidade de aplicar os modelos e de interpretar os resultados e, ainda, nas noções de validade e de fidelidade

La validité psychométrique : un regard global sur le concept centenaire, sa genèse, ses avatars

International audienceDepuis Alfred Binet, qui, sans parler de validité, présentait toutefois une conception pragmatique, utilitaire et empirique de la pertinence d’un test, le concept de validité est né et a beaucoup évolué. À partir d’une perspective historique du concept de validité psychométrique, cet article vise à en explorer de manière critique quelques facettes afin de dégager les différentes orientations définitionnelles, sans perdre de vue les démarches d’opérationnalisation qu’on leur associe

La validité psychométrique : un regard global sur le concept centenaire, sa genèse, ses avatars

Depuis Alfred Binet, qui, sans parler de validité, présentait toutefois une conception pragmatique, utilitaire et empirique de la pertinence d’un test, le concept de validité est né et a beaucoup évolué. À partir d’une perspective historique du concept de validité psychométrique, cet article vise à en explorer de manière critique quelques facettes afin de dégager les différentes orientations définitionnelles, sans perdre de vue les démarches d’opérationnalisation qu’on leur associe.Since Alfred Binet, who, without mentioning validity explicitly, presented a pragmatic, utilitarian and empirical vision of the relevance of tests, the concept of validity of psychological tests has greatly evolved. In a historical perspective on the concept of psychometric validity, this paper aims to explore various facets in order to identify their wide definitional orientations, without ignoring the operational procedures on which they are based.Depois de Alfred Binet, o qual, sem falar da validade, apresentou uma conceção pragmática, utilitária e emprírica da pertinência de um teste, o conceito de validade nasceu e evoluiu significativamente. A partir de uma perspetiva histórica do conceito de validade psicométrica, este artigo visa explorar criticamente várias facetas para identificar as diferentes orientações definicionais, sem perder de vista os procedimentos de operacionalização nos quais se baseiam