Do teacher differ?:An explorative study on the individual differences in development of teaching

Onderzoek naar het International Comparative Analysis of Learning and Teaching (ICALT) observatie protocol stoelt op de hypothese dat vaardigheid in lesgeven zich cumulatief ontwikkeld. In dit onderzoek wordt ingegaan op de vraag of dit cumulatieve patroon wel past bij iedere docent. Voor het onderzoek zijn 198 lesobservaties verzameld van 69 leraren. Met behulp van Person Fit statistieken is geanalyseerd hoeveel van de geobserveerd lessen afwijkt van het verwachte patroon. Uit de resultaten blijkt dat 15% van de lessen niet past binnen het cumulatieve patroon, maar ook dat afwijkende lessen niet uniek zijn voor een select groepje leraren. Het lijkt daarom dat het cumulatieve patroon voor de meeste leraren wel klopt, maar dat incidentele lessen kunnen afwijken

Teacher evaluation through observation:Application of classroom observation and student ratings to improve teaching effectiveness in classrooms

De ene les is de andere niet Meer en meer scholen voeren jaarlijks gesprekken met hun leraren over de kwaliteit van hun lessen. Deze evaluatiegesprekken zijn, als het goed is, gebaseerd op lesbezoeken. Vaak brengt alléén een teamleider één hooguit twee keer per jaar een lesbezoek aan de leraren. Dat is te weinig om betrouwbaar te kunnen vaststellen hoe goed een leraar lesgeeft. Het proefschrift waarop Rikkert van der Lans op 15 mei a.s. promoveert, maakt duidelijk dat de ene les de andere niet is en dat verschillende beoordelaars verschillen in hun oordeel over dezelfde les. Om tot een betrouwbaar en enigszins representatief oordeel over de pedagogisch didactische vaardigheden van een leraar te komen, is één lesbezoek te onbetrouwbaar en zijn er volgens Van der Lans minimaal vier lesbezoeken nodig van bij voorkeur verschillende observatoren. Dit en andere issues rondom de betrouwbaarheid van observeren met lesgedrag komen aan de orde in dit proefschrift. Informatie over het proefschrift ‘Teacher evaluation through observation’ is op te vragen bij [email protected]

The use of secondary school student ratings of their teacher’s skillfulness for low-stake assessment and high-stake evaluation

Previous studies in higher education have shown that the reliability of student ratings of teaching skill increases if multiple ratings by different students are aggregated. This study examines the generalizability of these findings to the context of secondary education. Also, it seeks to validate these findings by comparing reliability levels estimated by the routinely used nested design with those estimated using a more complex design. The sample consisted of 410 students from 17 classes rating 63 teachers working at eight schools across the Netherlands. Using the nested design, the study replicates findings of previous studies in higher education. The findings illustrate how the reliability level of secondary school students’ ratings increases with an increasing number of students. However, these replicated reliability levels were not validated by the more complex design which provided lower estimates. This indicates that the nested design may not provide accurate estimations of rating reliability

On the "association between two things":the case of student surveys and classroom observations of teaching quality

This study examines the association between two measures of teaching effectiveness—a student survey measure and a classroom observation measure—to determine whether their correlation depends on the study design. The sample includes 160 classroom observations of 56 teachers across 15 classes, in which students also rated the teachers with a survey. Dependencies are examined using generalizability theory. Results suggest that the correlation between the survey and observation measures depends on the number of classroom observations, the number of student ratings, and whether the designs are nested or partially nested. The effect is substantial: Predicted correlations range between 0.10–0.80 for the same variables with different study designs. In particular, the number of classroom observations has a notable influence, such that across all investigated scenarios, the correlation doubles when observers visit three lessons instead of one. Correlations also tend to be positively biased when research designs are nested