Measuring and investigating secondary education teachers’ professional vision of inclusive classrooms through video-based comparative judgement

Leerkrachten worden uitgedaagd hun klaspraktijk aan te passen aan leerlingen hun diverse vaardigheden, interesses, achtergronden en motivaties. De diversiteit in klaslokalen wordt nog intenser gegeven de context van een wereldwijde onderwijsevolutie naar meer inclusieve leeromgevingen. Dit proefschrift hanteert een brede definitie van 'inclusie' die verwijst naar het tegemoetkomen aan de behoeften van alle leerlingen voor wie eerlijke onderwijskansen een uitdaging zijn. In dit proefschrift stellen we dat leerkrachten hun situatie-specifieke vaardigheden (d.w.z., perceptie, interpretatie en beslissingsvermogen) de kern vormen van hun competentie om onderwijs inclusief af te stemmen op de diverse sterktes en behoeften van leerlingen. Dit proefschrift focust zich in het bijzonder op leerkrachten hun professionele visie van inclusieve klassen als een situatie-specifieke vaardigheid. Professionele visie wordt gedefinieerd als het vermogen om inclusieve klassituaties op te merken en deze vervolgens te interpreteren. In onderwijskundige literatuur werd het concept professionele visie nog niet toegepast op inclusieve klassituaties. Er is bijgevolg ook geen meetinstrument om leerkrachten hun professionele visie op inclusieve klassen mee in kaart te brengen. Daarom had dit proefschrift tot doel om leraren hun professionele visie op inclusieve klassen te meten en onderzoeken. Enerzijds werd evidentie verzameld om de validiteit van een video-gebaseerd instrument te onderbouwen dat leerkrachten hun professionele visie meet op vlak van twee dimensies van effectieve inclusieve klassen: (1) positieve leerkracht-leerling interacties en (2) differentiatie. Het paarsgewijs vergelijken van video clips wordt wordt hierbij onderzocht als een holistisch en onbevooroordeeld alternatief voor gevestigde analytische meetmethoden die professionele visie kwantitatief in kaart brengen. Anderzijds werden leerkrachten hun paarsgewijze vergelijkingen van video clips in verband gebracht met hun overtuigingen over het lesgeven aan diverse leerlingen enerzijds en hun differentiatiepraktijk anderzijds. Op die manier trachtten we meer inzicht te krijgen in de wijze waarop professionele visie zich verhoudt tot andere aspecten van leerkrachten hun competentie om inclusief te werken. Hiertoe werden vier empirische studies opgezet: één mixed-method studie met experten (N=30) en 3 kwantitatieve studies met een steekproef van leerkrachten (N=360-400) uit het secundair onderwijs. Dit proefschrift verbreedt het methodologisch onderzoek omtrent kwantitatieve meetmethoden die professionele visie meten. De onderzoeksresultaten ondersteunen de validiteit van de paarsgewijze beoordelingsmethode om leerkrachten hun professionele visie op een holistische en onbevooroordeelde manier mee in kaart te brengen. De combinatie van paarsgewijze vergelijkingen van video clips om leerkrachten hun opmerkingsvermogen te meten met een analytische assessment van leerkrachten hun redeneringen over de vergelijkingen, zorgt ervoor dat de professionele visie van leerkrachten op een meer omvattende manier kan gemeten worden dan gevestigde video-gebaseerde kwantitatieve meetinstrumenten tot nu toe hebben gedaan. Daarnaast biedt dit proefschrift ook meer inzicht in leerkrachten hun competentie om inclusief te werken door hun professionele visie op inclusieve klassen in verbrand te brengen met andere competentie-aspecten zoals hun opvattingen over het lesgeven aan diverse leerlingen en hun differentiatiepratijk. De resultaten tonen aan dat leerkrachten hun opvattingen als filter werken op hun professionele visie en dat leerkrachten hun professionele visie ook gerelateerd is aan hun differentiatiepraktijk. De wijze waarop deze drie aspecten met elkaar in verband staan is echter complexer dan lineaire theoretische modellen suggereren. Op basis van de inzichten uit dit proefschrift zien we team-gebaseerde professionele ontwikkeling, dat gebruik maakt van video-reflectie, als een veelbelovende methode om leerkrachten hun competentie om inclusief te werken te versterkenNowadays, teachers are challenged to adapt their practice to heterogeneous abilities, interests, backgrounds, and motivations. The diversity in current-day classrooms is even intensified given the context of a global movement towards more inclusive learning environments. This dissertation adopts a broad definition of ‘inclusion’ that refers to catering to the needs of all students for whom equitable educational opportunities are challenging. This dissertation theorises that teachers’ situation-specific skills (i.e., perception, interpretation and decision-making), are at the core of teachers’ competence to inclusively attune teaching practices to diverse learner strengths and needs. This dissertation particularly focuses on teachers’ professional vision of inclusive classrooms as a situation-specific skill that encompasses teachers’ noticing of inclusive classroom events, and their ability to reason about these events. Since educational literature has not yet applied the concept of professional vision to the topic of teaching diverse learners in inclusive settings and since no measurement instrument exists to assess the concept, not much is known about teachers’ professional vision of inclusive classrooms. Therefore, the main goal of this dissertation was to measure and investigate teachers’ professional vision of inclusive classrooms. On the one hand, evidence was gathered to support the validity of a video-based instrument that measures teachers’ professional vision of two dimensions of effective inclusive classrooms: positive teacher-student interactions and differentiated instruction. In doing so, the method of comparative judgement is investigated as a more holistic and unbiased alternative for established analytical assessment approaches that measure teachers’ professional vision quantitatively. On the other hand, teachers’ video-based comparative judgements were related to their beliefs about teaching diverse learners and their differentiation practice. This provided more insight in teachers’ professional vision of inclusive classrooms as an aspect of teachers’ inclusive teaching competence. To this end, four empirical studies were set up: one mixed-method expert study (N=30) and three cross-sectional studies with a sample of secondary education teachers (N=360-400). This dissertation methodologically broadens the research base about video-based methods to measure professional vision quantitatively. Combining multiple sources of evidence supports the validity of video-based comparative judgement as a method to measure teachers’ professional vision of inclusive classrooms in a holistic and unbiased way. Combining video-based comparative judgement to measure teachers’ noticing with analytical rating items to measure reasoning, allows to measure teachers’ professional vision in a more comprehensive way than established video-based quantitative measurement instruments have done so far. This dissertation also advances our understanding of teachers’ inclusive teaching competence by investigating the way teachers’ professional vision of inclusive classrooms is related to other aspects of teacher competence such as dispositions (i.e., beliefs about teaching diverse learners) and classroom performance (i.e., differentiation practice). Results show that teachers’ professional vision is filtered by their beliefs and is related to their classroom practice. However, the interrelationship between these three aspects of teacher competence is more complex than linear theoretical models propose. Based on our research insights, we propose team-based professional development trajectories that involve video reflection as a promising approach to strengthen teachers’ inclusive teaching competence

Extreme multi-label skill extraction training using large language models

Online job ads serve as a valuable source of information for skill requirements, playing a crucial role in labor market analysis and erecruitment processes. Since such ads are typically formatted in free text, natural language processing (NLP) technologies are required to automatically process them. We specifically focus on the task of detecting skills (mentioned literally, or implicitly described) and linking them to a large skill ontology, making it a challenging case of extreme multi-label classification (XMLC). Given that there is no sizable labeled (training) dataset are available for this specific XMLC task, we propose techniques to leverage general Large Language Models (LLMs). We describe a cost-effective approach to generate an accurate, fully synthetic labeled dataset for skill extraction, and present a contrastive learning strategy that proves effective in the task. Our results across three skill extraction benchmarks show a consistent increase of between 15 to 25 percentage points in RPrecision@5 compared to previously published results that relied solely on distant supervision through literal matche