Achievement indicators and value added in secundary education:an in-depth investigation

ManagementsamenvattingAanleidingSinds 2012 werkt de Inspectie van het Onderwijs aan het vernieuwen van het opbrengstenmodel voor het VO. In overleg met het onderwijsveld is een begin gemaakt met de ontwikkeling van opbrengstindicatoren waarmee een betere indicatie van de toegevoegde waarde van VO-scholen verkregen kan worden dan nu het geval is. Als basis voor deze opbrengstindicatoren kunnen landelijke databestanden van individuele leerlingen dienen. Verder wil men de nieuwe opbrengstindicatoren voorzien van absolute normen, waarbij in het geval van een ongunstige leerlingpopulatie deze norm naar beneden kan worden bijgesteld. De aandacht voor het ontwikkelen van toegevoegde waarde indicatoren komt voort uit het regeerakkoord van Rutte I en Rutte II. De regering wil toewerken naar een kwaliteitsnorm voor scholen, waarbij een toegevoegde waarde indicator zwaarder mee zal wegen en bij de beoordeling van scholen zal op termijn meer gelet worden op toegevoegde waarde. Het begrip toegevoegde waarde heeft in het onderwijsveld geen eenduidige betekenis. In het huidige onderzoek wordt toegevoegde waarde gedefinieerd als de bijdrage van een school aan de eindprestaties van leerlingen, gegeven het aanvangsniveau van leerlingen. Daarbij is het van belang om zo veel mogelijk rekening te houden met kenmerken die de eindprestaties van leerlingen wel beïnvloeden maar waar de school geen invloed op heeft, zoals sociaal milieu van de leerling, samenstelling van de schoolpopulatie of de wijk waarin de school staat. Een goede meting van het beginniveau van leerlingen is essentieel. Het probleem van de Inspectie van het Onderwijs is dat ze meestal niet kan beschikken over een goede meting van het beginniveau van leerlingen in het voortgezet onderwijs. In het huidige opbrengstenmodel wordt daarom gewerkt met schoolgemiddelde proxies van het beginniveau (sociaal economische status, leerwegondersteuning en armoedeprobleemcumulatiegebied). Dit is een suboptimale oplossing die ongewenste consequenties kan hebben als VO-scholen onderling vergeleken gaan worden. In het beoogde opbrengstenmodel wordt gewerkt met individuele data van leerlingen. Hiermee kan potentieel het beginniveau van leerlingen beter geschat worden. Onduidelijk of met het beoogde model een goede indicatie van de toegevoegde waarde van een school kan worden verkregen. DoelenEr zijn drie doelen geformuleerd voor dit onderzoeksproject. Ten eerste is dat de validering van het beoogde opbrengstenmodel aan de hand van databestanden van het grootschalige VOCL’99 cohortonderzoek. Op basis van gedetailleerde informatie omtrent beginniveau wordt een toegevoegde waarde model gemaakt, gegeven de mogelijkheden die het VOCL’99 onderzoek daarvoor biedt. Hiermee kunnen de huidige en beoogde opbrengstindicatoren vergeleken worden. Het valideringsonderzoek richt zich op twee opbrengstindicatoren, te weten het bovenbouwrendement en het gemiddelde centraal examencijfer. Het tweede doel van dit project is het op landelijke schaal uitproberen van een beoogde nieuwe maat voor het onderbouwrendement en de ontwikkeling van toegevoegde waarde bepalingen van VO-scholen voor twee specifieke groepen leerlingen in het VO, namelijk de leerlingen die vanuit vmbo theoretische leerweg doorstromen naar havo en de leerlingen die vanuit vmbo basis- en kaderberoepsgerichte leerweg doorstromen naar het mbo. Het gaat hier om respectievelijk het doorstroomrendement en het externe rendement. De vernieuwing voor het onderbouwrendement betreft niet alleen in de beschikbaarheid van individuele data, maar ook de mogelijkheid om de berekeningen prospectief uit te voeren (uitgaan van leerlingen die in het eerste leerjaar van het VO zitten en deze twee jaar lang volgen in hun schoolloopbaan) in plaats van de huidige retrospectieve berekeningswijze (uitgaan van leerlingen in het derde leerjaar van het VO en informatie verzamelen over hun VO-schoolloopbaan tot nu toe). Het eerste en het tweede doel zijn in vier verschillende deelprojecten onderzocht. Het derde doel is het verkennen van de mogelijkheden of de verkregen informatie uit de grootschalige berekeningen ook ingezet kan worden voor een meer gedifferentieerd toezicht. De Inspectie van het Onderwijs streeft naar het maken van een onderscheid in drie groepen scholen: scholen met zwakke opbrengsten, scholen met voldoende opbrengsten maar met mogelijkheden tot verbetering en scholen met goede opbrengsten. Conclusies deelproject 1In deelproject 1 is de validering van het beoogde opbrengstenmodel met VOCL’99 data aan de orde. Er worden vier modellen onderling vergeleken door ze in een spectrum te plaatsen. Het ene uiteinde van het spectrum wordt gevormd door een model zonder correctie van het beginniveau en het andere uiteinde door een model waarin zo optimaal mogelijk voor het beginniveau en relevante achtergrondkenmerken van leerlingen is gecorrigeerd. Dit laatste wordt gedaan door de Cito-eindtoetsscore, etniciteit, sociaal economische status en sekse van de leerling in het model op te nemen. Omdat in dit optimale model zowel een goede meting van het beginniveau als relevante achtergrondkenmerken van leerlingen is opgenomen, is het optimale model te beschouwen als een model waarmee de toegevoegde waarde van een school kan worden bepaald. Onderzocht is waar het huidige en beoogde opbrengstenmodel geplaatst moeten worden in dit spectrum. In zowel het huidige als het beoogde model worden proxies voor het beginniveau van leerlingen opgenomen, zoals instroom in het derde leerjaar VO, armoedeprobleemcumulatiegebied (apcg) en leerwegondersteuning (lwoo). Het verschil tussen beide modellen is het niveau waarop deze proxies worden meegenomen; leerlingniveau of schoolniveau. Voor de bepaling van het bovenbouwrendement lijken de resultaten van de vier modellen sterk op elkaar. Desondanks is het beoogde model een betere keuze dan het huidige model, omdat het huidige model methodologisch minder sterk en de samenhang met de andere modellen het zwakst is. Voor het gemiddelde centraal examencijfer voor alle vakken zijn wel duidelijke verschillen tussen de modellen gevonden. Het huidige model lijkt sterk op een model zonder correctie en helemaal niet op het optimale model. Het beoogde model neemt een positie in tussen het huidige en optimale model, maar staat toch vrij ver af van het optimale model. Ook voor het gemiddelde centraal examencijfer kan het beste voor het beoogde model gekozen worden, maar men moet zich bedenken dat het hooguit een indicatie is van de toegevoegde waarde bepaling van een VO-vestiging is. Het streven naar toepassing van het optimale model uit dit project in de toezichtpraktijk lijkt vooralsnog minder belangrijk voor het bovenbouwrendement, dan voor het gemiddelde centraal examencijfer. Voor een goede benadering van de toegevoegde waarde van een VO-vestiging moeten de belangrijkste indicatoren voor individuele leerprestaties bij aanvang in ieder geval meegenomen worden in de modellen. Van de toegepaste correctiefactoren in het optimale model is de Cito-eindtoetsscore de belangrijkste. Dit kenmerk is inmiddels voor een ruime meerderheid van de Nederlandse leerlingen beschikbaar in landelijke onderwijsnummer-bestanden waar de Inspectie gebruik van kan maken. Hoewel veel leerlingen in de landelijke onderwijsnummer-bestanden nu nog geen eindexamen hebben gedaan, biedt dit wel perspectief voor de toekomst. Gebleken is verder dat het potentiële leervermogen (IQ) – een andere mogelijke belangrijke maat voor het aanvangsniveau – niet noodzakelijker wijze in het optimale model hoeft te worden opgenomen. Wat dit betreft kan men met de Cito-eindtoetsscore volstaan. Hiermee komt de haalbaarheid van het optimale model een stukje dichterbij.Conclusies deelproject 2In deelproject 2 is op twee manieren het onderbouwrendement van een vestiging berekend met individuele data van de meeste recente Bron-bestanden. De retrospectieve variant volgt zo veel mogelijk de huidige werkwijze van de Inspectie van het Onderwijs. De prospectieve variant zou de Inspectie van het Onderwijs in de toekomst toe kunnen passen, omdat inmiddels in de landelijke databestanden voldoende informatie van individuele leerlingen beschikbaar is. Een prospectieve werkwijze heeft in principe de voorkeur omdat de definitie van het begrip onderbouwrendement – het deel van de leerlingen in de eerste klas VO dat volgens verwachting doorstroomt naar de derde klas VO - een dergelijk werkwijze suggereert.Met de prospectieve werkwijze kan voor 75% van de VO-vestigingen het onderbouwrendement voldoende betrouwbaar berekend worden. Dat is 5% hoger dan voor de retrospectieve werkwijze. De samenhang tussen de twee varianten is vrij hoog, maar er is sprake van een klein, maar systematisch verschil. Op het vmbo basis- en kaderberoepsgerichte leerwegen zijn deze verschillen het grootst. Waarschijnlijk is de oorzaak gelegen in het algemene gegeven dat er meer leerlingen afstromen naar een lagere schoolsoort dan er leerlingen opstromen naar een hogere schoolsoort. Op het vmbo basis en kader is de afstroom van leerlingen beduidend meer aan de orde dan de opstroom, hetgeen tot gevolg heeft het retrospectieve onderbouwrendement – waarin ook afstromende leerlingen meegenomen worden – negatief beïnvloed wordt. Dit kan leiden tot het ongewenst effect dat vmbo basis en kader vestigingen worden ‘afgerekend’ op het feit dat ze afstromende vmbo theoretische of gemengde leerweg leerlingen een plek geven op hun school. Op grond van bovenstaande bevindingen is geconcludeerd dat een prospectieve berekening van het onderbouwrendement te verkiezen is boven een retrospectieve berekening. Verder is nog onderzocht in dit deelproject of mogelijke lange termijneffecten van toeleverende basisscholen van invloed zijn op het prospectieve onderbouwrendement van een VO-vestiging. Dit is inderdaad het geval. Het klein deel van de verschillen in onderbouwrendement tussen leerlingen is toe te schrijven aan de aan de PO-vestiging waar ze vandaan komen. Dit aandeel is echter ongeveer even groot als het aandeel van de VO-vestiging die ze bezoeken. Dit impliceert dat de Inspectie van het Onderwijs in het beoogde opbrengstenmodel voor het onderbouwrendement niet alleen rekening zou moeten houden met de VO-vestigingen van de leerlingen, maar ook met de toeleverende PO-vestigingen.Een ander mogelijk basisschooleffect is dat VO-scholen ‘last’ of ‘profijt’ hebben van basisscholen die structureel respectievelijk te hoge of te lage adviezen afgeven. Dit leidt tot een foutieve indicatie van het instroomniveau van leerlingen en daarmee tot een vertekening van het onderbouwrendement. Karakterisering van VO-vestigingen die ‘last’ hebben van toeleverende basisscholen leert dat dit scholen zijn die in ieder geval een vwo-afdeling hebben en waar vrij veel doublures voorkomen. Profiterende VO-vestigingen zijn vooral vmbo basis en kader vestigingen en vmbo breed-havo-vestigingen waar niet of nauwelijks doublures voorkomen en relatief veel lwoo-leerlingen zitten. Er zijn door de Inspectie van het Onderwijs nog vier losse aspecten naar voren gebracht die ook bij het vernieuwen van het opbrengstenmodel voor het onderbouwrendement aan de orde zijn en die nadere bestudering behoeven. Eén daarvan is de normering van het onderbouwrendement. In het huidige opbrengstenmodel worden hiervoor groepen van vrijwel gelijke schoolsoorten gebruikt. Het verdient aanbeveling om dergelijke vergelijkingsgroepen ook bij het beoogde opbrengstenmodel te blijven gebruiken. Daar zijn twee belangrijke redenen voor. Ten eerste is de invloed van bodem- en plafondeffecten bij het berekenen van het onderbouwrendement nooit uit te sluiten. Het plafondeffect ontstaat doordat leerlingen met een vwo-advies alleen maar overeenkomstig hun advies kunnen doorstromen of afstromen naar een lagere schoolsoort. Bij een bodemeffect is het omgekeerde aan de hand: leerlingen met een vmbo praktijkonderwijs-advies kunnen alleen maar overeenkomst hun advies doorstromen of opstromen naar een hogere schoolsoort. Deze vormen van vertekening zijn alleen maar onder controle te houden door vergelijkingsgroepen toe te passen bij de normering. Ten tweede is aangetoond dat basisscholen wel degelijk invloed hebben op het onderbouwrendement van een VO-vestiging, maar deze invloed is niet voor alle schoolsoorten even sterk. Overwogen kan worden of het niet minder dan huidige zeven vergelijkingsgroepen zouden moeten zijn. Daarbij is het van belang dat het aantal VO-vestigingen in een vergelijkingsgroep een minimaal grootte heeft. Een tweede aspect is dat bij het prospectieve onderbouwrendement geen rekening wordt gehouden met leerlingen die in de loop van leerjaar 1 of 2 instromen of uitstromen. Analyse-technisch kan dergelijke in- en uitstroom wel meegenomen worden, maar dit is hier niet aanbevelenswaardig. Het aandeel van leerlingen die dit betreft is erg beperkt. De toename in complexiteit van de berekeningen en het feit dat zeer waarschijnlijk de resultaten niet of nauwelijks veranderen, zijn de onderbouwing voor deze aanbeveling. Het derde aspect is de compensatie voor leerlingen met leerwegondersteuning in de berekening van het onderbouwrendement. In het huidige opbrengstenmodel is het zo dat 1 op de 4 lwoo-leerlingen mag doubleren, zonder dat dit negatieve gevolgen heeft voor het onderbouwrendement van een VO-vestiging. Het is niet verstandig om VO-vestigingen te blijven compenseren voor lwoo-leerlingen op de manier waarop dit tot nu toe gedaan is. Lwoo-leerlingen doubleren zeker niet vaker dan andere leerlingen: ze blijven helemaal niet zitten (vmbo-bl en kl) of juist minder vaak (vmbo-tl en gl). Maar hier moeten twee zaken wel uit elkaar gehouden worden. Als lwoo-leerlingen niet doubleren dankzij de extra ondersteuning die ze krijgen, dan is de financiële compensatie voor lwoo-leerlingen effectief gebleken en zou in stand gehouden moeten worden. Als vestigingen bij de berekening van het onderbouwrendement gecompenseerd worden voor het feit dat ze lwoo-leerlingen hebben, dan is dit op grond van de resultaten van dit onderzoek feitelijk een overcompensatie. Het zou afgeschaft kunnen worden omdat vestigingen geen ‘last’ hebben van lwoo-leerlingen. De vergelijking tussen vestigingen zou eerlijker worden.Het vierde aspect is dat het onderbouwrendement in belangrijke mate bepaald wordt door de kwaliteit van het advies dat de basisschool afgeeft. Met name brede adviezen (meer dan twee schoolsoorten breed) zouden problematisch kunnen zijn. Ze zorgen voor een grotere mate van onnauwkeurigheid van de meting van het startniveau van leerlingen. De vraag is of leerlingen die naar brede brugklassen in VO-1 gaan, ook brede adviezen hebben gekregen. Gevonden is dat brede adviezen maar in een klein percentage van het totaal voorkomen en dat de samenhang tussen de breedte van het advies en de breedte van de brugklas zwak is. Dit maakt dat met dit aspect in het beoogde opbrengstenmodel geen rekening hoeft te worden gehouden.Conclusies deelproject 3In deelproject 3 is onderzoek gedaan naar de mogelijkheden voor het ontwikkelen van een maat voor de toegevoegde waarde van VO-scholen voor leerlingen die naar havo doorstromen na het afronden van vmbo-tl. Deze maat kan maar voor ruim de helft van de leerlingen en vestigingen bepaald worden. Hiervoor zijn twee redenen van algemene aard aan te wijzen: 1) zeker een op de vijf gediplomeerde vmbo-tl-leerlingen maakt het doorstroomtraject niet af en doet dus ook geen havo-eindexamen en 2) vrij veel vestigingen voldoen niet aan de eis dat van tenminste tien leerlingen alle nodige informatie beschikbaar is. Gevonden is dat er verschillen in centraal examencijfers bestaan tussen havo-afdelingen van VO-vestigingen voor deze specifieke groep leerlingen. Dit geldt zowel voor het gemiddelde centraal examencijfer voor alle vakken, als voor de kernvakken Nederland, Engels en wiskunde. Om de toegevoegde waarde voor het centraal examencijfer havo te bepalen is alleen correctie voor het beginniveau van leerlingen (centraal examencijfer vmbo-tl) voldoende. Als ook achtergrondkenmerken worden meegenomen in de modellen dan leidt dit niet tot een grote verschuivingen. Dat betekent dat voor deze specifieke groep leerlingen (vmbo-tl-leerlingen die naar havo opstromen) gekozen kan worden voor een relatief simpele toegevoegde waarde maat met een model waarin alleen het beginniveau van de leerlingen is opgenomen. Daarnaast is ook gevonden dat havo-vestigingen met hoog gemiddeld centraal examencijfer voor deze specifieke groep leerlingen in het algemeen ook een hoog doorstroomrendement hebben. De vmbo-tl-gediplomeerde leerlingen doubleren er relatief weinig van havo-4 naar havo-5 en slagen relatief vaak. Echter, omdat deze samenhang vrij zwak is, is het onvoldoende om de opbrengsten van een havo-afdeling als doorstroom-afdeling te bepalen op basis van slechts één van de twee opbrengstindicatoren. Dit zou strategisch gedrag van scholen in de hand kunnen werken. Conclusies deelproject 4In dit deelproject zijn de mogelijkheden verkend voor bepalen van het externe rendement van VO-vestigingen voor de leerlingen uit de basis- en kaderberoepsgerichte leerwegen van het vmbo. Het externe rendement betreft hier de mate waarin VO-vestigingen deze groep leerlingen succesvol weet te plaatsen in het mbo of in een hogere leerweg van het vmbo. Deze bepaling is mogelijk voor 90% van de basis- en 95% van de kader-afdelingen van VO-vestigingen. De vestigingen die afvallen voldoen voornamelijk niet aan de eis dat van tenminste tien leerlingen alle nodige informatie beschikbaar is. Om VO-vestigingen onderling op een eerlijke manier te kunnen vergelijken, is het zaak om de unieke bijdrage van de VO-vestiging vast te stellen in het externe rendement. In dit deelproject is dat gedaan door met geavanceerde modellen het effect van de mbo-instellingen uit het externe rendement te filteren. De modellen laten niet alleen zien dat succesvolle plaatsing van vmbo-bl en kl-leerlingen mede afhankelijk is van de mbo-instelling, maar ook dat verschillen in succesvolle plaatsing van bl en kl-leerlingen één jaar na de examenklas sterker gerelateerd zijn aan de mbo-instelling waar de leerlingen naar toe gaan, dan aan de vmbo-vestiging waar de leerlingen van afkomstig zijn. Als het effect van de mbo-instellingen eruit is gehaald, zijn er nog steeds verschillen in extern rendement tussen VO-vestigingen aanwezig. Een andere belangrijke bevinding is dat het meenemen van de invloed van mbo-instellingen in de berekening van het externe rendement leidt tot zeer grote veranderingen van de waarde van het externe rendement van VO-vestigingen. Dit betekent dat bepaling van het externe rendement van vmbo-bl en kl-afdelingen van VO-vestigingen zonder daarbij de invloed van mbo-instellingen te betrekken, leidt tot inaccurate bepalingen van het externe rendement. Met het huidige model van de Inspectie kan derhalve (nog) niet de toegevoegde waarde op een valide manier bepaalde worden. Een valide externe rendementsbepaling van basis- en kaderberoepsgerichte leerwegen in het vmbo zal dus relatief complex zijn en is niet eenvoudig te rekenen door scholen.Het derde doel van dit project betreft het verkennen van de mogelijkheden voor een meer gedifferentieerd toezicht op basis van de beoogde opbrengstindicatoren. De Inspectie van het Onderwijs wil in de toekomst drie groepen van scholen onderscheiden: scholen met zwakke opbrengsten, scholen met voldoende opbrengsten maar met mogelijkheden tot verbetering en scholen met goede opbrengsten. De data-analyses van die in de deelprojecten zijn uitgevoerd leiden in alle gevallen tot opbrengstindicatoren die ingezet kunnen worden om scholen onderling te vergelijken. Deze opbrengstindicatoren volgen steeds een verdeling die het mogelijk maakt om op een of andere manier drie groepen scholen te onderscheiden. Daarbij moeten afkapgrenzen gekozen worden. Waar de grens tussen zwakke scholen, scholen met voldoende opbrengsten maar met verbeteringsmogelijkheden en scholen met goede opbrengsten moet komen te liggen, is in zekere zin arbitrair. In de huidige toezichtpraktijk is de bolletjes-systematiek een geaccepteerde manier om dit te doen. Het is ook mogelijk om bij een normale verdeelde opbrengstindicator over te gaan op afkapgrenzen die gebaseerd zijn op de spreiding rondom het gemiddelde. Op welke manier men de grenzen ook trekt, er kleven altijd bezwaren aan. Of een school als zwak beoordeeld wordt zal deels afhankelijk zijn van waar men de grens getrokken heeft. Verder is de vergelijking steeds relatief: er zijn altijd zwakke en goede scholen aan te wijzen.<br/

Risk-based educational accountability in Dutch primary education

A recent development in educational accountability is a risk-based approach, in which intensity and frequency of school inspections vary across schools to make educational accountability more efficient and effective by enabling inspectorates to focus on organizations at risk. Characteristics relevant in predicting which schools are "at risk on adverse effects" and robustness of results of risk-based analyses over multiple cohorts were assessed by an empirical analysis of Dutch primary schools. Adverse effects were defined as below average final achievement and/or below average value added. School composition, previous underperformance, insufficient judgments on having a systematic evaluation approach, evaluation of support, and monitoring student performance appeared as factors related to subsequent underperformance of schools. Although a rich set of possible risk factors was available, further investigation of a large number of schools is required in order to find nearly all underperforming schools. However, a group of about 40 % of the schools showed very small risk on underperformance, which represents the efficiency gain when risk-based school accountability would be applied. Furthermore, whether schools are (in)accurately classified in the risk analysis as "at-risk" schools depends heavily on the chosen caesura