Issues in the interpretation of the results of school effectiveness research

In this chapter three issues in the interpretation of the results of school effectiveness research are discussed: criterion choice, effect size and stability of effects. With respect to the first issue the overall conclusion is, that criterion choice and definition depend on the effectiveness perspective and the particular theory one wishes to corroborate. The issues of effect size and stability of school effects are treated both from the angle of a synthesis of available empirical results and from the angle of conceptual analysis. An overall evaluation of the available data on effect size and stability leads to the conclusion that school effectiveness models are not as shaky as certain critics would have it, but at the same time not established as firmly as enthusiastic school improvers treat them. Various suggestions as to the improvement of future school effectiveness research are offered, notably more refined research designs and more elaborate theory development

A self-evaluation procedure for schools using multilevel modelling

Argues that self-evaluation should primarily be based on the outcomes of educational practice. When designing a self- evaluation system one has to cope with 2 problems: how to define a fair school effect measure and how to locate those practices that may lead to malfunctioning. It is shown how pupil monitoring systems can be used to construct a school monitoring system. The statistical aspects of such a system can be handled well by using multilevel statistical models. The proposed approach is illustrated using data on the development of pupils in mathematics achievement. The indicator proposed for self-evaluation purposes is compared with 7 other indicators. Striking differences between indicators are discussed. Moreover, it is discussed how such a monitoring system could be modified to detect educational practices that lead to malfunctioning of pupils. Finally, the practical aspects of implementing the proposed system are depicted

A Systematic Review of Studies Addressing the Implementation of the Evidence-Based Whole-School Reform “Success for All”

Purpose: The effectiveness of the 14-component evidence-based whole-school reform Success for All (SfA) has been well established, but research on its implementation is limited although fidelity of implementation is vital for the effectiveness of such a program. This review sheds light on this issue. Design/Approach/Methods: A systematic literature review was conducted to acquire an overview of qualitative and quantitative aspects of SfA’s implementation in primary schools as well as to identify stimulating and hindering factors when implementing SfA. Sixteen studies, conducted in the United States and the United Kingdom, were included in this review. Findings: Results indicate that 48% of schools implemented SfA at the minimal level, 45% at a more advanced level, and 7% at an insufficient level. Information on the implementation for each of the 14 components was rare. Most of the factors that affected implementation were hindering factors rather than stimulating ones. For successful implementation of this evidence-based program, the crucial factors appear to be leadership, fulfilling organizational conditions, staff development, and relentlessly implementing all 14 components together. Originality/Value: This review shows that for an evidence-based program to be effective, implementation fidelity is a very serious concern, which needs to be addressed systematically.</p

Onderwijsachterstanden en ontwikkelingen in leerprestaties

In dit onderzoek is op twee verschillende manieren onderzocht wat de mogelijke lange termijn effecten zijn van het onderwijsachterstandenbeleid. Bij de eerste invalshoek stond de longitudinale groei in individuele leerprestaties centraal. Voor een aantal opeenvolgende cohorten leerlingen is onderzocht of hun ontwikkeling met betrekking tot leerprestaties - gedurende de basisschoolperiode – samenhangt met hun achtergrond en of deze wordt beïnvloed door de bezochte school. We moesten ons daarbij noodzakelijkerwijze beperken tot die beperkte groep van scholen en leerlingen waarbij de betreffende gegevens volledig beschikbaar waren. De analyses laten zien dat die groei zowel ten aanzien van taal- als rekenvaardigheid niet lineair verloopt, en bovendien dat de allochtone achterstandsleerlingen er gedurende de basisschoolperiode in slagen een deel van hun achterstand weg te werken, terwijl de autochtone achterstandsleerlingen hun achterstand juist zien toenemen gedurende de basisschoolperiode. Deze bevinding spoort met de resultaten die Mulder c.s. (2005) presenteren. Uit de analyses wordt voorts duidelijk dat de snelheid waarmee leerlingen vorderingen maken met betrekking tot de vakken rekenen en taal, mede bepaald wordt door de school die ze bezoeken. Wat dit aangaat bestaan er grote verschillen tussen scholen; er zijn scholen die gedurende de onderbouwperiode een rustig leertempo te zien geven, en die een acceleratie in het leertempo in de bovenbouwperiode vertonen. Omgekeerd zijn er ook scholen die veel progressie boeken in de lagere leerjaren, maar die deze snelle vooruitgang niet kunnen doortrekken tot aan het einde van de basisschoolperiode en een afvlakkende leerwinst in de bovenbouwperiode kennen. Hoe deze schoolspecifieke leercurve eruit ziet is voor een (groot) deel afhankelijk van de kwaliteit van de instroompopulatie. Als het beginniveau bij de leerlingen, zoals bepaald in jaargroep 2, laag is wordt met name in de onderbouwperiode veel progressie geboekt, terwijl een hoog beginniveau samengaat met een hoge leerwinst in de bovenbouwperiode. Het is alsof de laatstgenoemde categorie scholen hun leerlingen in de bovenbouwperiode expliciet voorbereiden op de overgang naar het voortgezet onderwijs. Inspectie van het datamateriaal leert dat het hier voornamelijk gaat om zogenaamd “witte” scholen. Leerwinst tussen individuen en leerwinst tussen scholen – zoveel is duidelijk – laten zich niet beschrijven in lineaire termen; de tempowisselingen in de snelheid waarmee leerwinst wordt geboekt, zijn daarvoor te groot. Dergelijke tempowisselingen kunnen zich op enigerlei moment voordoen en dat maakt een vergelijking van prestatieniveaus tussen scholen erg lastig. Scholen met een ‘zwakke’ instroompopulatie maken ten tijde van de onderbouw een grote sprong voorwaarts en een meting van de prestaties aan het einde van de onderbouw zou dan onontkoombaar tot de conclusie leiden dat juist deze scholen bijzonder effectief zijn. Maar diezelfde scholen zien daarna – in de bovenbouwperiode – de stijging in prestaties afvlakken en een meting aan het einde van de basisschoolperiode zou nu juist uitwijzen dat dezelfde scholen als ineffectief aangemerkt moeten worden. Het meetmoment bepaalt dus mede of een school wel of juist niet als effectief bestempeld kan worden. De analyses hebben geleerd dat er grote verschillen tussen scholen zijn in het tempo waarin leerwinst wordt geboekt, maar het blijft onduidelijk welke factoren hiervoor verantwoordelijk zijn. Wat wel duidelijk wordt, is dat er geen duidelijk aantoonbaar effect van het onderwijsachterstandsbeleid – in termen van extra formatie – op groei in schoolvorderingen wordt gevonden. Daarbij zij opgemerkt dat we ook in dit onderzoek last hebben van het feit dat de schoolsamenstelling en de extra formatie onlosmakelijk met elkaar verbonden zijn, en dat een effect van extra formatie dus welhaast onmogelijk aangetoond kan worden: wellicht heeft een dergelijk effect mogelijk negatieve effecten van de schoolsamenstelling (ten dele) op. De tweede invalshoek had betrekking op de vraag in hoeverre scholen er in de loop der tijd (van 1994 t/m 2002) in zijn geslaagd de problemen met betrekking tot de achterstandsleerlingen beter onder controle te krijgen. Met andere woorden, de vraag was hier of een (specifieke) school in 2002 met achterstandsleerlingen tot hogere prestaties komt dan in de voorgaande (meet)jaren (2000, 1998, 1996 en 1994). Deze analyses zijn voor de jaargroepen 2, 4, 6 en 8 afzonderlijk uitgevoerd. Eén uitkomst springt daarbij in het oog en dat is de bevinding dat de zogenaamde “zwarte” scholen (met een schoolscore van 160 of hoger) in de loop der tijd enige progressie in schoolvorderingen bij de achterstandsleerlingen weten te boeken. Dat wil overigens niet zeggen dat daarmee (een deel) van de prestatiekloof tussen reguliere leerlingen en achterstandsleerlingen wordt gedicht. Leerlingen uit achterstandsgroepen presteren slechter dan de reguliere Nederlandse leerlingen, en die achterstand was aanvankelijk op deze “zwarte” scholen extra groot. Welnu, gaandeweg zijn deze “zwarte” scholen erin geslaagd deze extra achterstand grotendeels weg te werken. Dit houdt in dat de prestaties van achterstandsleerlingen op “zwarte” scholen gaandeweg meer overeenkomsten gaan vertonen met achterstandsleerlingen op reguliere (“witte”) scholen. Of dit een effect van het achterstandenbeleid is, of een autonome ontwikkeling is helaas niet uit te maken. In het gunstigste geval kan worden opgemerkt, dat de achterstanden ondanks het beleid tenminste niet zijn toegenomen. Is het mogelijk op grond van deze bevindingen enkele beleidsaanbevelingen te geven? Met de nodige terughoudendheid, omdat we herhaaldelijk hebben gewezen op de problemen die er zijn met het aantonen van oorzakelijke verbanden als enerzijds beleid landelijk wordt ingevoerd (zodat er geen goede vergelijkingsmogelijkheden zijn) en anderzijds beleid als gevolg zou kunnen hebben dat een eventueel positief effect van extra formatie wegvalt tegen een mogelijk negatief effect van schoolsamenstelling, willen we enkele punten in overweging geven. Zo merken we allereerst op dat (met name de taal-) achterstanden van allochtone leerlingen in groep 2 reeds fors zijn, en dat ze iets van hun achterstand in de loop van hun basisonderwijs wegwerken. Preventief beleid zoals voor- en vroegschoolse educatie is in dit opzicht effectiever dan curatief beleid, als het kwaad al geschied is. Voor autochtone leerlingen geldt dat, alhoewel er achterstanden zijn in jaargroep 2, deze van beperkte(re) omavang zijn. Voor deze groep geldt echter dat hun achterstanden in de loop van de basisschool toenemen. Het beleid moet zodanig ingericht zijn, dat dit fenomeen wordt tegengewerkt. We noemen een specifieke maatregel. In de nieuwe gewichtenregeling is voorzien in het toekennen van extra zware leerlinggewichten aan die leerlingen waarvan de ouders een zeer laag opleidingsniveau hebben (ten hoogste basisonderwijs voltooid; en dat kunnen per definitie bijna geen autochtone leerlingen zijn) die in de onderbouw aanwijsbaar forse taalachterstanden hebben. Deze maatregel zou zodanig verruimd kunnen (of zelfs moeten) worden dat ze ook vaker van toepassing is op autochtone achterstandsleerlingen. In de tweede plaats merken we op, dat scholen verschillen in de ontwikkelingstrajecten die ze met hun leerlingen doormaken. Netto komt het erop neer, dat de verschillen in jaargroep 4 bij taal groter zijn dan in jaargroep 2, maar dat aan het eind van de rit (in jaargroep 8) de verschillen tussen de scholen weer dezelfde omvang hebben als in jaagroep 2. De zeer gunstige ontwikkeling die sommige scholen met hun leerlingen doormaken in de onderbouw weten ze niet door te trekken in de bovenbouw, en, omgekeerd, de scholen die een zeer gunstige ontwikkeling in de bovenbouw bij hun leerlingen realiseren lijken dit te doen om een minder gunstige ontwikkeling in de onderbouw te compenseren. Zou men de twee meest gunstige ontwikkelingstrajecten in onderbouw en bovenbouw weten te combineren - en waarom zou dat niet kunnen? – dan is de impact die een school op zijn leerlingen heeft optimaal. Daartoe zou men leerstandaarden van een redelijk hoog niveau moeten formuleren voor zowel einde jaargroep 4 als einde basisonderwijs. Voorts merken we op dat er scholen zijn die met name in de onderbouw bij hun leerlingen, en dus ook de doelgroepleerlingen, een forse sprong voorwaarts weten te boeken. Het is dus mogelijk. Met deze kennis mogen we van alle scholen meer verwachten in deze cruciale fase van de onderwijsloopbaan, en het is derhalve zeer het overwegen waard scholen rekenschap af te laten leggen over het feit of ze al dan niet ‘evidence based’ werken met de doelgroepleerlingen in deze periode. In principe is het immers mogelijk. Een laatste opmerking betreft de recente ophef bij zowel de grote steden als de plattelandsgemeenten over de herziening van de gewichtenregeling. Als de overheid er voor kiest geen additionele middelen ter beschikking te stellen voor achterstandsbestrijding in het onderwijs, en er dus een keus gemaakt moet voor allochtone (grote steden) of autochtone achterstandsproblematiek (platteland), dan moet men meer dan in het verleden het geval was, aan scholen de verplichting opleggen dat de beperkt beschikbaar gestelde middelen aanwijsbaar ten goede komen aan die leerlingen waarvoor het allemaal bedoeld is