Klinkenberg, S.

Straatemeier, M.

van der Maas, H.

Dutch

International Migration, Integration and Social Cohesion online publications

UvA-DARE is a service provided by the library of the University of Amsterdam (https://dare.uva.nl)UvA-DARE (Digital Academic Repository)Rekentuin.nl: combinatie van oefenen en toetsenvan der Maas, H.; Klinkenberg, S.; Straatemeier, M.Publication date2010Published inExamensLink to publicationCitation for published version (APA):van der Maas, H., Klinkenberg, S., & Straatemeier, M. (2010). Rekentuin.nl: combinatie vanoefenen en toetsen. Examens, (4), 10-14. http://www.oefenweb.nl/wp-content/uploads/2010/12/Artikel-Examens-nov-2010.pdfGeneral rightsIt is not permitted to download or to forward/distribute the text or part of it without the consent of the author(s)and/or copyright holder(s), other than for strictly personal, individual use, unless the work is under an opencontent license (like Creative Commons).Disclaimer/Complaints regulationsIf you believe that digital publication of certain material infringes any of your rights or (privacy) interests, pleaselet the Library know, stating your reasons. In case of a legitimate complaint, the Library will make the materialinaccessible and/or remove it from the website. Please Ask the Library: https://uba.uva.nl/en/contact, or a letterto: Library of the University of Amsterdam, Secretariat, Singel 425, 1012 WP Amsterdam, The Netherlands. Youwill be contacted as soon as possible.Download date:09 Mar 202310 EXAMENS - december 2010 - NR 4 www.e-xamens.nlWebgame gebaseerd rekenen op de basisschoolRekentuin.nl: combinatie vanoefenen en toetsenMet behulp van moderne ICT middelen, nieuwe psy-chometrie en op basis van recente inzichten in de ont-wikkelingspsychologie hebben de auteurs een nieuw oefen-volgsysteem voor het onderwijs ontwikkeld. Dit systeem combineert het oefenen van vaardighe-den en het monitoren (toetsen) van ontwikkeling. De eerste uitwerking van dit systeem is Rekentuin.nl, een webgame gebaseerd, adaptief oefen-volgsysteem voor het rekenen op de basisschool. Dit artikel legt uit hoe dit systeem werkt en welke mogelijkheden het biedt. Kernvraag is of dit type ‘low stakes’ testsys-temen ook potentie heeft voor examens.Han van der Maas, Sharon Klinkenberg en Marthe StraatemeierInnovaties achter Rekentuin.nlComputerspelletjesMensen besteden enorm veel tijd aan spelletjes. Dat kunnen puzzels zijn, gezelschapsspelletjes, sport, en tegenwoordig vaak (online) gaming. Een interessant aspect is dat in de meeste games ook vaardigheden worden gemeten. Van telspelletjes voor kleuters tot geheugenspelletjes voor bejaarden. Blijkbaar zijn mensen bereid om vaardigheidstests voor hun plezier te doen als ze in een spelvorm worden gegoten. Spelletjes worden daarom door onderwijsinstellingen en bedrijven steeds vaker ingezet als lesmiddel. Het kan interessant zijn om vanuit een psychometrisch oogpunt computerspelen te analyseren. In zulke spelen worden vaardigheden gemeten en vergeleken. Het is bijvoorbeeld opvallend dat erg veel games het concept ‘level’ gebruiken waar in de psychometrie met continue scores gewerkt wordt. Het gebruik van ‘levels’ is zo algemeen dat we ons moeten afvragen waarom deze zo gewaardeerd worden. Misschien kan de psy-chometrie hier iets van leren of andersom bijdragen aan een optimaal gebruik van ‘levels’ in de scoring van games.OnlineRekentuin.nl is in essentie een website waarop kinde-ren een tuintje met plantjes onderhouden door regel-matig rekenspelletjes te spelen (figuur1). Het niveau van de items in de rekenspelletjes wordt bepaald door een nieuw adaptief algoritme. Idealiter spelen kinde-ren wekelijks of zelfs dagelijks ter vervanging van de sommen die ze in hun schriftjes maken. De responsen van de kinderen worden automatisch geanalyseerd en teruggekoppeld naar de leerkrachten in de vorm van foutenanalyses, groeicurven en andere vergelijkingen. Het adaptieve algoritme zorgt dus tegelijkertijd voor adequaat oefen- en testmateriaal. Bovendien dienen de data als bron voor wetenschappelijk onderzoek. ResponsetijdenEen vernieuwing is dat de responsetijden van In 2009 heeft de Rekentuin op het NVE congres (26 november 2009) de Stichting Solberg-Verlinden/Wynand Wijnen aanmoedigingsprijs ont-vangen. De Rekentuin is ontwikkeld aan de vakgroep Psychologische Methodenleer van de Universiteit van Amsterdam. De jury noemde het project psychometrisch vernieuwend en van belang voor de praktijk van het rekenonderwijs. Met name wees de jury erop dat bij de schatting van de rekenvaardigheid niet alleen rekening wordt gehouden met het al dan niet correct beantwoorden van de items, maar ook met de tijd die het kind heeft besteed aan ieder item. Verder wordt de schatting van de itemmoei-lijkheden steeds verbeterd door gebruik te maken van een methode die is gebaseerd op het ELO-ratingsysteem uit de schaakwereld. Op Rekentuin.nl kunt u een demo account aanmaken om de Rekentuin in werking te zien.www.e-xamens.nl  EXAMENS - december 2010 - NR 4  11kinderen worden meegewogen in de scores en de schatting van de rekenvaardigheid. Dit gebeurt door kinderen een scoringsregel op te leggen. Deze ‘high speed, high stakes’ regel houdt in dat kinderen hoger scoren als ze snel een correct antwoord geven. Een snel incorrect antwoord leidt echter tot een hele lage score. Gokken is dus riskant. Deze regel geeft het oplossen van rekenitems al meer het karakter van een spel. In standaard adaptieve tests worden items aan-geboden waarop de kans op correct steeds ongeveer 50% is. Voor kinderen, en vaak ook voor volwassenen, is dat demotiverend. Voordeel van de scoringsregel is dat door het meenemen van reactietijden ook makkelijke items kunnen worden afgenomen, omdat juist op makkelijke items antwoordsnelheid informatie verschaft over vaardigheid. Elo rating systeemEen andere vernieuwing is de toepassing van het Elo rating systeem uit het schaken voor het schat-ten van zowel de vaardigheid van de kinderen als de moeilijkheid van de items. Schakers krijgen een rating (vaardigheidsschatting) op basis van de uitslagen van onderlinge schaakpartijen. In de Rekentuin spelen kinderen tegen items als waren het schaakpartijen. In gewone computer adaptieve tests moeten eerst de itemmoeilijkheden in een dure pretest fase bepaald worden. In dit systeem is dat niet meer nodig. Zowel de vaardigheidsschattingen als de itemmoeilijkheden worden voortdurend aangepast op basis van de ant-woorden van spelers op items. Bij dit systeem kunnen startwaarden worden meegegeven aan de kinderen en de items, maar dit is niet noodzakelijk. In de Reken-tuin krijgen kinderen een initiële vaardigheidsschat-ting op basis van hun leeftijd. De initiële itemmoeilijk-heden worden bepaald op basis van somkenmerken.Ontwikkeling van kinderenMet de Rekentuin is het mogelijk om hoogfrequente data over de ontwikkeling van kinderen te verzamelen, bijvoorbeeld hoe een kind een bepaald item over de weken heen beantwoordt. Figuur 2 geeft een voor-Figuur 1 Screenshot RekentuinSpelletjes worden steeds vaker ingezet als lesmiddel12 EXAMENS - december 2010 - NR 4 www.e-xamens.nlbeeld. In de grafiek van figuur 2 staat op de x-as de week waarin het item is gemaakt en op de y-as de re-actietijd. Het antwoord ‘?’ betekent dat het kind op het vraagteken heeft geklikt. In eerste instantie antwoordt dit kind snel maar kiest het bijna altijd voor het vraag-teken. Halverwege week 42 leert het kind het correcte antwoord en antwoordt hij of zij met wisselende reactietijden. Dit wordt gevolgd door een periode van snelle en grotendeels correcte antwoorden.Werkt Rekentuin.nl?Er maken momenteel al duizenden kinderen gebruik van de Rekentuin. Per dag komen ongeveer 50.000 responsen binnen, in totaal al meer dan 18 miljoen. Kinderen spelen veel op school maar ook thuis. Ruim 1/3 van de responsen worden verzameld buiten schooltijd. Er zijn nu 12 spelletjes ontwikkeld waar-onder de hoofddomeinen van het hoofdrekenen (optellen, aftrekken, vermenigvuldigen en delen). De betrouwbaarheid van de testen is hoog. De correlatie tussen domeinen als optellen en aftrekken is bijvoor-beeld .91. De correlatie met de scores van het Cito leerlingvolgsysteem is ook hoog (≈.8). De toekomstIndividuele leerlijnenOp basis van technologische ontwikkelingen is een spoedige doorbraak te voorzien als het gaat om het individueel gebruik van computers in het onderwijs. De schriftjes, die leerkrachten na schooltijd elke dag moeten corrigeren, gaan verdwijnen. Het is goed denkbaar dat basisschoolleerlingen over enkele jaren de Ipad uit hun laatje pakken om, onder meer, taal en rekenen te oefenen. Computer adaptieve monitoring systemen als Rekentuin komen dan goed van pas. Leerkrachten hoeven zich niet meer bezig te hou-den met toetsen, oefenen en nakijken maar kunnen zich richten op individuele instructie op basis van de informatie de zij verkrijgen van dergelijke systemen. Leerlingen kunnen veel meer dan nu, op hun eigen niveau werken en individuele leerlijnen volgen. Uit de data, verzameld met de Rekentuin, blijkt dat de indi-viduele verschillen in rekenvaardigheid groot zijn. Op het domein optellen scoren bijvoorbeeld 19% van de kinderen in groep 4 boven het gemiddelde van groep 5 en 7% zelfs boven het gemiddelde van groep 6. Blijven vernieuwenDe Rekentuin zal zich in verschillende opzichten blijven vernieuwen. Uiteraard ligt het voor de hand het aantal rekendomeinen uit te breiden. Binnenkort zal bijvoorbeeld klokkijken beschikbaar worden. Een andere vernieuwing is een betere verbinding met instructie via de foutenanalyses. Leerkrachten en leerlingen krijgen dan directe toegang tot bijvoor-beeld rekeninstructievideo’s gekoppeld aan bepaalde typen fouten. Zo zal een leerling die veel fouten maakt in sommen met nullen (bv. 7000 - 3000 = 6700) direct toegang krijgen tot een scala aan filmpjes waarin deze fouten worden aangepakt. Dit levert tevens weer inte-ressante onderzoeksdata op over de effectiviteit van instructiemethodes. Weer een andere vernieuwing be-treft het onderhoud van de itembank door gebruikers. Leerkrachten en misschien zelfs kinderen mogen dan nieuwe items toevoegen en beheren. Het idee is om een zelforganiserend adaptief oefen- en volgsysteem te creëren waarin gebruikers zelf voor inhoud zorgen en de psychometrische parameters zich voortdurend Figuur 2 Voorbeeld van dataverzameling over de ontwikkeling van een kindKinderen spelen de Rekentuinveel op school maar ook thuiswww.e-xamens.nl  EXAMENS - december 2010 - NR 4  13automatisch aanpassen. Uiteraard onder continue monitoring ter bewaking van de kwaliteit.Een taal equivalentUiteraard is de computer adaptieve monitoring technologie niet alleen bruikbaar voor rekenen en voor kinderen. Zo werkt het team momenteel aan een taal equivalent van de Rekentuin. Maar uiteindelijk is deze technologie bruikbaar voor alle gevallen waarin veel geoefend moet worden. Een voorbeeld is het statistiekonderwijs in de sociale wetenschappen. Met een itembank van enkele honderden opgaven is een ‘statistiektuin’ redelijk snel te realiseren, vooral als do-centen en studenten zelf bereid zijn items in te voeren.Low en high stakes testingVergelijking van prestaties in RekentuinHoe verhoudt deze technologie zich nu met examens en andere tests waaraan belangrijke beslissingen zijn verbonden (high stakes tests)? Rekentuin is in eerste instantie een typisch voorbeeld van low stakes testing. Er zijn geen normen die zijn gebaseerd op een zorg-vuldig uitgevoerd normeringsonderzoek. Maar omdat er inmiddels honderden gebruikers per leeftijdsgroep zijn, is het mogelijk een indicatie te geven van een percentielscore. Een leerkracht kan eenvoudig zien dat een leerling uit de klas op bijvoorbeeld vermenigvul-digen tot de beste 10% leerlingen behoort maar op aftrekken onder het gemiddelde scoort. Er is echter geen controle op de samenstelling van de steekproef. Het is denkbaar dat de ruim honderd scholen die nu gebruikmaken van Rekentuin voorop lopen in het rekenonderwijs, maar even goed kan beweerd worden dat juist zwakke scholen een dergelijk product afnemen.Ook controle is een probleem. Kinderen spelen in de Rekentuin in de meest uiteenlopende omstandighe-den. Soms speelt een kind zelfstandig in de klas waar op dat moment toevallig veel afleiding is, een andere keer speelt het thuis waar een vader of moeder moge-lijk hulp kan bieden.Uiteindelijk zullen deze nadelen wel meevallen. Hoe groter het aantal deelnemers wordt hoe betrouwbaar-der de percentielscores worden. Bovendien wordt ook gebruik gemaakt van andere scoringssystemen waarin de prestatie van kinderen wordt uitgedrukt in het verwachte scoringspercentage op de hele itembank. Men hoeft niet zo bang te zijn voor vals spel. Een kind dat op een avond sterk in rating stijgt dankzij de hulp van een familielid wordt de eerstvolgende keer vanzelf, dankzij het adaptieve toetsingsmodel, geconfronteerd met veel moeilijkere items. Zijn of haar rating zal dan net zo snel weer dalen. Aan de andere kant kunnen kinderen die een keer slecht scoren, hun score de volgende dag alweer goed maken. Faalangst speelt een veel minder grote rol dan bij examens. Als kinderen jarenlang regelmatig oefeningen maken in dit adaptieve monitoringsysteem, zullen incidentele uitschieters naar boven of naar beneden geen rol spelen. Combineren met examensEen incidentele meting met een low stakes test zal natuurlijk nooit een vervanging zijn voor een goed opgezet examen. Indien op een gekozen tijdstip de vaardigheid van een persoon moet worden vastge-steld, geeft een examen met een zorgvuldig uitge-voerd normeringsonderzoek een beter beeld.  Maar het is wel de vraag of het belang van examens niet zal afnemen als er meerjarige ontwikkelingsprofielen beschikbaar zijn gebaseerd op low stakes monitoring-systemen. De Cito eindtest op de basisschool heeft ook in belang ingeboet door het succes van het Cito leerlingvolgsysteem. Na 7 jaar volgen kan de eindtest eigenlijk niet meer voor grote verrassingen zorgen. Ook voor het voortgezet en hoger onderwijs is zo’n rol voor monitoringsystemen denkbaar. Op deze manier kunnen knelpunten eerder worden vastgesteld en aangepakt waardoor hogere slagingspercentages worden bereikt op de examens. Voorlopig lijkt een combinatie van hoogfrequente low stakes volgsystemen en incidentele high stakes examens de beste oplossing. Dan heeft men zowel de beschikking over nauwkeurige groeiprofielen van kinderen als over goed genormeerde toetscores.  De heer prof.dr. H.L.J. van der Maas, de heer drs. S. Klinkenberg en mw. drs. M. Straatemeier zijn verbonden aan de universiteit van Amsterdam (UvA) en Oefen-web.nl, het spin-off bedrijf van de UvA waar de Reken-tuin nu onder valt. E-mail: h.l.j.vandermaas@uva.nl.De individuele verschillen in rekenvaardigheid in de Rekentuin zijn groot

Rekentuin.nl: combinatie van oefenen en toetsen

https://pure.uva.nl/ws/files/1461331/89794_Artikel_Examens_nov_2010.pdf

Rekentuin.nl: combinatie van oefenen en toetsen

Abstract

Similar works

Full text

Available Versions

International Migration, Integration and Social Cohesion online publications