Meten is Weten? Een meta-analyse naar het effect van schaalformulering bij het meten van tekstbegrip aan de hand van contraire woordparen: een vergelijk tussen de positieve likertschaal, de negatieve likertschaal en de semantische differentiaal

Abstract

In 2005 zijn tijdens de mastercursus ‘Vragenlijst en Vraagformulering’ vijftien split-ballot onderzoeken gedaan naar formuleringseffecten bij contraire woordparen. Daarin is nagegaan of de mening van de respondent anders wordt weergegeven als de vraag gesteld op een negatieve likertschaal, een positieve likertschaal of een semantische differentiaal. Hoewel dezelfde contraire woordparen in deze studies gebruikt zijn om de schalen te vergelijken, waren de resultaten niet eenduidig. Het doel van deze scriptie is middels een meta-analyse van bovengenoemde onderzoeken vast te stellen of er een effect van formulering generaliseerbaar is over studies en over contraire woordparen. Hiertoe is een regressieanalyse met dummyvariabelen uitgevoerd. Daarmee is vastgesteld hoeveel procent van de variantie in de score op een vraag kan worden toegeschreven aan het onderwerp van de tekst en aan de vraagversie. Voor ieder getest woordpaar blijkt, over alle studies samengenomen, het effect van formulering betekenisvol te zijn. Het effect is derhalve generaliseerbaar over studies en over woordparen. Bij tien van de dertien woordparen is het effect volgens de criteria van Cohen (1977) groot te noemen. Bij vier van de tien grote effecten verklaart vraagversie zelfs meer variantie dan het onderwerp van de tekst! Betreft de richting van het effect blijkt er een algemene tendens te zijn. Wanneer er een significant verschil tussen versies wordt gevonden, leidt het stellen van de vraag op de negatieve likertschaal in de meeste gevallen tot een positievere weergave van de mening van de respondent in vergelijking tot de beide andere schalen. Dit sluit aan bij bevindingen van een vergelijkbaar onderzoek naar contradictoire woordparen (Holleman, 2000)