Postoji li pristranost? Empirijska analiza različitih fenomena koji utječu na rezultate anketnih istraživanja

Abstract

It is often assumed that survey results reflect only the quality of the sample and the underlying measuring instruments used in the survey. However, various phenomena can affect the results, but these influences are often neglected when conducting surveys. This study aimed to test the influences of various method effects on survey results. We tested the influences of the following method effects: item wording, confirmatory bias, careless responding, and acquiescence bias. Using a split-ballot survey design with online questionnaires, we collected data from 791 participants. We tested if these method effects had an influence on mean values, item correlations, construct correlations, model fits, and construct measurement invariance. The instruments used to test these influences were from the domain of personality and gender inequality, and their items were adapted based on the method effect tested. All tested method effects, except careless responding, had a statistically significant effect on at least one component of the analysis. Item wording and confirmatory bias affected mean values, model fit, and measurement invariance. Controlling for acquiescence bias improved the fit of the model. This paper confirms that the tested method effects should be carefully considered when using surveys in research, and suggests some guidelines on how to do so.Često se implicira da su rezultati anketnih istraživanja isključivo odraz kvalitete uzorka na kojemu je istraživanje provedeno i korištenih mjernih instrumenata u anketnom upitniku. No, postoje različiti fenomeni koji mogu utjecati na rezultate, a koji se često zanemaruju pri provedbi anketnih istraživanja. Ova se studija bavi ispitivanjem utjecaja različitih efekata metode koji mogu iskriviti rezultate anketnih upitnika. Testirali smo utjecaje formulacije iskaza, potvrdne pristranosti, nemarnog odgovaranja te pristranosti slaganja. Koristeći se dvjema inačicama online anketnog upitnika, prikupili smo rezultate 791 korisnika društvenih mreža. Testirali smo jesu li navedeni efekti metode imali utjecaja na aritmetičke sredine čestica, korelacije čestica, korelacije konstrukata, pristajanje metrijskih modela podatcima te na invarijatnost mjerenja. Instrumenti putem kojih su efekti metode bili testirani bili su iz sfere ličnosti i rodne nejednakosti te su njihove čestice bile izmijenjene shodno potrebama mjerenja utjecaja pojedinog efekta metode. Svi testirani efekti metode, osim nemarnog odgovaranja, pokazali su statistički značajne utjecaje na rezultate na barem jednoj razini analize. Formulacija iskaza i potvrdna pristranost utjecali su na aritmetičke sredine čestica, na pristajanje modela podatcima te na invarijatnost mjerenja. Kontroliranje pristranosti slaganja rezultiralo je modelima koji su bolje pristajali podatcima. Ovaj rad potvrđuje da istraživane efekte metode treba uzeti u obzir prilikom provedbe istraživanja metodom ankete, ujedno dajući određene konkretne preporuke istraživačima na koje načine to učiniti