Device effects on survey response quality. A comparison of smartphone, tablet and PC responses on a cross sectional probability sample

The increasing use of web surveys and different devices for survey completion calls for the examination of device effects on survey response quality. Whereas most existing studies are based on web panels, subgroups (e.g., students), or short questionnaires designed for device experiments, which compels participants to respond through specific devices, this study is based on two large, nationally representative cross-sectional samples (ISSP 2018 and ISSP 2019) in which the completion device was chosen by the respondent. Seven indicators of response quality are applied, which allows comparison among survey participants answering the questionnaire on a smartphone, tablet, or PC. The results are in line with previous findings: Respondents’ selfevaluated engagement in survey completion does not differ across devices, and only small, nonsystematic differences between devices on satisficing indicators, such as the tendency to agree regardless of question content (acquiescence), non-substantive answers, selection of mid-point response options and primacy effects, and straightlining are identified. Controlling the associations between response device and response quality indicators for self-selection biases did not change the overall result

Web versus papir: En sammenligning af kvalitet i surveydata

Surveyforskningen står overfor en række udfordringer i form af eksempelvis faldende svarprocenter og øget skævhed i data. Dette har medført en stigende afprøvning af nye indsamlingsformer, hvor særligt de web-baserede surveys har vundet frem. I den videnskabelige litteratur er der dog en vis skepsis overfor dataindsamling online, da der argumenteres for, at kvaliteten af datamaterialet forringes, primært fordi respondenten på nettet ikke gør sig samme kognitive indsats for at besvare spørgsmålene, og derfor er mere tilbøjelig til ”satisficing”, end hvis de havde besvaret skemaet eksempelvis i et telefoninterview.Denne artikel stiller imidlertid spørgsmålstegn ved, om eventuelle forskelle i datakvalitet på baggrund af indsamlingsmetode kan tilskrives brugen af nettet per se, da andre faktorer, som eksempelvis tilstedeværelsen af en interviewer i processen, ligeledes menes at kunne influere på de svar, som respondenterne giver. Vi har derfor foretaget et lille eksperimentelt studie, hvor eneste varierende faktor mellem to tilfældigt udvalgte grupper af studerende er brugen af indsamlingsmetoden. Resultaterne viser, at der ikke kan genfindes den såkaldte ”web mode effekt”, idet intet tyder på, at de respondenter, der har udfyldt den online udgave af spørgeskemaet, har større tendens til ”satisficing” end de respondenter, der har udfyldt skemaet i papirform

Web versus papir: En sammenligning af kvalitet i surveydata

Surveyforskningen står overfor en række udfordringer i form af eksempelvis faldende svarprocenter og øget skævhed i data. Dette har medført en stigende afprøvning af nye indsamlingsformer, hvor særligt de web-baserede surveys har vundet frem. I den videnskabelige litteratur er der dog en vis skepsis overfor dataindsamling online, da der argumenteres for, at kvaliteten af datamaterialet forringes, primært fordi respondenten på nettet ikke gør sig samme kognitive indsats for at besvare spørgsmålene, og derfor er mere tilbøjelig til ”satisficing”, end hvis de havde besvaret skemaet eksempelvis i et telefoninterview.Denne artikel stiller imidlertid spørgsmålstegn ved, om eventuelle forskelle i datakvalitet på baggrund af indsamlingsmetode kan tilskrives brugen af nettet per se, da andre faktorer, som eksempelvis tilstedeværelsen af en interviewer i processen, ligeledes menes at kunne influere på de svar, som respondenterne giver. Vi har derfor foretaget et lille eksperimentelt studie, hvor eneste varierende faktor mellem to tilfældigt udvalgte grupper af studerende er brugen af indsamlingsmetoden. Resultaterne viser, at der ikke kan genfindes den såkaldte ”web mode effekt”, idet intet tyder på, at de respondenter, der har udfyldt den online udgave af spørgeskemaet, har større tendens til ”satisficing” end de respondenter, der har udfyldt skemaet i papirform

Web versus papir: En sammenligning af kvalitet i surveydata

Surveyforskningen står overfor en række udfordringer i form af eksempelvis faldende svarprocenter og øget skævhed i data. Dette har medført en stigende afprøvning af nye indsamlingsformer, hvor særligt de web-baserede surveys har vundet frem. I den videnskabelige litteratur er der dog en vis skepsis overfor dataindsamling online, da der argumenteres for, at kvaliteten af datamaterialet forringes, primært fordi respondenten på nettet ikke gør sig samme kognitive indsats for at besvare spørgsmålene, og derfor er mere tilbøjelig til ”satisficing”, end hvis de havde besvaret skemaet eksempelvis i et telefoninterview.Denne artikel stiller imidlertid spørgsmålstegn ved, om eventuelle forskelle i datakvalitet på baggrund af indsamlingsmetode kan tilskrives brugen af nettet per se, da andre faktorer, som eksempelvis tilstedeværelsen af en interviewer i processen, ligeledes menes at kunne influere på de svar, som respondenterne giver. Vi har derfor foretaget et lille eksperimentelt studie, hvor eneste varierende faktor mellem to tilfældigt udvalgte grupper af studerende er brugen af indsamlingsmetoden. Resultaterne viser, at der ikke kan genfindes den såkaldte ”web mode effekt”, idet intet tyder på, at de respondenter, der har udfyldt den online udgave af spørgeskemaet, har større tendens til ”satisficing” end de respondenter, der har udfyldt skemaet i papirform