Web Surveys (Version 2.0)

This contribution addresses fundamental methodological problems facing online surveys, especially the coverage problem and sample-selection issues. The use of online panels based on random samples is seen as a possible solution

Online-Befragung (Version 1.1)

Der Beitrag behandelt grundlegende methodische Probleme bei Online-Befragungen, insbesondere das Coverage-Problem und Fragen der Stichprobenziehung. Lösungsmöglichkeiten werden im Einsatz von Access Panels auf der Basis von Zufallsstichproben gesehen

Prenotification in web-based access panel surveys: the influence of mobile text messaging versus e-mail on response rates and sample composition

To compare the effectiveness of different prenotification and invitation procedures in a webbased three-wave access panel survey over 3 consecutive months, we experimentally varied the contact mode in a fully crossed two-factorial design with (a) three different prenotification conditions (mobile short messaging service [SMS], e-mail, no prenotice) and (b) two “invitation and reminder" conditions (SMS, e-mail). A group with nearly complete mobile phone coverage was randomly assigned to one of these six experimental conditions. As expected, SMS prenotifications outperformed e-mail prenotifications in terms of response rates across all three waves. Furthermore, e-mail invitation response rates outperformed those for SMS invitations. The combination of SMS prenotification and e-mail invitation performed best. The different experimental treatments did not have an effect on the sample composition of respondents between groups. (author's abstract

Internetbasierte Umfragen als Datenerhebungstechnik für die empirische Sozialforschung?

'Internetbasierte Befragungen erfreuen sich in den letzten Jahren einer rapide ansteigenden Beliebtheit und wurden bereits zur Bearbeitung zahlreicher sozialwissenschaftlicher sowie angewandter Fragestellungen eingesetzt (für einen Überblick vgl. u.a. Batinic 1997a). Dabei ist unbestritten, daß sich das Internet für die Durchführung von Experimenten, wie etwa zur Überprüfung kognitionspsychologischer Theorien (vgl. Reips 1997, 1998), explorative Studien oder auch als Hilfsmittel zur Testung neuer Instrumente (Gräf 1997, 1998) eignet. Wie sind jedoch die Möglichkeiten des Internet einzuschätzen, wenn es darum geht, diese Techniken für sozialwissenschaftliche Umfragen zu nutzen. Ein Unterfangen, daß sicherlich eine hohe Attraktivität besitzt, da sich mit vergleichsweise geringem finanziellem Aufwand innerhalb kurzer Zeiträume Befragungen mit extrem hohen Fallzahlen realisieren lassen. Dennoch dürfte niemand ernsthaft der Ansicht sein, daß es kurz- oder mittelfristig möglich sein wird, über das Internet z.B. allgemeine repräsentative Bevölkerungsumfragen durchführen zu können. Auch wenn das Internet gegenwärtig einen wahrhaften Boom erlebt, spricht hiergegen allein schon der geringe Bevölkerungsanteil mit Zugangsmöglichkeit zum Internet bzw. zu Onlinediensten: Die ARD/ZDF-Online-Studie schätzt die Anzahl der Onlinenutzer in Deutschland im Frühjahr 1998 auf über 6,6 Millionen Personen und damit einen Bevölkerungsanteil von über 1O Prozent (van Eimeren et al. 1998: 423); nach den Ergebnissen der zweiten Welle des von der Gesellschaft für Konsum-, Markt- und Absatzforschung GfK durchgeführten Online-Monitors waren es im Sommer 1998 schon 7,3 Millionen Personen. Beide mittels CATI (Computer Assisted Telephone Interviews) anhand repräsentativer Stichproben durchgeführten Studien kommen übereinstimmend auf Steigerungsraten von über 50 Prozent innerhalb der letzten zwölf Monate. Wir möchten im folgenden aufzeigen, welche Besonderheiten bei Online-Umfragen zu beachten sind und wie sich insbesondere das Problem der Selbstselektion in den Ergebnissen auswirken kann. Hierzu stellen wir im ersten Teil verschiedene Erhebungstechniken vor, diskutieren daran anschließend Teilergebnisse einer ausschließlich online durchgeführten Umfrage und stellen danach die Ergebnisse einer 1997 in Deutschland telefonisch durchgeführten Umfrage zur Onlinenutzung vor. Zum Abschluß gehen wir in Form eines Ausblicks auf zukünftige und zumindest schon jetzt vorstellbare Entwicklungen ein, um die Möglichkeiten dieser neuen Techniken aufzuzeigen.' (Autorenreferat)'The Internet offers the scientific community a growing range of new research opportunities, including that of conducting internet surveys. The article provides a brief overview of techniques of internet-located surveys, in particular e-mail, newsgroups, and world wide web (www) and discusses methodological problems, such as respondent selfselection. Findings from two internet studies are presented, followed by a discussion of the present and future outlook for internet surveys.' (author's abstract)

Item comparability in cross-national surveys: results from asking probing questions in cross-national web surveys about attitudes towards civil disobedience

This article focuses on assessing item comparability in cross-national surveys by asking probing questions in Web surveys. The "civil disobedience" item from the "rights in a democracy" scale of the International Social Survey Program (ISSP) serves as a substantive case study. Identical Web surveys were fielded in Canada (English-speaking), Denmark, Germany, Hungary, Spain, and the U.S. A category-selection and a comprehension probe, respectively, were incorporated into the Web surveys after the closed-ended "civil disobedience" item. Responses to the category selection-probe reveal that notably in Germany, Hungary, and Spain the detachment of politicians from the people and their lack of responsiveness is deplored. Responses to the comprehension probe show that mainly in the U.S. and Canada violence and/or destruction are associated with civil disobedience. These results suggest reasons for the peculiar statistical results found for the "civil disobedience" item in the ISSP study. On the whole, Web probing proves to be a valuable tool for identifying interpretation differences and potential bias in cross-national survey research

Testing the Validity of Gender Ideology Items by Implementing Probing Questions in Web Surveys

This article examines the use of probing techniques in web surveys to identify validity problems of items. Conventional cognitive interviewing is usually based on small sample sizes and thus precludes quantifying the findings in a meaningful way or testing small or special subpopulations characterized by their response behavior. This article investigates probing in web surveys as a supplementary way to look at item validity. Data come from a web survey in which respondents were asked to give reasons for selecting a response category for a closed question. The web study was conducted in Germany, with respondents drawn from online panels (n = 1,023). The usefulness of the proposed approach is shown by revealing validity problems with a gender ideology item

Asking probing questions in web surveys: which factors have an impact on the quality of responses?

Cognitive interviewing is a well-established method for evaluating and improving a questionnaire prior to fielding. However, its present implementation brings with it some challenges, notably in terms of small sample sizes or the possibility of interviewer effects. In this study, the authors test web surveys through nonprobability online panels as a supplemental means to implement cognitive interviewing techniques. The overall goal is to tackle the above-mentioned challenges. The focus in this article is on methodological features that pave the way for an eventual successful implementation of category-selection probing in web surveys. The study reports on the results of 1,023 respondents from Germany. In order to identify implementation features that lead to a high number of meaningful answers, the authors explore the effects of (1) different panels, (2) different probing variants, and (3) different numbers of preceding probes on answer quality. The overall results suggest that category-selection probing can indeed be implemented in web surveys. Using data from two panels - a community panel where members can actively get involved, for example, by creating their own polls, and a "conventional" panel where answering surveys is the members' only activity - the authors find that high community involvement does not increase the likelihood to answer probes or produce longer statements. Testing three probing variants that differ in wording and provided context, the authors find that presenting the context of the probe (i.e., the probed item and the respondent's answer) produces a higher number of meaningful answers. Finally, the likelihood to answer a probe decreases with the number of preceding probes. However, the word count of those who eventually answer the probes slightly increases with an increasing number of probes. (author's abstract

Cognitive probes in web surveys: on the effect of different text box size and probing exposure on response quality

In this study, we explore to what extent the visual presentation of open-ended probes, in connection with different prior probing exposure, impacts on response quality. We experiment with two text box sizes for a specific immigrant probe (Which type of immigrants were you thinking of when you answered the question?). On the one hand, we use a standard size equal to the other text box sizes in the survey but oversized for the specific response task. On the other hand, we use a smaller text box which fits the response task. The other probes in the survey that use the standard text box are mainly category-selection probes that ask for a reasoning for the chosen answer value. Due to randomized rotation of questions, respondents receive different numbers of category-selection probes prior to the immigrant probe, resulting in different degrees of exposure to category-selection probing prior to the immi-grant probe. For the immigrant probe, we find that respondents who receive the standard text box and who have had a high exposure to category-selection probing are more likely to provide mismatching answers: The mismatch consists of not answering the specific immigrant probe but rather providing a reasoning answer as typically expected for a category-selection probe. Thus, previous experience with probing in the questionnaire can override the actual probe wording. This problem can be minimized by considering possible carryover effects of prior probes and using an appropriate survey design strategy

Das ZUMA-Informationssystem (ZIS)

'In diesem Arbeitsbericht werden der Aufbau, die Inhalte und die Nutzung einer ersten Version des ZUMA-Informationssystems (ZIS) beschrieben: ZIS ist ein elektronisches Handbuch über sozialwissenschaftliche Erhebungsinstrumente aus dem deutschsprachigen Raum. Es wird seit Ende 1993 zur Fortsetzung von Arbeiten entwickelt, die bei ZUMA in den 80er Jahren mit dem gedruckten ZUMA-Skalenhandbuch (ZUMA und IZ, 1983) begonnen wurden und Anfang der 90er Jahre zur Erstellung der Online-Datenbank ZUMADOC (Krebs, 1994) führten. Gegenüber diesen Produkten ist ZIS ein inhaltlich erweitertes Online-Handbuch, welches die Möglichkeiten heutiger elektronischer Medien für eine Optimierung der Fachinformationsvermittlung nutzt. Es ist als offenes Hypertextsystem konzipiert, das assoziative Suchmöglichkeiten mit traditionellen Techniken zum gezielten Informationsabruf kombiniert. ZIS beschreibt derzeit ca. 200 Instrumente (Items, Instruktionen, Antwortvorgaben) zur Erfassung von Einstellungen und Verhaltenstendenzen in verschiedenen sozialen Anwendungsbereichen. Diese Beschreibungen werden gemeinsam mit empirischen Daten sowie methodischen und theoretischen Hintergrundinformationen zur Beurteilung der Güte dieser Instrumente dokumentiert. Über Verbindungen zu Internet-Adressen können weitere interessierende Informationen aus dem WWW abgerufen werden. ZIS führt so inhaltlich und strukturell unterschiedliche Informationen in einer integrierten Arbeitsumgebung zusammen, die bisher i.d.R. nur über heterogene und räumlich separierte Quellen ohne nennenswerte Querbezüge zur Verfügung standen. Dadurch soll es Nutzern die Prüfung der Güte und die Auswahl oder Neukonstruktion von Erhebungsinstrumenten erleichtern.' (Autorenreferat

Coverage- and Nonresponse-Effekte bei Online-Bevölkerungsumfragen

Die Verfasser loten in ihrem Beitrag die Grenzen einer online durchgeführten Bevölkerungsumfrage aus. Diese unterliegen besonderen Anforderungen an die Stichprobenqualität. Im Rahmen der Anforderung an die Stichprobenqualität tauchen zwei qualitätsmindernde Effekte auf: Coverage und Non-response-Error. Datengrundlage ist ALLBUS 2006, eine Umfragereihe zu Einstellungen, Verhaltensweisen und Sozialstruktur der Bevölkerung der Bundesrepublik Deutschland. Thematischer Schwerpunkt im Rahmen des vorliegenden Beitrags sind 'Einstellungen gegenüber ethnischen Gruppen'. Es werden Daten von der ALLBUS-Gesamtgruppe und der Subgruppe der Internetnutzer verglichen. Im Rekrutierungsverlauf konnten gravierende Coverage- und weniger schwerwiegende Non-response-Effekte nachgewiesen werden, ebenso bei den Befragungsinhalten 'Einstellungen gegenüber in Deutschland lebenden Ausländern', 'wahrgenommene Konsequenzen der Anwesenheit von Ausländern' und 'Ablehner'. Daraus schließen die Autoren, dass bei gegebener Internetnutzung ein vergleichsweise geringer Nonresponse Error festzustellen ist. (ICC2