Paraphrasing can be dangerous: a little experiment

Das Paraphrasieren stellt eine bekannte kognitive Methode in der empirischen Sozialforschung dar: Die antwortenden Personen werden gebeten, eine Frage in ihren eigenen Worten zu wiederholen. Das Paraphrasieren erlaubt nähere Erkenntnisse darüber, ob der Antwortende die Fragestellung verstanden hat und in der beabsichtigten Weise interpretiert. Die Autoren zeigen anhand eines kleinen Experiments, inwieweit die Technik des Paraphrasierens tatsächlich zu validen Informationen in der Umfrageforschung führen kann. Sie stützen sich hierbei auf Daten eines kognitiven Pretests mit 20 Personen aus einer ALLBUS-Umfrage. (ICI

Verfahren zur Evaluation von Survey-Fragen: ein Überblick

Wer Daten mittels Umfragen erhebt, kennt das Problem: Werden die Fragen des Fragebogens 'gute' Daten liefern, d. h. werden sie zuverlässig das messen, was sie messen sollen und damit reliable und valide Antworten liefern? Heute stehen zur Evaluation von Fragen eine ganze Reihe von Verfahren zur Verfügung. Der vorliegende Beitrag rekapituliert einige der neueren Entwicklungen in diesem Bereich. Die sozialwissenschaftliche Methodenforschung, die im Bereich der Fragebogenkonstruktion durch die Zusammenarbeit mit Kognitionsforschern in den letzten Jahren zu äußerst praxisrelevanten Erkenntnissen kam, bezog seit Mitte der 80er Jahre auch den Pretestbereich mit ein. Diese neuen kognitionspsychologischen Verfahren bieten den Vorteil, Einblick in die Gedankenprozesse der Befragten zu gewinnen, um so Probleme bei Fragen zu identifizieren. Im Gegensatz dazu ist die Identifizierung vom Problemen beim Standard-Pretest ja nur dann der Fall, wenn Befragte selbst um Klärung bitten oder sich offensichtlich falsch verhalten. Insbesondere hat der Einsatz solcher Verfahren dazu beigetragen, Erkenntnisse bei der Beantwortung retrospektiver Fragen zu gewinnen. (ICE

Verfahren zur Evaluation von Survey-Fragen: ein Überblick

Wer Daten mittels Umfragen erhebt, kennt das Problem: Werden die Fragen des Fragebogens 'gute' Daten liefern, d.h. werden sie zuverlässig das messen, was sie messen sollen und damit reliable und valide Antworten liefern? Heute stehen zur Evaluation von Fragen eine ganze Reihe von Verfahren zur Verfügung. Der vorliegende Beitrag rekapituliert einige der neueren Entwicklungen in diesem Bereich. Die sozialwissenschaftliche Methodenforschung, die im Bereich der Fragebogenkonstruktion durch die Zusammenarbeit mit Kognitionsforschern in den letzten Jahren zu äußerst praxisrelevanten Erkenntnissen kam, bezog seit Mitte der 80er Jahre auch den Pretestbereich mit ein. Diese neuen kognitionspsychologischen Verfahren bieten den Vorteil, Einblick in die Gedankenprozesse der Befragten zu gewinnen, um so Probleme bei Fragen zu identifizieren. Im Gegensatz dazu ist die Identifizierung vom Problemen beim Standard-Pretest ja nur dann der Fall, wenn Befragte selbst um Klärung bitten oder sich offensichtlich falsch verhalten. Insbesondere hat der Einsatz solcher Verfahren dazu beigetragen, Erkenntnisse bei der Beantwortung retrospektiver Fragen zu gewinnen. (ICE

Zwei-Phasen-Pretesting

"Einen Fragebogen vor Beginn der Hauptstudie einem Test zu unterziehen, ist ein allgemein anerkannter methodischer Standard bei der Durchführung sozialwissenschaftlicher Umfragen. Dabei werden neben dem klassischen Testverfahren, dem Standard-Pretest, seit mehr als 10 Jahren auch sogenannte kognitive Techniken eingesetzt, die sich vor allem zur Überprüfung des Fragenverständnisses einzelner Fragen eignen. Im vorliegenden Bericht wird als Hilfestellung für die Praxis ein Verfahren – das 'Zwei-Phasen-Pretesting' - vorgestellt, das in zwei Schritten sowohl die Anwendung kognitiver Techniken als auch den Einsatz des Standard-Pretests vorsieht. Die Besonderheit des Verfahrens besteht in einer von den Autoren entwickelten standardisierten, von Interviewern im Feld anwendbaren Form kognitiver Techniken, dem Evaluationsinterview, das im ersten Schritt zum Einsatz kommt." (Autorenreferat

Ein Verfahren zur Erfassung von Erhebungsproblemen bei Interviews der Hauptstudie

Auch bei sorgfältiger Konstruktion eines Fragebogens läßt sich nicht ausschließen, daß dennoch Mängel am Instrument unerkannt bleiben. Diese Mängel äußern sich während des Erhebungsprozesses häufig in Form von Erhebungsproblemen: es treten Abweichungen vom geplanten Erhebungsverlauf auf wie Verständnisprobleme des Befragten, Rückfragen, inadäquate Antworten, Unsicherheiten des Interviewers aufgrund mißverständlicher Intervieweranweisungen im Fragebogen. Dieser Zusammenhang ließe sich dazu nutzen, aus dem Verlauf des Erhebungsprozesses Rückschlüsse auf die Qualität der Antworten abzuleiten. Auf dieser Grundlage wird in der vorliegenden Arbeit eine bisher nicht genutzte Möglichkeit vorgestellt, sowohl 'schlechte' Daten als auch Mängel am Erhebungsinstrument nach der Erhebung der Hauptstudie als solche zu identifizieren. Die dabei angewandte Technik stammt aus dem Pretest-Bereich, wobei das zugrundeliegende Prinzip in einer systematischen Sammlung aller während eines Interviews aufgetretenen Erhebungsprobleme besteht. In einem ersten Teil werden die Ergebnisse dargestellt, die mit der eingesetzten Technik zur Erhebung des Fragebogens Allbus 90 erzielt wurden, und zwar zunächst die relevanten Aspekte bezüglich der Anzahl der vom Interviewer genannten Erhebungsprobleme. Daran anschließend werden Ergebnisse vorgelegt, die sich auf die formale Struktur und die Inhalte der Interviewer-Hinweise beziehen. Die Untersuchung macht deutlich, daß das eingesetzte Verfahren es erlaubt, Erhebungsprobleme im nachhinein, also nach der Durchführung der Hauptstudie, als solche zu identifizieren. Diese Identifikation kann für einzelne Antworten, Fragen und Interviews sowie über das gesamte Datenmaterial vorgenommen werden. (ICE2

Erfassung kognitiver Aspekte des Antwortverhaltens in einer Delphi-Studie

'Es werden die Ergebnisse einer Studie vorgestellt, bei der es um die kognitiven Konstruktionsprinzipien geht, die die an einer Delphi-Befragung beteiligten Personen für die Erstellung ihrer Antworten benutzen. Im einzelnen wird gezeigt: 1. worin sich die Expertenschätzungen von den Schätzungen der Nichtexperten unterscheiden; 2. welche Rolle die Rückmeldungen der Ergebnisse aus der vorangegangenen Welle spielen; 3. ob die Schätzungen in der zweiten Runde höherwertig als die Schätzungen in der ersten Runde sind; 4. inwieweit es möglich ist, diese Fragen im Rahmen einer speziellen kognitiven Zusatzstudie, bei der gezielte Nachfragen eingesetzt werden, zu beantworten.' (Autorenreferat

Zur Anwendung der Interaction-Coding-Technik

Der Beitrag befaßt sich mit der Frage, in welchem Umfang die Interaction-Coding-Technik, bei der durch die Beobachtung des gesamten Interviewverlaufs Aussagen sowohl über Interviewer als auch über das Instrument gemacht werden, in der Lage ist, einen Beitrag zur Verbesserung der Qualität von Umfragedaten zu liefern. Dazu werden zwei Untersuchungen beschrieben. (1) In der ersten Untersuchung wird die Frage geklärt, inwieweit die Interaction-Coding-Technik geeignet ist, Interviewverhalten zu registrieren, zu analysieren und zu bewerten. Die Erhebung konzentriert sich auf den Verhaltensbereich des Interviewers. (2) In der zweiten Untersuchung steht das Instrument, d. h. der Fragebogen bzw. die einzelnen Fragen, im Mittelpunkt. Es wird geprüft, ob neben herkömmlichen Pretestmethoden die Interaction-Coding-Technik zusätzliche Befunde zum Funktionieren einzelner Fragen liefert, die über diejenigen konventioneller Techniken hinausgehen. (KW

Kognitive Interviews

'In der Umfrageforschung sind kognitive Interviews ein effektives Werkzeug, um potentielle Probleme bei Survey-Fragen zu identifizieren. In diesem Beitrag werden die wichtigsten kognitiven Techniken vorgestellt und Empfehlungen für die Durchführung kognitiver Interviews gegeben.' (Autorenreferat