Response Latency Measurement in Surveys: Detecting Strong Attitudes and Response Effects

The paper reports on measurement and data treatment of response latencies in computer assisted surveys. Applying response latencies as a measure of mental processes, empirical hypotheses are tested to explain the occurrence of response effects (here: acquiescence bias) and the predictive power of generalized attitudes. Theoretically, it is assumed that behavioural and other specific evaluative judgments in surveys are stronger influenced by acquiescence bias and generalized attitudes when answering in a rather automatic-spontaneous response mode, i.e. when response latencies are fast. Additionally, it is assumed that chronic attitude accessibility acts as a moderator of acquiescence effects and predictive power of attitudes within spontaneous mode processing. Empirical tests show evidence in favour of these assumptions, demonstrating the usefulness of response time measurement in surveys

Responding to Socially Desirable and Undesirable Topics: Different Types of Response Behaviour?

Social desirability describes the tendency of respondents to present themselves in a more positive light than is accurate and is a serious concern in surveys. If researchers are better able to understand the underlying mechanisms responsible for social desirability bias, they may be able to devise ways to identify and correct for it. One possibility involves determining whether social desirability is more of a deliberate ‘editing’ of responses or an automatic, perhaps 'self-deceptive', act. Then researchers could potentially flag conspicuously fast or slow responses to improve data quality. We outline dual-process-related theoretical arguments for both scenarios and test their plausibility using data gathered in a tablet-based CASI survey of pre-service teachers in Germany that were asked to assess their suitability for their chosen profession. Our analysis involves the use of fixed-effects multilevel models that enable us to control for unobserved differences between respondent- and item-characteristics while also examining cross-level interactions between the predictors at various levels. Specifically, we examine the classic respondent- (i.e. need for social approval) and item-related characteristics (i.e. trait desirability) associated with social desirability bias, as well as the speed at which the respondents gave their answers. Doing so allows us to observe under what circumstances the respondents tended to overstate positive characteristics as well as understate negative ones. We find evidence for social desirability as an automatic as well as a deliberate response behaviour. However, the mechanism responsible for determining whether social desirability occurs automatically or deliberately seems to be whether the item content is desirable or undesirable. Desirable traits seem to elicit faster socially desirable responses whereas undesirable traits seem to elicit slower socially desirable responses

Can we measure nonattitudes by response reaction time? : a statistical analysis using survey data

Antwortreaktionszeitmessungen sind dank der Entwicklung computergestützter Telefoninterviews (CATI) auch in repräsentativen Bevölkerungsumfragen möglich geworden, werden jedoch selten genutzt. Einstellungstheoretisch wird die Antwort-reaktionszeit zumeist als ein Indikator für die Einstellungszugänglichkeit als ein Maß der Einstellungsstärke verwendet. Gemäß dieser Vorstellung werden Einstellungsäußerungen mit kurzen Reaktionszeiten als starke Einstellungen und solche mit langen als Nonattitudes inter-pretiert. Die vorliegende empirische Analyse einer repräsentativen CATI-Studie mit ca. 2000 Befragten zeigt jedoch, dass kurze Reaktionszeiten auch unter der Kontrolle von Störeffekten nicht generell als ein Zeichen hoher Einstellungszugänglichkeit und lange Reaktionszeiten nicht generell als ein Maß für das Vorliegen von Nonattitudes interpretiert werden können. Stattdessen verweisen die Ergebnisse auf die Multidimensionalität von Antwortreaktionszeit, die sich aus der Einstellungszugänglichkeit und dem verwendeten Informationsprozessmodus zusammensetzt. Zudem zeigt sich theoretisch wie empirisch, dass eine Vielzahl einstellungs-theoretisch unerwünschter Effekte Antwortreaktionszeiten beeinflussen und damit ihre Inter-pretation erschweren. Aus diesem Grund werden alternative Datenbehandlungsverfahren zur Bereinigung der ‚rohen’ Reaktionszeitdaten eingesetzt und evaluiert.Due to modern techniques of computer assisted telephone interviewing it has become possible to implement response latency measurements in large scale survey studies. However, this has not been done very often. This paper reports about the results of a nation-wide German survey study with 2000 respondents that was also designed to measure response latencies. It is argued that in attitude theory, response latencies are regarded as indicators of attitude accessi-bility and attitude strength. Accordingly, short response latencies should point to strong attitudes whereas long response latencies should indicate the presence of so-called ´nonattitudes´. However, our empirical findings do not support these assumptions. Even when we controlled our measurements for various potentially biasing influences we could not verify the traditional hypotheses connecting response latencies with attitude properties. In contrast, our results lead to an interpretation of response latencies as a multidimensional construct concerning attitude accessibility as well as characteristics of information processing. In addition, this paper reports in its technical parts about various methods of data treatment to control for biasing effects and to clean raw reaction time data

Is happiness an affective indicator of subjective well-being? : dimensions of subjective well-being and the difference between happiness and satisfaction

In der traditionellen Sozialindikatorenforschung wird Glück als affektiver und Zufriedenheit als kognitiver Indikator subjektiven Wohlbefindens benutzt. Die vorliegende Studie analysiert einige zentrale theoretische und empirische Probleme, die mit dieser Zuordnung verbunden sind. Sie berichtet über die Ergebnisse einiger statistischer Auswertungen, die zeigen, dass Glück kein affektiver Indikator subjektiven Wohlbefindens ist. Statt dessen verweisen diese Ergebnisse darauf, dass subjektives Wohlbefinden im Kontext eines ganz anderen Messmodells analysiert werden sollte, in dem zwischen einem momentanen ("state") und einem habituellen Zustand ("trait") von Wohlbefinden unterschieden wird. Je nach Wortlaut der betreffenden Survey-Fragen, kann sowohl Glück als auch Zufriedenheit ein Maß des momentanen oder des habituellen Wohlbefindens sein. Die statistischen Analysen basieren auf den Survey-Daten von rund 1000 Studierenden, die im Jahre 1999 im Rahmen eines Lehrforschungsprojektes befragt wurden.Traditional research on social indicators claims the difference between happiness and satisfaction regarding happiness as an affective and satisfaction as a cognitive indicator of subjective well-being. This study explores some crucial theoretical and empirical problems arising when both indicators are used in empirical research. The study reports the results of several statistical data analyses showing that happiness is not an affective indicator of subjective well-being. Instead, the empirical results lead to a different measurement model of well-being built on the difference between an actual (the "state") and a habitual (the "trait") expression of well-being. Depending on the wording of survey questions, happiness and satisfaction can be regarded as indicators of the state or the trait of well-being. The statistical investigation is based on survey data of 1000 college students at both Stuttgart universities. This survey was conducted as a student research project in 1999

Ist Glück ein affektiver Sozialindikator subjektiven Wohlbefindens? Dimensionen des subjektiven Wohlbefindens und die Differenz zwischen Glück und Zufriedenheit

"In der traditionellen Sozialindikatorenforschung wird Glück als affektiver und Zufriedenheit als kognitiver Indikator subjektiven Wohlbefindens benutzt. Die vorliegende Studie analysiert einige zentrale theoretische und empirische Probleme, die mit dieser Zuordnung verbunden sind. Sie berichtet über die Ergebnisse einiger statistischer Auswertungen, die zeigen, dass Glück kein affektiver Indikator subjektiven Wohlbefindens ist. Statt dessen verweisen diese Ergebnisse darauf, dass subjektives Wohlbefinden im Kontext eines ganz anderen Messmodells analysiert werden sollte, in dem zwischen einem momentanen ('state') und einem habituellen Zustand ('traft') von Wohlbefinden unterschieden wird. Je nach Wortlaut der betreffenden Survey-Fragen, kann sowohl Glück als auch Zufriedenheit ein Maß des momentanen oder des habituellen Wohlbefindens sein. Die statistischen Analysen basieren auf den Survey-Daten von rund 1000 Studierenden, die im Jahre 1999 im Rahmen eines Lehrforschungsprojektes befragt wurden." (Autorenreferat)"Traditional research on social indicators claims the difference between happiness and satisfaction regarding happiness as an affective and satisfaction as a cognitive indicator of subjective well-being. This study explores some crucial theoretical and empirical problems arising when both indicators are used in empirical research. The study reports the results of several statistical data analyses showing that happiness is not an affective indicator of subjective well-being. Instead, the empirical results lead to a different measurement model of well-being built on an the difference between an actual (the 'state') and a habitual (the 'trait') expression of well-being. Depending on the wording of survey questions, happiness and satisfaction can be regarded as indicators of the state or the trait of well-being. The statistical investigation is based on survey data of 1000 college students at both Stuttgart universities. This survey was conducted as a student research project in 1999." (author's abstract

Zur soziologischen Erklärung individuellen Geldspendens: eine Anwendung und Erweiterung der Theory of Reasoned Action unter Verwendung von Antwortlatenzzeiten in einem Mediator-Moderator-Design

"Die Studie stellt eine empirische Überprüfung von Mediator- und Moderator-Effekten im Rahmen einer modellgebundenen, statistischen Erklärung von Geldspendenverhalten vor. Mittels Daten eines deutschlandweiten CATI-Surveys mit zwei Erhebungswellen aus dem Jahr 2005 wird nachgewiesen, dass Effekte der Verhaltenseinstellung und der subjektiv wahrgenommenen Norm, die auf das Spendenverhalten einwirken, komplett durch die Verhaltensintention vermittelt werden (wie von Ajzen/ Fishbein 1980 postuliert). Zudem zeigt sich in einem erweiterten Modell im Kontext dualer Prozesstheorien der Informationsverarbeitung, dass die Antwortlatenzzeit der Verhaltensintentionsangabe (als Maß für den Modus der Informationsverarbeitung) ein signifikanter Moderator des direkten Effektes der Verhaltensintention sowie des indirekten Effektes der Verhaltenseinstellung auf das Spendenverhalten ist: beide Effekte sind signifikant stärker bei kurzen Latenzzeiten der Verhaltensintention (versus langen)." (Autorenreferat)"The study presents an empirical test of mediator and moderator effects when predicting individual money donations. The analysis is based on data from a nation-wide two-wave German CATI-survey conducted in 2005. It is shown that effects of the attitude toward money donations and of the respective subjective perceived norm (both influencing observed money donations) are totally mediated by the behavioural intention to donate money (as expected from Ajzen/ Fishbein 1980). Additionally, applying an extended model of dual mode information processing it is found that the response latency of behavioural intentions (as a measure of mode of information processing) is a significant moderator of the direct effect of behavioural intentions and of the indirect effect of attitudes influencing money donations: both effects are significant stronger when the response latency of behavioural intentions is short (versus long)." (author's abstract

Können Nonattitudes durch die Messung von Antwortreaktionszeiten ermittelt werden? Eine empirische Analyse computergestützter Telefoninterviews

Antwortreaktionszeitmessungen sind dank der Entwicklung computergestützter Telefoninterviews (CATI) auch in repräsentativen Bevölkerungsumfragen möglich geworden, werden jedoch selten genutzt. Einstellungstheoretisch wird die Antwortreaktionszeit zumeist als ein Indikator für die Einstellungszugänglichkeit als ein Maß der Einstellungsstärke verwendet. Gemäß dieser Vorstellung werden Einstellungsäußerungen mit kurzen Reaktionszeiten als starke Einstellungen und solche mit langen als Nonattitudes interpretiert. Die vorliegende empirische Analyse einer repräsentativen CATI-Studie mit ca. 2000 Befragten zeigt jedoch, dass kurze Reaktionszeiten auch unter der Kontrolle von Störeffekten nicht generell als ein Zeichen hoher Einstellungszugänglichkeit und lange Reaktionszeiten nicht generell als ein Maß für das Vorliegen von Nonattitudes interpretiert werden können. Stattdessen verweisen die Ergebnisse auf die Multidimensionalität von Antwortreaktionszeit, die sich aus der Einstellungszugänglichkeit und dem verwendeten Informationsprozessmodus zusammensetzt. Zudem zeigt sich theoretisch wie empirisch, dass eine Vielzahl einstellungstheoretisch unerwünschter Effekte Antwortreaktionszeiten beeinflussen und damit ihre Interpretation erschweren. Aus diesem Grund werden alternative Datenbehandlungsverfahren zur Bereinigung der 'rohen' Reaktionszeitdaten eingesetzt und evaluiert.' [Autorenreferat]"Due to modern techniques of computer assisted telephone interviewing it has become possible to implement response latency measurements in large scale survey studies. However, this has not been done very often. This paper reports about the results of a nationwide German survey study with 2000 respondents that was also designed to measure response latencies. It is argued that in attitude theory, response latencies are regarded as indicators of attitude accessibility and attitude strength. Accordingly, short response latencies should point to strong attitudes whereas long response latencies should indicate the presence of so-called 'nonattitudes'. However, our empirical findings do not support these assumptions. Even when we controlled our measurements for various potentially biasing influences we could not verify the traditional hypotheses connecting response latencies with attitude properties. In contrast, our results lead to an interpretation of response latencies as a multidimensional construct concerning attitude accessibility as well as characteristics of information processing. In addition, this paper reports in its technical parts about various methods of data treatment to control for biasing effects and to clean raw reaction time data." (author's abstract

Towards a sociological explanation of individual money donations : an application and extension of the Theory of Reasoned Action with response latency measurements in a mediator-moderator-design

Die Studie stellt eine empirische Überprüfung von Mediator- und Moderator-Effekten im Rahmen einer modellgebundenen, statistischen Erklärung von Geldspendenverhalten vor. Mittels Daten eines deutschlandweiten CATI-Surveys mit zwei Erhebungswellen aus dem Jahr 2005 wird nachgewiesen, dass Effekte der Verhaltenseinstellung und der subjektiv wahrgenommenen Norm, die auf das Spendenverhalten einwirken, komplett durch die Verhaltensintention vermittelt werden (wie von Ajzen/Fishbein 1980 postuliert). Zudem zeigt sich in einem erweiterten Modell im Kontext dualer Prozesstheorien der Informationsverarbeitung, dass die Antwortlatenzzeit der Verhaltensintentionsangabe (als Maß für den Modus der Informationsverarbeitung) ein signifikanter Moderator des direkten Effektes der Verhaltensintention sowie des indirekten Effektes der Verhal-tenseinstellung auf das Spendenverhalten ist: beide Effekte sind signifikant stärker bei kurzen Latenzzeiten der Verhaltensintention (versus langen).The study presents an empirical test of mediator and moderator effects when predicting individual money donations. The analysis is based on data from a nation-wide two-wave German CATI-survey conducted in 2005. It is shown that effects of the attitude toward money donations and of the respective subjective perceived norm (both influencing observed money donations) are totally mediated by the behavioural intention to donate money (as expected from Ajzen/Fishbein 1980). Additionally, applying an extended model of dual mode information processing it is found that the response latency of behavioural intentions (as a measure of mode of information processing) is a significant moderator of the direct effect of behavioural intentions and of the indirect effect of attitudes influencing money donations: both effects are significant stronger when the response latency of behavioural intentions is short (versus long)

The Low-Cost Hypothesis Is Not Enough. An Empirical Test of Variants of the Model of Frame-Selection for Improving the Prediction of the Influence of Attitudes on Behavior

Der Beitrag verfolgt das Ziel, die Low-Cost-Hypothese im theoretischen Rahmen des Modells der Frame-Selektion (MFS) zu rekonstruieren und Hypothesen über den Einfluss von Einstellungen auf Verhalten in High- und Low-Cost-Situationen abzuleiten. In diesem Kontext werden die Modellvarianten des MFS nach Esser und Kroneberg sowie das vom Autor vorgeschlagene Modell der Frame-Selektion mit Exit-Option aus dem automatisch-spontanen Modus (MFSE) einander gegenübergestellt und ihre jeweiligen Implikationen für die Modellierung von Low-Cost-Situationen diskutiert. Die abgeleiteten Hypothesen werden auf der Basis von Daten aus einer telefonischen Umfrage empirisch getestet. Gegenstand dieser empirischen Untersuchung ist das Geldspenden an soziale Hilfsorganisationen. Die Operationalisierung von Low- und High-Cost-Situationen erfolgt über das Äquivalenzeinkommen der Befragten. Im Ergebnis zeigt sich mittels Strukturgleichungsmodellen, dass die Vorhersagen des MFSE zutreffen, die anderen MFS-Varianten sowie die Low-Cost-Hypothese sich empirisch hingegen nicht bewähren. Demnach sind Einstellungen dann am einflussreichsten, wenn ihre kognitive Zugänglichkeit bzw. ihr „Match“ hoch ist und es sich um eine Low-Cost-Situation handelt.This article presents a theoretical reconstruction of the low-cost hypothesis in the context of the model of frame selection (MFS) in order to predict the influence of attitudes on behavior in low-cost and high-cost situations. Variants of the MFS by Esser, Kroneberg and my own model of frame selection with exit option out of the automatic mode (MFSE) are compared on a conceptual level in order to discuss their implications for modelling low-cost situations. The theoretical assumptions are empirically tested with structural equation models using data from a CATI-survey of donating to social charity organizations. Low- and high-cost situations are measured by respondents’ equivalent income. The empirical results show evidence in favor of the predictions of the MFSE, while the predictions of the other variants of the MFS as well as of the low-cost hypothesis are not supported by the data. This indicates that attitudes are most predictive if their cognitive accessibility, or match, is high and the decision is made in a low-cost situation