Interviewer Falsification in Survey Research: Detection Methods and Impact of Fraudulent Interviews

The role of the interviewer and sources of interviewer error in the survey data collection process are widely discussed topics in the survey methodology literature. An understudied problem in this context is the falsification of interview data by the interviewer. Research gaps concern, for example, how conclusions drawn from survey data are affected by falsified interviews. So far it is commonly assumed, that the possible effect of falsifications on univariate statistics can only be as high as the overall share of falsified data. Since the share of faked data is usually very low for most surveys, the problem is regarded as negligible. However, this advice is unlikely to hold for all types of survey questions. For bi- and multivariate statistics, the impact of interviewer falsification has also received little research attention. A further research gap concerns the utility and sensitivity of different identification methods proposed in the literature. Overall, the number of proposed identification methods is quite considerable, and numerous falsification indicators are suggested by different authors. Such indicators attempt to distinguish between honest and fake interviewing behaviours as well as the responding styles of real and fictional respondents. These indicators can be differentiated between formal indicators (analyzing the response behavior), content related indicators (analyzing the distribution of different items) as well as indicators on paradata (analyzing differences within the paradata). These indicators can be incorporated into a variety of statistical methods (e.g. cluster analysis) that attempt to identify “at risk” interviewers. However, it is rare to find empirical evaluations of these methods in real-world settings. The above research gaps are partially due to the lack of appropriate empirical data made publicly available to researchers. A large proportion of studies are based solely on experimental (or simulated) data, for which the universal validity of the results are questionable. Using actual fake interview data from a large survey in Germany, we investigated and sought to address the above research gaps. These data include a variety of different question types that permit a broad and systematic comparison of the described methods. Hence, this paper aims to 1) identify the potential biases introduced by interviewer falsification, and 2) evaluate the potential usefulness of various identification strategies proposed in the literature. In addition, we propose new falsification detection methods to improve future interviewer controls

Chapter 7: Statistical Identification of Fraudulent Interviews in Surveys: Improving Interviewer Controls Appendix 7

Table A7A.1 Number of identical response pattern

Detecting Interviewer Fraud Using Multilevel Models

Interviewer falsification, such as the complete or partial fabrication of interview data, has been shown to substantially affect the results of survey data. In this study, we apply a method to identify falsifying face-to-face interviewers based on the development of their behavior over the survey field period. We postulate four potential falsifier types: steady low-effort falsifiers, steady high-effort falsifiers, learning falsifiers, and sudden falsifiers. Using large-scale survey data from Germany with verified falsifications, we apply multilevel models with interviewer effects on the intercept, scale, and slope of the interview sequence to test whether falsifiers can be detected based on their dynamic behavior. In addition to identifying a rather high-effort falsifier previously detected by the survey organization, the model flagged two additional suspicious interviewers exhibiting learning behavior, who were subsequently classified as deviant by the survey organization. We additionally apply the analysis approach to publicly available cross-national survey data and find multiple interviewers who show behavior consistent with the postulated falsifier types

Arbeitsmarktintegration ukrainischer Geflüchteter : Erwerbstätigkeit steigt ein Jahr nach dem Zuzug

Mit mehr als einer Million Personen ist Deutschland nach Polen das wichtigste Zielland für ukrainische Geflüchtete seit Beginn des russischen Angriffskriegs gegen die Ukraine. Die erfolgreiche Integration dieser Menschen in den Arbeitsmarkt und ihre Teilhabe auch in anderen Bereichen der Gesellschaft stellt eine zentrale Herausforderung dar. Es wird untersucht, wie sich die Arbeitsmarktintegration der seit Ende Februar 2022 zugezogenen ukrainischen Geflüchteten entwickelt hat

Ukrainian refugees in Germany : Escape, arrival and everyday life

Das Institut für Arbeitsmarkt- und Berufsforschung (IAB), das Bundesinstitut für Bevölkerungsforschung (BiB), das Forschungszentrum des Bundesamts für Migration und Flüchtlinge (BAMF-FZ) und das Sozio-oekonomische Panel (SOEP) am Deutschen Institut für Wirtschaftsforschung (DIW Berlin) haben 11.225 geflüchtete Ukrainerinnen und Ukrainer zwischen August und Oktober 2022 befragt. Die Befragung kann auf die Grundgesamtheit der ukrainischen Geflüchteten, die seit Kriegsausbruch am 24.2.2022 bis zum 8. Juni 2022 nach Deutschland zugezogen sind, hochgerechnet werden. Die Ergebnisse zeigen, dass die meisten Geflüchteten wegen der Kriegshandlungen aus der Ukraine geflohen und aufgrund bestehender persönlicher Netzwerke und der Achtung der Menschenrechte nach Deutschland gezogen sind. Rund 80 Prozent der erwachsenen Geflüchteten sind weiblich. Knapp die Hälfte lebt mit minderjährigen Kindern und vier Fünftel ohne Partner oder Partnerin in Deutschland. Gut 70 Prozent verfügen über Hochschul- oder vergleichbare Bildungsabschlüsse. Nur 4 Prozent verfügen über gute oder sehr gute, weitere 14 Prozent über mittlere deutsche Sprachkenntnisse. Allerdings hatte zum Befragungszeitpunkt bereits die Hälfte einen Sprachkurs begonnen oder abgeschlossen. 17 Prozent waren zum Befragungszeitpunkt erwerbstätig. Unter den Erwerbstätigen übten rund 70 Prozent eine qualifizierte Tätigkeit aus. Der Gesundheitszustand der Geflüchteten ist im Durchschnitt gut, die Lebenszufriedenheit aber viel geringer als im deutschen Bevölkerungsdurchschnitt. Gut ein Drittel der Geflüchteten wollen dauerhaft oder für mehrere Jahre in Deutschland bleiben, ebenfalls ein Drittel Deutschland nach Kriegsende wieder verlassen, 27 Prozent können noch keine Aussagen über ihre Bleibeabsichten treffen

Ukrainian refugees in Germany: Escape, arrival and everyday life

Die gemeinsame Kurzstudie des Instituts für Arbeitsmarkt- und Berufsforschung (IAB), des Bundesinstituts für Bevölkerungsforschung (BiB), des Forschungszentrums des Bundesamtes für Migration und Flüchtlinge (BAMF-FZ) und des Sozio-oekonomischen Panels (SOEP) am DIW Berlin stellt die ersten zentralen Befunde aus der gemeinsamen Studie "Geflüchtete aus der Ukraine in Deutschland" vor. Im Fokus der bundesweiten Studie stehen die Lebensumstände und die damit verbundenen zentralen Unterstützungsbedarfe der ukrainischen Geflüchteten in Deutschland.The short study by the Institute for Employment Research (IAB), the Federal Institute for Population Research (BiB), the Research Centre of the Federal Office for Migration and Refugees (BAMF-FZ) and the Socio-Economic Panel (SOEP) at the German Institute for Economic Research (DIW Berlin) presents the first key findings from the joint study "Refugees from Ukraine in Germany". The focus of the nationwide study is on the living conditions and the associated central support needs of Ukrainian refugees in Germany

Ukrainian refugees in Germany: Escape, arrival and everyday life

The Russian invasion of Ukraine has triggered the largest movement of refugees in Europe since World War II. More than one million people have fled from Ukraine to Germany since the start of the war. The study “Ukrainian Refugees in Germany (IAB-BiB/FReDA-BAMF-SOEP Survey)” provides the first representative insights into the living situation of these refugees and their plans for the future. It is being conducted jointly by the Institute for Employment Research (IAB), the Federal Institute for Population Research (BiB), the Research Centre of the Federal Office for Migration and Refugees (BAMF-FZ), and the Socio-Economic Panel (SOEP) at the German Institute for Economic Research (DIW Berlin). To collect data for the study, 11,225 Ukrainian refugees were surveyed between August and October 2022

Geflüchtete aus der Ukraine in Deutschland: Flucht, Ankunft und Leben

Die gemeinsame Kurzstudie des Instituts für Arbeitsmarkt- und Berufsforschung (IAB), des Bundesinstituts für Bevölkerungsforschung (BiB), des Forschungszentrums des Bundesamtes für Migration und Flüchtlinge (BAMF-FZ) und des Sozio-oekonomischen Panels (SOEP) am DIW Berlin stellt die ersten zentralen Befunde aus der gemeinsamen Studie "Geflüchtete aus der Ukraine in Deutschland" vor. Im Fokus der bundesweiten Studie stehen die Lebensumstände und die damit verbundenen zentralen Unterstützungsbedarfe der ukrainischen Geflüchteten in Deutschland.The short study by the Institute for Employment Research (IAB), the Federal Institute for Population Research (BiB), the Research Centre of the Federal Office for Migration and Refugees (BAMF-FZ) and the Socio-Economic Panel (SOEP) at the German Institute for Economic Research (DIW Berlin) presents the first key findings from the joint study "Refugees from Ukraine in Germany". The focus of the nationwide study is on the living conditions and the associated central support needs of Ukrainian refugees in Germany

Geflüchtete aus der Ukraine in Deutschland: Ergebnisse der ersten Welle der IAB-BiB/FReDA-BAMF-SOEP Befragung

Der gemeinsame Forschungsbericht des Instituts für Arbeitsmarkt- und Berufsforschung (IAB), des Bundesinstituts für Bevölkerungsforschung (BiB), des Forschungszentrums des Bundesamtes für Migration und Flüchtlinge (BAMF-FZ) und des Sozio-oekonomischen Panels (SOEP) am DIW Berlin stellt vertieft zentrale Befunde aus der gemeinsamen Studie "Geflüchtete aus der Ukraine in Deutschland" vor. Im Fokus der bundesweiten Studie stehen das Ankommen, die aktuellen Lebensumstände sowie Zukunftspläne der ukrainischen Geflüchteten in Deutschland. Die Analysen basieren auf rund 11.700 Interviews mit ukrainischen Männern und Frauen, die im Zeitraum vom 24. Februar bis zum 8. Juni 2022 nach Deutschland gekommen sind. Die Interviews wurden deutschlandweit auf Basis standardisierter Fragebögen online (CAWI) oder per Papierfragebogen (PAPI) im Zeitraum von August bis Oktober 2022 durchgeführt. Im Zuge der Stichprobenziehung wurden zunächst anhand des Ausländerzentralregisters (AZR) 100 Gemeinden mit einem hohen Anteil von ukrainischen Geflüchteten ausgewählt. Die ausgewählten Gemeinden wurden dann gebeten, Adressen dieser Zielpopulation zur Verfügung zu stellen. Durch Verwendung von Gewichten ist die Stichprobe repräsentativ für diese Grundgesamtheit. Die Studie ist als Längsschnittbefragung geplant, im Frühjahr 2023 wird eine zweite Befragungswelle durchgeführt. Erste zentrale Befunde aus der ersten Welle wurden bereits im Dezember 2022 im Rahmen einer Kurzanalyse veröffentlicht

Ukrainian Refugees in Germany: Evidence From a Large Representative Survey

This study describes the first wave of the IAB-BiB/FReDA-BAMF-SOEP Survey on Ukrainian Refugees in Germany, a unique panel dataset based on over 11,000 interviews conducted between August and October 2022. The aim of the IAB-BiB/FReDA-BAMF-SOEP Survey is to provide a data-infrastructure for theory-driven and evidence-based research on various aspects of integration among Ukrainian refugees in Germany, the second most important destination country in the EU after Poland, hosting over a million people who arrived in Germany shortly after the Russian invasion of Ukraine. Based on the survey, this study also provides first insights into demographic, educational, linguistic, occupational, and social characteristics of this population. The analyses revealed that the refugee population comprised mostly young and educated individuals, with a significant proportion of females without partners and female-headed separated families. While German language skills were limited, about half of Ukrainian refugees had attended or were attending language courses. However, the integration process faced significant challenges, as the participation of children in day-care was relatively low, and the self-reported life satisfaction was markedly below the average of the German population. The study highlights the need for targeted policy measures to address such issues. Additionally, policies may aim at harnessing the high potential of the Ukrainian refugees for the German labor market. Given that a substantial proportion would like to stay in Germany permanently, policymakers should take note of these findings and aim to facilitate their long-term integration process to ensure that these refugees may thrive in Germany