Sample Size Calculation For Complex Sampling Designs (Version 1.0)

Before conducting a survey, researchers frequently ask themselves how large the resulting sample of respondents needs to be to answer their research questions. In this guideline, we discuss how sample size calculation is affected by the sampling design. We give practical advice on how to conduct sample size calculation for complex samples.Bevor eine Umfrage durchgeführt wird, stellen sich Forscher häufig die Frage, wie groß die Stichprobe der Befragten sein muss, um ihre Forschungsfragen zu beantworten. In diesem Leitfaden wird erörtert, wie die Berechnung des Stichprobenumfangs durch das Stichprobendesign beeinflusst wird. Wir geben praktische Ratschläge, wie der Stichprobenumfang für komplexe Stichproben berechnet werden kann

Gewichtungsverfahren in Dual-Frame-Telefonerhebungen bei Device-Specific Nonresponse

Die Vorzüge von Dual-Frame-Telefonerhebungen in Deutschland wurden bereits im Zuge der beiden CELLA-Erhebungen ausgiebig untersucht. Beide Erhebungen wurden durch GESIS, das Leibniz-Institut für Sozialwissenschaften, gemeinsam mit der Technischen Universität Dresden 2007/2008 und 2010/2011 veranlasst. Neben einer Vielzahl an Erkenntnissen über die Only-Population und den Möglichkeiten und Limitationen solcher Erhebungen, war ein entscheidendes Ergebnis die Entwicklung eines Gewichtungsansatzes, der auch heutzutage noch immer Verwendung findet. Dieser basiert auf einem Horvitz-Thompson-Schätzer zur Berücksichtigung ungleicher Auswahlwahrscheinlichkeiten sowie einem GREG-Schätzer zur Kalibrierung und Anpassungsgewichtung bei Non-response. Jedoch berücksichtigt dieses Vorgehen keine Antwortausfälle, die sich aufgrund der Auswahlgrundlage ergeben. Eine weitere Untersuchung der Daten der Erhebung CELLA 2 lässt indes vermuten, dass weitere Faktoren, fernab der soziodemografischen Charakteristika die Teilnahmewahrscheinlichkeit in solchen Erhebungen beeinflussen kann. Da die Kontaktergebnisse nach verwendetem Telekommunikationsmedium innerhalb dieser Erhebung erheblich voneinander abweichen, besteht die Vermutung, dass eine weitere Quelle des Nonresponse durch sich unterscheidende Nutzungsgewohnheiten von bestimmten Telekommunikationsmedien beschrieben werden kann. Um dieser Möglichkeit nachzugehen, führt die vorliegende Arbeit einen Gewichtungsansatz ein, der gerade diese von der Auswahlgrundlage und dem Telekommunikationsmedium abhängigen Quellen stärker berücksichtig. Dazu wird zuvor der Bereich der sog. Dual-User in mehrere disjunkte Nutzungskategorien unterteilt und anschließend ein modifizierter Composite-Gewichtungsansatz vorgestellt. Dieses Vorgehen wird anschließend anhand von geeigneten Erhebungen ausgiebig untersucht.The benefits of dual-frame telephone surveys in Germany have been extensively examined within both CELLA studies that GESIS, the Leibniz Institute for the Social Sciences, conducted in cooperation with the Dresden University of Technology in 2007/2008 and 2010/2011. Besides numerous insight regarding the population of only-households and the potentials of dual-frame surveys, a key-development has been a weighting approach that is nowadays commonly practised when weighting dual-frame surveys in Germany. The weighting approach adjusts for unequal inclusion probabilities by employing the Horvitz-Thompson-Estimator and for frame-independent nonresponse caused by socio-demographic characteristics using the GREG-Estimator. However, this weighting approach does not consider nonresponse in dual-frame surveys that is frame-dependent. A further investigation of CELLA 2's data suggests that there might be factors apart from socio-demographic characteristics that can affect individual response behavior. Since CELLA 2's call-outcomes of the landline and mobile sample differ considerably, another source of nonresponse might be determined by varying usage-patterns of specific means of communications within the overlap domain of a dual-frame survey. Therefore, this book will introduce a weighting approach that takes such frame-dependent, device-specific Response behavior into account by subdividing the overlap domain into several, disjoint categories determined by usage-patterns and employing a composite design weighting approach. This newly introduced weighting approach will then be evaluated by application on appropriate dual-frame surveys

Dual-Frame-Telefonstichproben: Entwicklung, Handhabung und Gewichtung

Die stetig steigende Verbreitung von Mobilfunkanschlüssen und deren Verwendungsmöglichkeiten sowie die Weiterentwicklungen im Bereich der Festnetztelefonie, die klassische Festnetzanschlüsse verdrängen, bewirken, dass klassische Festnetzstichproben die Möglichkeit, zuverlässige Aussagen über die Grundgesamtheit der Haushalte in Deutschland zu treffen, verfehlen können. Ein weiterer wichtiger Einflussfaktor ist der wachsende Anteil derjenigen Haushalte, die nur noch über das Mobilfunknetz erreichbar sind. Dies ist dadurch zu begründen, dass die ausschließliche Beschränkung auf den Auswahlrahmen Festnetz zunehmend zu Undercoverage führt. Dadurch besteht die Gefahr, dass Haushalte, die sich in wesentlichen Charakteristika von denen innerhalb des Auswahlrahmens Festnetz unterscheiden, bei einer solchen Erhebung ausgelassen werden. Die Konsequenz hieraus sind dann verzerrte Schätzergebnisse. Eine Möglichkeit dieses Undercoverage-Problem zu beheben, besteht in dem Übergang zu Multiple- Frame-Ansätzen, bei der sich eine Erhebung aus mehreren Stichproben, gezogen aus unterschiedlichen Auswahlrahmen, zusammensetzt. Am Beispiel Telefonumfragen sollen hierfür Dual-Frame-Ansätze, die sowohl den Festnetz- als auch den Mobilfunkbereich berücksichtigen, untersucht werden. Dazu wird in Kapitel 1 kurz die derzeitige Situation im Bereich der Telekommunikation innerhalb Deutschlands dargestellt, um anschließend in Kapitel 2 einen Überblick über unterschiedliche Dual-Frame-Ansätze sowie deren Auswahlrahmengestaltung zu liefern. Kapitel 3 beinhaltet einen Exkurs, der den Aufbau von Mobilfunknetzwerken sowie die Identifikation und Bereinigung von Mobilfunkrufnummerlisten via HLR Lookup erörtert. Das vierte Kapitel behandelt schließlich die Designgewichtung solcher Dual-Frame-Ansätze. Ein Ausblick der mögliche Neuerungen sowie den weiterführenden Forschungsbedarf aufzeigt, wird anhand des fünften Kapitels gegeben

Weighting (Version 2.0)

This contribution deals with the fundamental principles of weighting; the various types of weighting are taken into account. Terms such as design weighting and adjustment weighting are explained, and the Horvitz-Thompson estimator and the GREG estimator are presented

Gewichtung in der Praxis (Version 1.0)

In diesem Dokument werden die theoretischen Grundlagen der Gewichtung von Umfragedaten behandelt sowie verschiedene Gewichtungsverfahren anhand konkreter Anwendungsbeispiele weiter ausgeführt. Das Dokument dient als Grundlage für eine vereinheitlichte Dokumentation der Gewichtungsprozesse in den Umfrageprogrammen der Integrierten Erhebungs- und Dateninfrastruktur (IEDI), sowie einem verbesserten Verständnis der Kriterien, nach denen die Gewichtung von Umfragedaten erfolgt. Weiterhin verdeutlicht es die Auswirkungen der (Nicht-)Gewichtung. Um einen möglichst umfassenden Überblick zu gewährleisten, werden unterschiedliche Arten der Designgewichtung und Anpassungsgewichtung genauer erläutert und das Vorgehen anhand ausgewählter Beispiele erklärt

Long-term outcomes and quality of life following parotidectomy for benign disease

Objective: Parotidectomy worsens quality of life (QoL) in the short-term, but the long-term impact is unknown. In this study, we analysed the long-term effects of parotidectomy on QoL. Methods: In this prospective long-term follow-up study, participants were divided into three groups: short-term (ST) follow-up of six weeks, long-term (LT) follow-up of 13 years and short- and long-term (SLT) follow-up. QoL was assessed using the Parotidectomy Outcome Inventory (POI-8). Parotidectomies were classified based on whether the great auricular nerve (GAN) had been preserved or sacrificed. Results: In total, 164 observations were analysed, 74 in the LT group, 57 in the ST group and 33 in the SLT group. Hypoaesthesia was a major problem and facial palsy was a minor problem. Pain (p < 0.01) and hypoaesthesia (p < 0.001) were significantly lower after 13 years compared with after six weeks, and QoL was higher after 13 years compared with after six weeks (p = 0.04). The disease-specific impairment rate decreased from 70% at short-term follow-up to 30% at long-term follow-up. Removal of the GAN was associated with hypoaesthesia in the ST group (p = 0.028). Conclusions: Hypoaesthesia has a long-term impact on the QoL, and this should be emphasised during preoperative discussions

The interplay of incentives and mode-choice design in self-administered mixed-mode surveys

Self-administered mixed-mode surveys are increasingly used as an alternative to face-to-face surveys for collecting data from the general population. However, little is known about how decisions regarding the incentive scheme and the mode-choice design jointly affect key outcomes such as response rates, net sample composition, and survey costs. To study this, we drew a probability sample of the residential population of the city of Mannheim, Germany (N = 2,980) and randomly assigned target persons to one of four incentive schemes (€0, €1, or €2 prepaid incentive on first contact, and €2 delayed prepaid incentive) and one of two mode-choice designs (concurrent or sequential [web-push]). Our results indicate that small prepaid monetary incentives work better in concurrent than in sequential designs. Moreover, a €2 prepaid incentive in a concurrent design proved particularly successful for older target persons, probably reinforcing their sense of trust and reciprocity, while also fitting better with their survey-mode preferences. Finally, a €2 delayed prepaid incentive in a sequential design primarily motivated target persons aged under 50 years. This combination of incentive scheme and mode-choice design also proved to be most cost-effective in that age group. Based on our results, we recommend using sampling frame information on age to address different age groups with different combinations of incentive scheme and mode-choice design. This may help to maximize response rates, achieve a balanced net sample composition, and minimize survey costs

Evaluating an Alternative Frame for Address-Based Sampling in Germany: The Address Database From Deutsche Post Direkt

In Germany, the population registers with addresses of individuals can be used for address-based sampling. However, unlike countries with a centralized register, municipalities in Germany administer their registers themselves. This not only makes sampling for a nation­wide survey more costly and cumbersome but may also result in gaps in the gross sample, as selected municipalities may refuse to allow their registers to be used for sampling pur­poses. If substitute municipalities are not available, other sampling methods are required. The present study tested the feasibility of using the address database from Deutsche Post Direkt (ADB-DPD) as an alternative frame for address-based sampling in Germany. We simultaneously conducted two almost identical surveys in the German city of Mannheim with gross samples of equal size (N = 3,000). One sample was drawn from the city’s popu­lation register, the other from the commercial ADB-DPD. Our findings suggest that the ADB-DPD performs well both in terms of survey response and up-to-dateness. Due to relatively low costs and the fast provision of addresses, the ADB-DPD could be particu­larly attractive for survey projects with limited budgets and tight schedules. However, these benefits come at considerable cost. First, the use of the ADB-DPD is limited to self-admin­istered surveys. More importantly, in the net sample of the DPD survey, women and young persons were considerably underrepresented. This indicates coverage issues about which DPD provided no further information. Based on our analyses, we offer practical insights into the feasibility of using the ADB-DPD for sampling purposes and suggest avenues for future research

Gewichtung (Version 1.1)

In diesem Kapitel werden die Grundlagen der Gewichtung behandelt. Dabei werden die verschiedenen Arten der Gewichtung berücksichtigt. Termini wie Designgewichtung und Anpassungsgewichtung werden erläutert. Neben dem Horvitz-Thompson Schätzer wird auch der GREG-Schätzer vorgestellt

Adaptation of the AAPOR Final Disposition Codes for the German Survey Context (Version 1.0)

Detailed and precise documentation is the key to scientific research and of particular importance for high-quality data collection. An important parameter for each survey is the response rate. It reflects how many persons initially invited to participate finally took part in a survey interview. In any case, every survey based on a probability sample should report its response rate, since it provides first and easily assessable information about the data collection process. The American Association for Public Opinion Research (AAPOR) has proposed Standard Definitions that include final disposition codes as guidelines for reporting of response rates. These definitions take various modes of data collection into account. However, the final disposition codes proposed by AAPOR are based on sampling and data collection practices in the context of the United States. To date, there is no clear guidance on how to adapt these definitions in a comparable manner for the German context. This survey guideline aims to close this information gap and offers operational definitions for the AAPOR final disposition codes that are applicable in the German context