IDEAS home Printed from https://ideas.repec.org/
MyIDEAS: Log in (now much improved!) to save this paper

Analyse der Panelausfälle im Sozio-oekonomischen Panel SOEP

Listed author(s):
  • Tobias Gramlich
Registered author(s):

    Nonresponse is a severe problem in sample surveys, especially in panel surveys, where nonresponse results not only in reduced efficiency of estimates compared to the full initial sample but the sample also becomes more and more selective with each wave of the panel since nonresponse is cumulative over all waves. Nonresponsethreatens the possibility to make inference on the population the sample was drawn from if the mechanism that leads to nonresponse is nonrandom and (observed or unobserved) characteristics of nonrespondents differ from the characteristics of respondents. If nonrespondents differ systematically from respondents nonresponse can cause biased estimates. The analysis of nonresponse and the mechanisms that lead to nonresponse is therefore essential in order to examine possible differences between nonrespondents and respondents and to account for nonresponse in estimation to avoid nonresponse bias in estimates. However, the threat of possible nonresponse bias is complicated by the fact that nonrespondents can differ not only systematically from respondents, but also different types of nonrespondents can differ systematically, splitting the original sample not only in respondents and nonrespondents but in different types of nonresponse categories. Each of the different types of nonresponse can be a source of a possible nonresponse bias and has distinct effects. For instance, refusals may bias the mean downwards, whereas noncontacts bias the mean away from zero: If nonresponse is not analysed separately, possible effects of the different types can be mixed, makingit diffcult or impossible to account for possible nonresponse bias accurately. This thesis analyses nonresponse in the German Socio-Economic Panel Study (SOEP) from 1984 untill 2005. In the yearly gross data of individuals, the SOEP documents up to 29 different reasons for nonresponse; some of them lead to final drop out (deceased, moved abroad, explicit refusal), whereas other nonrespondents are contacted again the following year according to the tracking rules. Unfortunately, due to changes in fieldwork coding schemes or different coding behavior of the interviewers, the coding scheme for the 29 reasons for nonresponse is not consistent over time,yielding 10 distinctive and consistent categories of nonresponse over time after summarising the original 29 categories. The thesis shows the development of the different categories of nonresponse in the SOEP. By looking at the whole history of contact information for every single observation, drop-out sequences are constructed showing participation patterns and typical sequences one, two, and three years prior to leaving the panel. Typical drop-out sequences are, for example, definite refusals after successful previous interviews or two consecutive waves of refusing. The next most frequent drop-out sequences are leaving the panel due to death or moving abroad after being interviewed successfully. Refusals after missing the previous wave because of being incapable for an interview is another rather typical drop-out sequence. Closely related to the language of sequences, the thesis estimates in the following transition probabilites between the different states using a first-order stationary Markov-Model. Since drop-out categories are unordered states, this can be done using multinomial logistic regression. Both, the results from looking at typical sequences, as well as the estimated transition probabilities show, that there is a high probability being repeatedly interviewed successfully, but the overall probability decreases markedly if a person is missing the previous wave for any reason. Especially for refusals there is a high probability for refusing again the following wave and therefore leaving the panel de_nitely. The same holds for noncontacts (either not found at the old address or not reached during the fieldwork period) in the previous wave: there is a relatively high probability for dropping out again due to refusal if found and reached at the new address, or they get lost since they are not found repeatedly. Whereas the (inverse of the) predicted probabilites can be used as rough propensity weights, the results point to clear implications for the fieldwork procedures of the interviewers: by all means, temporary drop-outs have to be avoided. Nonresponse stellt ein ernstzunehmendes Problem für die Möglichkeit dar, von einer Stichprobe auf die Grundgesamtheit zu schließen. Durch Nonresponse verringert sich zunächst die Fallzahl der Stichprobe, sodass sich die Effizienz der Schätzer der Grundgesamtheitsparameter im Vergleich zu einer Stichprobe ohne Nonresponse verringert. Zudem besteht die Gefahr der Verzerrung der Schätzer, wenn sich Teilnehmer von Nichtteilnehmern systematisch unterscheiden (Kapitel 1.2) und der Mechanismus, der zu Nonresponse führt nicht zufällig ist (Kapitel 1.3). Diese Ausfallmechanismen können sich für verschiedene Arten von Nonresponse unterscheiden (Kapitel 1.4). Dabei besteht grundsätzlich kein Unterschied zwischen Nonresponse in einmaligen Querschnittserhebungen und Ausfällen bei Wiederholungsbefragungen; die Besonderheiten für Panelausfälle werden in Kapitel 1.5 beschrieben. In Kapitel 2 werden theoretische Erklärungsansätze für Nonresponse diskutiert und anschließend Verfahren zur Korrektur von Nonresponse vorgestellt (Kapitel 3), um trotz Nonresponse unverzerrte Schätzer der Grundgesamtheitsparameter zu erhalten. Alle diese Korrekturverfahren treffen (zumindest implizit) eine Annahme über den Ausfallmechanismus. Da sich Ausfallmechanismen für unterschiedliche Ausfallarten unterscheiden können ist für eine Korrektur von Nonresponse eine Unterscheidung der Ausfallarten von zentraler Bedeutung. Der empirische Teil der Arbeit analysiert Ausfälle aus dem SozioOekonomischen Panel (SOEP), dessen Grundgesamtheit und einzelne Substichproben in Kapitel 4 vorgestellt und beschrieben werden. Das SOEP ist eine jährliche Wiederholungsbefragung privater Haushalte und aller erwachsenen Personen in diesen Haushalten. In den Kontaktprotokollen der Interviewer werden bis zu 29 unterschiedliche Kontaktergebnisse festgehalten. Da diese über die Jahre nicht konsistent erfasst wurden, ist eine Aufbereitung der Kontaktergebnisse für jede Welle notwendig, die durch die komplexe Struktur des SOEP erschwert wird (Kapitel 5). Der deskriptive Teil der Analyse der Panelausfälle im SOEP (Kapitel 6 ab Seite 93) zeigt die Entwicklung der verschiedenen Ausfallursachen seit Start des SOEP im Jahr 1984. Da das SOEP eine Wiederholungsbefragung derselben Personen ist, können die Abfolgen der jährlichen Kontaktergebnisse untersucht werden. Die Teilnahmemuster von Teilnahme und Nichtteilnahme der Befragungspersonen des SOEP werden in Kapitel 7.1 beschrieben. Betrachtet man für Nonrespondenten zusätzlich die Abfolge der detaillierten Ausfallursachen, ergeben sich Teilnahmesequenzen. Bei der deskriptiven Analyse dieser Teilnahmesequenzen in Kapitel 7.2 zeigen sich typische häufige Ausfallsequenzen aus dem SOEP für die letzten zwei bzw. letzten drei Jahre, bevor eine Beobachtung aus dem SOEP ausscheidet. Diese Ausfallsequenzen zeigen klare Implikationen für die Feldarbeit und Erhebungspraxis des SOEP auf. Eng verbunden mit der Beschreibung der Sequenzen schließt sich im folgenden Kapitel eine Modellierung der Ausfälle aus dem SOEP als diskrete und stationäre Markov-Kette an (Kapitel 8 ab Seite 112). Ziel der Analyse ist die Schätzung der Übergangswahrscheinlichkeiten zwischen den Kontaktergebnissen zwischen den Wellen. Da die Ausfallursachen als ungeordnete Kategorien vorliegen, können diese Übergangswahrscheinlichkeiten mit einem multinomialen Logitmodell geschätzt werden. Die Ergebnisse des Markov-Modells bestätigen die Ergebnisse der deskriptiven Analyse. Ziel der Arbeit liegt aber weniger in den Übergangswahrscheinlichkeiten im Sinne einer Propensity-Gewichtung, sondern es soll vielmehr gezeigt werden, dass die unterschiedlichen Ausfallarten verschiedeneWahrscheinlichkeiten für eine erneute Teilnahme bzw. einen erneuten Ausfall besitzen. Dadurch soll gezeigt werden, dass eine Korrektur von Nonresponse aufgrund einer einfachen Unterscheidung Respondenten - Nonrespondenten zu kurz greift (vor allem, wenn bestimmte Gruppen eine höhere Ausfallwahrscheinlichkeit durch eine bestimmte Ausfallursache haben) und einen möglichen Nonresponsebias nicht oder nur unzulänglich korrigieren kann.

    If you experience problems downloading a file, check if you have the proper application to view it first. In case of further problems read the IDEAS help page. Note that these files are not on the IDEAS site. Please be patient as the files may be large.

    File URL: http://www.diw.de/documents/publikationen/73/diw_01.c.89659.de/diw_sp0129.pdf
    Download Restriction: no

    Paper provided by DIW Berlin, The German Socio-Economic Panel (SOEP) in its series SOEPpapers on Multidisciplinary Panel Data Research with number 129.

    as
    in new window

    Length: 147 p.
    Date of creation: 2008
    Handle: RePEc:diw:diwsop:diw_sp129
    Contact details of provider: Postal:
    Mohrenstraße 58, D-10117 Berlin

    Phone: xx49-30-89789-671
    Fax: xx49-30-89789-109
    Web page: http://www.diw.de/en/soep
    Email:


    More information through EDIRC

    References listed on IDEAS
    Please report citation or reference errors to , or , if you are the registered author of the cited work, log in to your RePEc Author Service profile, click on "citations" and make appropriate adjustments.:

    as
    in new window


    1. Duncan Thomas & Elizabeth Frankenberg & James P. Smith, 2001. "Lost but Not Forgotten: Attrition and Follow-up in the Indonesia Family Life Survey," Journal of Human Resources, University of Wisconsin Press, vol. 36(3), pages 556-592.
    2. John Fitzgerald & Peter Gottschalk & Robert Moffitt, 1998. "An Analysis of Sample Attrition in Panel Data: The Michigan Panel Study of Income Dynamics," Journal of Human Resources, University of Wisconsin Press, vol. 33(2), pages 251-299.
    3. Lee A. Lillard & Constantijn W. A. Panis, 1998. "Panel Attrition from the Panel Study of Income Dynamics: Household Income, Marital Status, and Mortality," Journal of Human Resources, University of Wisconsin Press, vol. 33(2), pages 437-457.
    4. Denise Hawkes & Ian Plewis, 2006. "Modelling non-response in the National Child Development Study," Journal of the Royal Statistical Society Series A, Royal Statistical Society, vol. 169(3), pages 479-491.
    5. Gerard J. van den Berg & Maarten Lindeboom & Peter J. Dolton, 2006. "Survey non-response and the duration of unemployment," Journal of the Royal Statistical Society Series A, Royal Statistical Society, vol. 169(3), pages 585-604.
    6. Peter Lynn, 2006. "Editorial: Attrition and non-response," Journal of the Royal Statistical Society Series A, Royal Statistical Society, vol. 169(3), pages 393-394.
    7. Small, Kenneth A & Hsiao, Cheng, 1985. "Multinomial Logit Specification Tests," International Economic Review, Department of Economics, University of Pennsylvania and Osaka University Institute of Social and Economic Research Association, vol. 26(3), pages 619-627, October.
    8. Harold Alderman & Jere Behrman & Hans-Peter Kohler & John A. Maluccio & Susan Watkins, 2001. "Attrition in Longitudinal Household Survey Data," Demographic Research, Max Planck Institute for Demographic Research, Rostock, Germany, vol. 5(4), pages 79-124, November.
    9. Heckman, James, 2013. "Sample selection bias as a specification error," Applied Econometrics, Publishing House "SINERGIA PRESS", vol. 31(3), pages 129-137.
    10. Gert G. Wagner & Jürgen Schupp & Ulrich Rendtel, 1991. "Das Sozio-ökonomische Panel - Methoden der Datenproduktion und Aufarbeitung im Längsschnitt," Discussion Papers of DIW Berlin 31, DIW Berlin, German Institute for Economic Research.
    Full references (including those not matched with items on IDEAS)

    This item is featured on the following reading lists or Wikipedia pages:

    1. SOEP based publications

    When requesting a correction, please mention this item's handle: RePEc:diw:diwsop:diw_sp129. See general information about how to correct material in RePEc.

    For technical questions regarding this item, or to correct its authors, title, abstract, bibliographic or download information, contact: (Bibliothek)

    If you have authored this item and are not yet registered with RePEc, we encourage you to do it here. This allows to link your profile to this item. It also allows you to accept potential citations to this item that we are uncertain about.

    If references are entirely missing, you can add them using this form.

    If the full references list an item that is present in RePEc, but the system did not link to it, you can help with this form.

    If you know of missing items citing this one, you can help us creating those links by adding the relevant references in the same way as above, for each refering item. If you are a registered author of this item, you may also want to check the "citations" tab in your profile, as there may be some citations waiting for confirmation.

    Please note that corrections may take a couple of weeks to filter through the various RePEc services.

    This information is provided to you by IDEAS at the Research Division of the Federal Reserve Bank of St. Louis using RePEc data.