Auswirkungen von Referenzzeiträumen auf die Selbstangaben zum freiwilligen Engagement: Ergebnisse einer experimentellen Studie

This study examines to which extent the use of a specific time frame affects self-reports on volunteering. We apply an experimental approach within the scope of the SOEP Innovation Sample (SOEP-IS) 2018. We use a split-ballot design and divide the SOEP-IS sample into two randomized subsamples with one subsample receiving questions on volunteering with a time frame of twelve months and the other subsample receiving identical questions without the time frame specification. The questions on volunteering are taken from two established surveys, the German Survey on Volunteering (FWS) and the Socio-Economic Panel (SOEP). We expect the use of the twelve-months time frame to increase the likelihood of respondents to indicate a voluntary engagement. At the same time, we expect this effect to depend on the survey question: Since the SOEP survey question records frequencies of volunteering (at least once a week, at least once a month, more rarely or never) and the FWS survey question does not, we expect the impact of the time frame to be more pronounced in the context of the FWS than of the SOEP question. Our findings indicate that the use of the twelve-months time frame is indeed associated with increased self-reports but only in the context of the FWS and not the SOEP question. To conclude, it is crucial to reflect on and to optimize survey questions; yet, adding a time frame may have an effect on respondents’ self-reports. In der vorliegenden Studie wird untersucht, inwiefern sich der Einsatz eines spezifischen Zeitfensters bei Survey-Abfragen zum ehrenamtlichen und freiwilligen Engagement – im Vergleich zu Survey-Abfragen mit unspezifischen Zeitfenstern – auf die Selbstangaben von Befragten auswirkt. Die Grundlage der Untersuchung bildet ein Experiment, welches zu diesem Zweck im Rahmen des SOEP-Innovationssamples (SOEP-IS) 2018 durchgeführt wurde. Unter Anwendung eines Split-Ballot Designs wurde die Stichprobe des SOEP-IS in zwei randomisierte Teilstichproben unterteilt. Eine Gruppe von Befragten erhielt Fragen zum Engagement mit einem spezifischen Zeitfenster von zwölf Monaten, eine andere Gruppe erhielt diese Fragen zum Engagement ohne ein solches spezifisches Zeitfenster. Die Fragen zum Engagement stammen aus zwei etablierten Umfragestudien in Deutschland, dem Deutschen Freiwilligensurvey (FWS) 2014 und Sozio-oekonomischen Panel (SOEP) 2017. Es wird erwartet, dass die Einführung eines Zwölf-Monats-Zeitfensters die Wahrscheinlichkeit dafür erhöht, dass Befragte ein Engagement angeben. Da in der SOEP-Abfrage Häufigkeiten des Engagements erfasst werden (jede Woche, jeden Monat, seltener oder nie), die einen zeitlichen Bezug vorgeben, wird erwartet, dass der Effekt der Einführung eines Zwölf-Monats-Zeitfensters in der FWS-Abfrage stärker als in der SOEP-Abfrage ausfällt. Diese Annahmen werden bestätigt. Im FWS führte die Einführung eines Zwölf-Monats-Zeitfensters für die Engagementabfrage zu einem statistisch signifikanten durchschnittlichen Marginaleffekt (AME) von etwas über drei Prozentpunkten. Für die Engagementabfrage aus dem SOEP zeigt sich dieser Effekt nicht. Insgesamt lässt sich festhalten, dass es sich lohnt, Frageformulierungen zu reflektieren und zu optimieren. Dabei sollten mögliche Auswirkungen bedacht werden, die diese Änderungen auf das Antwortverhalten der Befragten haben könnten.