Imputation: Methods, Simulation Experiments and Practical Examples

When conducting surveys, two kinds of nonresponse may cause incomplete data files: unit nonresponse (complete nonresponse) and item nonresponse (partial nonresponse). The selectivity of the unit nonresponse is often corrected for. Various imputation techniques can be used for the missing values because of item nonresponse. Several of these imputation techniques are discussed in this report. One is the hot deck imputation. This paper describes two simulation experiments of the hot deck method. In the first study, data are randomly generated, and various percentages of missing values are then non‐randomly‘added’to the data. The hot deck method is used to reconstruct the data in this Monte Carlo experiment. The performance of the method is evaluated for the means, standard deviations, and correlation coefficients and compared with the available case method. In the second study, the quality of an imputation method is studied by running a simulation experiment. A selection of the data of the Dutch Housing Demand Survey is perturbed by leaving out specific values on a variable. Again hot deck imputations are used to reconstruct the data. The imputations are then compared with the true values. In both experiments the conclusion is that the hot deck method generally performs better than the available case method. This paper also deals with the questions which variables should be imputed and what the duration of the imputation process is. Finally the theory is illustrated by the imputation approaches of the Dutch Housing Demand Survey, the European Community Household Panel Survey (ECHP) and the new Dutch Structure of Earnings Survey (SES). These examples illustrate the levels of missing data that can be experienced in such surveys and the practical problems associated with choosing an appropriate imputation strategy for key items from each survey. En efectuant des enquètes, deux possibilités de non‐réponse peuvent causer des fichiers incomplets de donées; la nonréponse d'unité (non‐réponse complète)et la non‐réoibse d'uten (non‐réponse partielle). la sélectivité de la non‐réponse d'unité est sovent corrigée. Diverses techniques d'imputation peuvent être utilisées pour compenser pour des valeurs manquantes dues à la non‐réponse d'items. Plusieurs de ces techniques d'imputation sont discutées dans ce rapport. Une de ces techniqus est l'imputation pa 'hot‐deck'. Ce rapport décrit deux expériences de simulation d'un 'hot‐deck'. dans la premitère étude, des données sont génées aléatoirment, et divers pourcentages de valeurs manquantes sont ajoutés non aléatoirement aux données. Un 'hot‐deck' est utilisé pour reconstruire les données dand cette expérience de. Monte Carlo. La performance de la méthode est évaluée pour les moyennes, écarts‐types et coefficients de corrélation et elle est comparée avec la méthode de cas disponibles. Dans la deuxième étude, la qualité de l'imputation est étudiée par une simulation. Un sous‐ensemble de donnés de l'enquète néerlandaise sur les besoins en logements est peturbé en supprimant des valeurs soécifiques sur une variable. Le 'hot‐deck' est utilisé de nouveau pour reconstruire est que génêralement, la méthode de hot deck marche mieux que la méthode de cas disponibles. Ce rapport traite aussi des question telles quelles variables devaient être; imputées et combien de temps devrait‐on imputer. finalement la théorie est illustrée par les approches d'imputation de l'enquête néerkabdause sury (ECHP) et de la novelle enquecarete néerlandaise sur la structue des salaires [Structure of Earnings survey (SES)]. Ces exemples illustrent illustrent les niveaux de données manquantes aui peuvent eecaretre observés dans de telles enquêtes et les problèms pratiques associès avec le choix d'une stratègie d'imputation appropriée pour les items clés de chaque enquête.