IDEAS home Printed from https://ideas.repec.org/a/pal/imfstp/v33y1986i2p304-344.html
   My bibliography  Save this article

Evaluating Fund Stabilization Programs with Multicountry Data: Some Methodological Pitfalls (Evaluation des programmes de stabilisation du Fonds à partir de données sur divers pays: quelques écueils méthodologiques) (La evaluación de los programas de estabilización del Fondo con los datos de diversos países: algunas dificultades metodológicas)

Author

Listed:
  • Morris Goldstein

    (International Monetary Fund)

  • Peter Montiel

    (International Monetary Fund)

Abstract

In the context of the continuing debate on Fund conditionality, many researchers both inside and outside the Fund have attempted to estimate the effects of Fund programs through the use of multicountry samples. A key challenge in such work is to estimate the counterfactual--that is, what would have happened in program countries in the absence of Fund programs. Two methodologies have been dominant in approaching this problem. The before-after approach implicitly estimates the counterfactual on the basis of preprogram outcomes in the program countries. The control-group approach, in contrast, relies on observed outcomes in nonprogram countries to estimate what would have happened in program countries in the absence of programs. Both approaches are subject to potentially serious statistical problems. Because the problems associated with the control-group approach are less well known (at least in the context of evaluating Fund programs), the paper focuses on the potential sources of bias in this methodology. In particular, the paper shows that, unless the program group is randomly selected, observed outcomes in the control group may be systematically different from what would have happened in the program-country group in the absence of programs. Further, there are good a priori reasons for believing that the assignment of countries to program and nonprogram groups is not random. The paper presents some empirical evidence, drawn from the experience of the 1970s, to support this view. Estimates of program effects that control for observable preprogram differences between program and nonprogram countries turn out to be quite different from those that do not control for these differences. Application of the control-group methodology to multicountry samples therefore requires the removal of "sample-selectivity bias," which can arise from a variety of sources. On a broader level, the paper demonstrates that considerable caution is needed in attempting to estimate and interpret the effects of Fund programs by using multicountry data. /// Dans le cadre du débat permanent sur la conditionnalité du Fonds, un certain nombre de chercheurs, qu'ils soient membres du personnel de l'organisation ou non, se sont efforcés d'estimer les effets des programmes du Fonds à partir d'échantillons constitués par plusieurs pays. L'une des difficultés majeures que présentent ces travaux consiste à estimer ce qui se serait passé dans les pays à programme en l'absence de tout programme du Fonds. Deux méthodes principales ont été utilisées à cette fin. La première, ou méthode pre-post-programme, estime de manière implicite ce qui se serait passé en l'absence de programme à partir des résultats enregistrés avant l'application du programme dans les pays à programme. La seconde, ou méthode du groupe de contrôle, utilise en revanche les résultats observés dans des pays sans programme pour estimer ce qui se serait passé dans les pays à programme en l'absence de tout programme. Ces deux méthodes soulèvent des difficultés statistiques qui peuvent être sérieuses. Parce que les problèmes liés à la méthode du groupe de contrôle sont moins bien connus (du moins dans le contexte de l'évaluation des programmes du Fonds), les auteurs de l'étude mettent l'accent sur les sources éventuelles de biais de cette méthode. Ils montrent notamment que les pays à programme doivent être sélectionnés de manière aléatoire; sinon, les résultats qui sont observés dans les pays du groupe de contrôle peuvent différer de manière systématique de ceux qu'auraient enregistrés, en l'absence de programmes, le groupe des pays à programme. Il existe en outre a priori de bonnes raisons de croire que l'affectation des pays au groupe de pays à programme ou au groupe de pays sans programme n'est pas aléatoire. Les auteurs présentent certains résultats empiriques, obtenus dans les années 1970, pour corroborer cette hypothèse. Les estimations des effets des programmes en cas de contrôle des écarts observables avant l'application d'un programme entre les pays à programme et les pays sans programme s'avèrent tout à fait différentes de celles pour lesquelles ces écarts ne sont pas contrôlés. L'application de la méthode du groupe de contrôle à des échantillons constitués par plusieurs pays nécessite donc l'élimination du biais lié à la sélectivité de l'échantillon, qui peut provenir de diverses sources. De manière plus générale, les auteurs démontrent dans leur étude qu'il importe de faire preuve de la plus grande prudence lors de l'estimation et de l'interprétation des effets des programmes du Fonds au moyen de données relatives à plusieurs pays. /// En el marco del persistente debate sobre la condicionalidad del Fondo, muchos investigadores, pertenecientes a esta institución o ajenos a ella, se han valido de muestras de diversos países para estimar los efectos de los programas del Fondo. Una dificultad crucial en esa labor es la estimación de los efectos antitéticos; es decir, los que se hubieran producido de no haberse aplicado el programa del Fondo. Para resolver ese problema se aplican dos métodos principales. En el método que consiste en comparar la situación anterior con la posterior se estima implícitamente la situación antitética basándose en los resultados obtenidos anteriormente en los países que han aplicado programas del Fondo. En cambio, en el método de grupo de control para estimar lo que habría ocurrido en los países de no haberse aplicado programas en los mismos se toman como referencia los resultados observados en países en los que no se han aplicado programas. Ambos enfoques están expuestos a problemas estadísticos que pueden llegar a ser graves. Como los problemas relacionados con el método de grupo de control son menos conocidos (por lo menos en el contexto de la evaluación de los programas del Fondo), el presente estudio se concentra en los sesgos en potencia de ese método. Se pone de manifiesto, en especial, que a menos que se seleccione al azar a los países con programas, los resultados observados en el grupo de control pueden diferir sistemáticamente de los que se habrían dado en el grupo de los países con programas de no haberse aplicado éstos. Por añadidura, existen buenas razones para creer que la inclusión de los países en el grupo de los que tienen programa o de los que no lo tienen no se hace al azar. Para respaldarlo se presenta cierta evidencia empírica sacada de la experiencia de la década de los setenta. Los datos obtenidos fueron sumamente dispares según que, para estimar los resultados de los programas, se tuvieran en cuenta o no las diferencias entre los dos mencionados grupos de países en lo referente a su situación anterior a los programas. Por tanto, para que pueda aplicarse la metodología de grupo de control a las muestras plurinacionales hay que eliminar el "sesgo de la selectividad de la muestra", que puede obedecer a diversas causas. En el presente trabajo se demuestra, a un nivel más amplio, que se debe obrar con bastante prudencia cuando se trata de estimar e interpretar los efectos de los programas del Fondo mediante el uso de datos plurinacionales.

Suggested Citation

  • Morris Goldstein & Peter Montiel, 1986. "Evaluating Fund Stabilization Programs with Multicountry Data: Some Methodological Pitfalls (Evaluation des programmes de stabilisation du Fonds à partir de données sur divers pays: quelques écueils," IMF Staff Papers, Palgrave Macmillan, vol. 33(2), pages 304-344, June.
  • Handle: RePEc:pal:imfstp:v:33:y:1986:i:2:p:304-344
    as

    Download full text from publisher

    File URL: http://www.jstor.org/stable/3867072?origin=pubexport
    File Function: main text
    Download Restriction: Access to full text is restricted to subscribers.

    As the access to this document is restricted, you may want to search for a different version of it.

    More about this item

    Statistics

    Access and download statistics

    Corrections

    All material on this site has been provided by the respective publishers and authors. You can help correct errors and omissions. When requesting a correction, please mention this item's handle: RePEc:pal:imfstp:v:33:y:1986:i:2:p:304-344. See general information about how to correct material in RePEc.

    For technical questions regarding this item, or to correct its authors, title, abstract, bibliographic or download information, contact: (Sonal Shukla) or (Springer Nature Abstracting and Indexing). General contact details of provider: http://www.palgrave-journals.com/ .

    If you have authored this item and are not yet registered with RePEc, we encourage you to do it here. This allows to link your profile to this item. It also allows you to accept potential citations to this item that we are uncertain about.

    We have no references for this item. You can help adding them by using this form .

    If you know of missing items citing this one, you can help us creating those links by adding the relevant references in the same way as above, for each refering item. If you are a registered author of this item, you may also want to check the "citations" tab in your RePEc Author Service profile, as there may be some citations waiting for confirmation.

    Please note that corrections may take a couple of weeks to filter through the various RePEc services.

    IDEAS is a RePEc service hosted by the Research Division of the Federal Reserve Bank of St. Louis . RePEc uses bibliographic data supplied by the respective publishers.