The Use of Models in Producing OECD Macroeconomic Forecasts

This paper firstly describes the role of models in producing OECD global macroeconomic forecasts; secondly, reviews the OECD's forecasting track record; and finally, considers the relationship between forecast performance and models. OECD forecasts are not directly generated from a single global model, but instead rely heavily on expert judgment which is informed by inputs from a range of different models, with forecasts subjected to repeated peer review. For the major OECD economies, current year GDP growth forecasts exhibit a number of desirable properties including that they are unbiased, outperform naïve forecasts and mostly identify turning points. Moreover, there is a trend improvement in current-year forecasting performance which is partly attributed to the increasing use of high frequency ‘now-casting’ indicator models to forecast the current and next quarter’s GDP. Conversely, the track record of one-year-ahead forecasts is much less impressive; such forecasts are biased, often little better than naïve forecasts and are poor at anticipating downturns. Forecasts tend to cluster around those from other international organisations and consensus forecasts; it is particularly striking that differences in one-year-ahead forecasts between forecasters are relatively minor in comparison with the size of average errors made by all of them. This may reflect herding behaviour by forecasters as well as the mean reversion properties of models. These weaknesses in forecasting performance beyond the current year underline the importance of increased efforts to use models to characterise the risk distribution around the baseline forecast, including through the increased use of model-based scenario analysis. Le rôle des modèles dans la production des prévisions macroéconomique de l'OCDE Ce document décrit le rôle des modèles dans la production des prévisions macroéconomiques mondiales de l’OCDE, analyse a posteriori la performance des prévisions passées et examine le lien entre la qualité des prévisions et les modèles utilisés. Les prévisions de l’OCDE ne sont pas élaborées directement à partir d’un modèle mondial unique, mais reposent en grande partie sur des avis d’experts eux-mêmes formés à partir d’éléments provenant de différents modèles. Ces prévisions sont soumises à des spécialistes dans le cadre d’un processus itératif. En ce qui concerne les grandes économies de l’OCDE, les prévisions de croissance du PIB pour l’année en cours présentent un certain nombre de caractéristiques appréciables : elles sont non biaisées, plus exactes que les prévisions « naïves » et, dans la plupart des cas, identifient les points de retournement. En outre, on observe une amélioration tendancielle de la performance des prévisions pour l’année en cours, qui est en partie imputable au recours récent à des modèles d’indicateurs à haute fréquence permettant de prévoir le PIB du trimestre en cours et à venir (now-casting), mais aussi au poids croissant accordé à ces modèles et à l’amélioration de la qualité de leurs résultats. A contrario, l’analyse des prévisions à un an est bien moins convaincante ; ces prévisions sont biaisées, à peine meilleures que les prévisions « naïves » et peu efficaces pour prévoir les retournements de conjoncture. Elles sont généralement proches de celles des autres organisations internationales et du consensus des prévisionnistes, mais il est particulièrement frappant de constater que les disparités existant entre les prévisions à un an des différents prévisionnistes sont moindres comparées à l’ampleur des erreurs moyennes commises par l’ensemble de ces acteurs. Ce constat peut s’expliquer par le comportement moutonnier des prévisionnistes mais également par la tendance au retour à la moyenne qui caractérise les modèles. Ces faiblesses dans les prévisions à plus d’un an montrent qu’il importe d’intensifier les efforts visant à utiliser des modèles pour définir la distribution des risques autour de la prévision de référence, notamment en recourant davantage à l’analyse s’appuyant sur des modèles permettant de construire des scenarios.