Experimenting with Large Language Models for Inflation Forecasting in Colombia

This paper develops and applies a standardized framework for forecasting year-on-year inflation in Colombia using large language models (LLMs). We conduct six sequential experiments in which the information set available to the models is progressively expanded by incorporating historical macroeconomic data, contextual indicators, explicit economic structure, and contemporaneous information retrieved through web search. Each configuration is executed daily and generates 24-month inflation forecasts in real time rather than retrospectively, together with qualitative explanations of the forecasts and, in the more advanced configurations, assessments of the shocks affecting inflation. This real-time design mitigates look-ahead bias and produces genuine forecast vintages. The framework is implemented as a programmatic pipeline in Python that queries the OpenAI and Google APIs, executes predefined experiment-specific prompts, and automatically processes and stores the model responses, while applying forecast validation and revision procedures in the more advanced configurations. The results show that richer information environments produce less monotonic inflation paths that remain above the 3% target over the forecast horizon and are more consistent with the contemporaneous domestic and external shocks affecting inflation. The qualitative analysis also enables the identification of key inflation drivers and the interactions among them. These richer forecast paths are broadly consistent with the pattern observed in survey-based inflation expectations. A formal evaluation of forecast accuracy will be conducted as additional real-time forecast vintages become available. *** RESUMEN: Este artículo desarrolla y aplica un marco estandarizado para pronosticar la inflación anual en Colombia utilizando los LLM (Large Language Models LLMs). Se llevan a cabo seis experimentos secuenciales en los que el conjunto de información disponible para los modelos se amplía progresivamente mediante la incorporación de datos macroeconómicos históricos, indicadores contextuales, una estructura económica explícita e información contemporánea obtenida a través de búsquedas en la web. Cada configuración se ejecuta diariamente y genera pronósticos de inflación a 24 meses en tiempo real junto con explicaciones cualitativas de las proyecciones. El marco se implementa mediante un pipeline programático en Python que consulta las API de OpenAI y Google, ejecuta prompts predefinidos y específicos para cada experimento, y procesa y almacena automáticamente las respuestas de los modelos. Los resultados muestran que los entornos con conjuntos de información más ricos generan trayectorias de inflación menos monotónicas, que permanecen por encima de la meta del 3% a lo largo del horizonte de pronóstico y son más consistentes con los choques domésticos y externos contemporáneos que afectan la inflación. El análisis cualitativo también permite identificar los principales determinantes de la inflación y las interacciones entre ellos. Estas trayectorias de pronóstico, construidas a partir de conjuntos de información más amplios, son en términos generales consistentes con el patrón observado en las expectativas de inflación provenientes de encuestas.