Précisions importantes sur le backtesting comparatif de la VaR[Important facts on comparative backtesting of Value at Risk]

La Valeur à Risque (VaR) demeure une mesure clé du risque de marché, notamment sous l’exigence Bâle du backtesting sur la VaR à 1%. Le backtesting standard évalue la couverture du modèle. Le backtesting comparatif mesure son économie. Ces deux approches sont essentielles et complémentaires, certes, mais différentes et parfois contradictoires. Effectivement, un modèle peut être désigné le meilleur économiquement, quoique non conforme réglementairement. Nous documenterons ces faits et approfondirons l’analyse des mécanismes reliés. D’autre part, la littérature actuelle du backtesting comparatif utiliserait inadéquatement le test DM. Lors des périodes de fortes violations groupées de la VaR, les fonctions de score produisent des valeurs extrêmes non indépendantes très asymétriques. La conclusion du test pourrait être invalide à cause d’un problème de stationnarité que la théorie suppose. Pour y remédier, le test DM est reconstruit à l’aide de fonctions de transformation appropriées. Il fournit ainsi des conclusions consistantes et statistiquement identiques, avec plusieurs combinaisons de fonctions de transformation et de fonctions de score distinctes. Value at Risk (VaR) remains a key measure of market risk, notably under the Basel requirement for backtesting on VaR at 1%. Standard backtesting evaluates the model’s coverage. Comparative backtesting measures its economic efficiency. These two approaches are essential and complementary, yet different and sometimes contradictory. Indeed, a model may be deemed the best economically, although not regulatory compliant. We will document those facts and conduct a thorough analysis of the underlying mechanisms involved. Moreover, the way the current literature on comparative backtesting uses the DM test might be inadequate. During periods of heavy clustered VaR violations, score functions produce very asymmetric and non-independent extreme values. A problem of stationarity theoretically assumed could render the test’s conclusion erroneous. To address this, the DM test is rebuilt using suitable transformation functions. It thus provides consistent and statistically identical conclusions with several combinations of distinct transformation functions and score functions.