Experimental Design in Evaluating VaR Forecasts

Abstract

Following a dynamic development of VaR estimation methods from 90s, in recent literature much attention has been paid to testing procedures designed to evaluate quality of VaR models. There has been a wide-ranging discussion on both – statistical properties and empirical application of the two most popular tests, which are Kupiec test from 1995 that considers the ratio of VaR exceedances and Christoffersen autocorrelation test from 1998. We focused on autocorrelation property and compared Christoffersen test to Ljung Box test of 1978 and to the proposition of Engle and Mangianelli from 2004. The goal of the paper was to explore the design of experiments in the context of evaluating power of autocorrelation tests. We presented and contrasted simulation experiments proposed in the literature, indicated their design influence on the results and proposed a new scheme for power evaluating in autocorrelation tests.

W ślad za dynamicznym rozwojem metod estymacji VaR, począwszy od lat dziewięćdziesiątych ubiegłego wieku, w literaturze pojawiła się obszerna dyskusja dotycząca możliwości testowania statystycznego w kontekście oceny modeli VaR. Z jednej strony powstało wiele prac odnoszących się do własności statystycznych dwóch najpopularniejszych testów – testu Kupca z 1995 roku, który bada udział przekroczeń VaR w szeregu i testu autokorelacji przekroczeń VaR Christoffersena z 1998 roku. Z drugiej strony istnieje bogata literatura dotycząca zastosowań rozważanych testów do empirycznych szeregów czasowych. W niniejszej pracy skoncentrowano się na analizie własności testów autokorelacji i porównano test Christoffersena do testów Ljunga Boxa z 1978 roku i testu Engla i Mangianelli’ego z 2004. Celem pracy było przedstawienie przeglądu eksperymentów symulacyjnych wykorzystywanych do badania mocy testów autokorelacji przekroczeń VaR w odniesieniu do założeń metody Monte Carlo oraz zaprezentowanie własnej propozycji eksperymentu.