Backtesting

Modelos de Capital y Reservas

Mayo 2009
1. Antecedentes
2. Backtesting
3. Perspectivas
Contenido
Backtesting de los Modelos de Reservas y Capital
z Nuevos esquemas regulatorios a nivel mundial, como Solvencia II, tienden a la
utilizacin de modelos propios por parte de las compaas de seguros y bancos.
z Dichos modelos idealmente habran de medir las obligaciones de la compaa con
base en las caractersticas y comportamiento propio de sus riesgos; sin embargo,
ante la complejidad de stos, no es posible determinar analticamente si darn
resultados congruentes con la realidad.
z Adicionalmente, ante el comportamiento dinmico de los riesgos, existe la constante
posibilidad de que el modelo se desajuste.
z Ante tal circunstancia, la herramienta ms eficiente para vigilar el desempeo de los
modelos es la prueba retrospectiva llamada Back Testing.
z Mxico tiende a la adopcin de un esquema regulatorio que contempla la aplicacin
de modelos propios, lo que obliga a implementar esquemas de Back Testing.
Antecedentes
1. Antecedentes
2. Backtesting
3. Perspectivas
Contenido
Backtesting de Reservas y Capital
z El Backtesting es un procedimiento tcnico que consiste en validar la
precisin y validez de un modelo ideado para hacer estimaciones de un
determinado valor contingente, mediante la comparacin de las
estimaciones hechas por el modelo respecto de los valores reales
observados en periodos anteriores.
z No existe modelos nicos predefinidos de Backtesting, se debe crear la
prueba dependiendo del tipo de modelos que se quieren validar.
z No obstante, existen principios fundamentales para hacer el Backtesting.
Un grado de tolerancia para la magnitud del error entre la estimacin y la
realidad.
Una tolerancia para el nmero de veces que puede fallar el modelo.
Definicin de Backtesting
Backtesting de Reservas y Capital
z En el contexto de Solvencia II, la adopcin de modelos propios para
estimar las reservas y capital de solvencia, pueden generar resultados
que son susceptibles de diferir de la realidad en un grado de error
producido por la variacin natural del fenmeno o por que el modelo es
errneo.
z Ante esto, resulta necesario definir esquemas de Backtesting para
determinar la precisin y validez de los modelos adoptados por la
compaas.
z Tres cuestiones fundamentales deben definirse:
Cmo sern los modelos de Backtesting que deben aplicarse?
A qu modelos se le debe aplicar Backtesting?
Cules sern las tolerancias para el error de los modelos?
Utilidad la Prueba de Backtesting en el Contexto de Solvencia II
Backtesting de Reservas y Capital
z En el esquema regulatorio de Basilea II, se establece el Backtesting que deben
aplicar las instituciones bancarias, al momento de calcular su capital de solvencia.
z Consiste en analizar el nmero de veces que un modelo de estimacin del capital,
ajustado con un nivel del confianza del 99%, falla en un ao, de 250 pruebas
realizadas durante el periodo de un ao.
1. Se dice que el modelo presenta una excepcin, cuando se observa que el valor real de las
prdidas son superiores a la estimacin dada por el modelo.
2. Dado que el modelo se supone ajustado al 99% de confianza, entonces se establece que la
tolerancia es de una excepcin por cada 100 ensayos (uno diario).
3. Cuando el modelo falla ms de una vez en cada 100, se establecen esquemas de alerta que
van de amarillo a rojo, dependiendo del nmero de veces que las excepciones han superado
al parmetro de tolerancia. La mxima tolerancia es de 4 fallas en 100 veces (4%).
El Esquema de Basilea II, para Instituciones Bancarias
Funcin de Densidad de Prdidas
Backtesting de Reservas y Capital
z En modelos de prediccin, los valores que exceden la magnitud de la estimacin
son llamadas excepciones o fracasos.
El Esquema de Basilea II, para Instituciones Bancarias
Se presenta una excepcin,
cuando la realidad supera a
la estimacin hecha con el
modelo (excedencia).
Backtesting de Reservas y Capital
z Dado que la estimacin est determinada al 99% de confianza, se puede considerar
un modelo binomial con probabilidad de xito del 0.99 y probabilidad de fracaso del
0.01. Con base en este criterio se establece que en 100 observaciones o ms, slo
habr el 1% de excepciones. En Basilea II, se da una tolerancia mxima del 4%, es
decir, cuatro excepciones en 100 ensayos.
z La tolerancia del 4% se establece para evitar errores de tipo I y II. El error de tipo I
consiste en rechazar un modelo que es adecuado, el error tipo II consiste en
aceptar un modelo que es inadecuado.
z Aun cuando un modelo sea adecuado, puede presentar excepciones por encima del
nmero esperado, pero a medida que se desva el nmero de excepciones, es ms
improbable que el modelo sea adecuado. Para ello se puede establecer el nmero
de excepciones a partir de lo cual se rechaza la hiptesis de que el modelo sea
adecuado, con un alto grado de confianza.
z Este criterio ha sido criticado por no tomar en cuenta la magnitud de la excedencia
que se genera en cada excepcin.
El Esquema de Basilea II, para Instituciones Bancarias
Backtesting de Reservas y Capital
z A manera de ejemplo, tenemos la frmula de Requerimiento de Capital para
instituciones bancarias en Argentina:
z El factor multiplicativo ha sido justificado mediante la desigualdad de Chebyshev,
desigualdad que implica que las fronteras para un nivel de confianza del 99%, nunca
estarn a ms de 10 desviaciones de la media, independientemente de la
distribucin. En este sentido, cuando se desconoce la verdadera distribucin, el
factor se justifica.
La frmula de Capital de Argentina

+ =

=
+
60
1
1 1
) 3 ( , max
i
t t t t
VaR s VaR MRC
Backtesting de Reservas y Capital
z Se deben crear pruebas de Backtesting para los modelos propios de estimacin de
reservas. En este caso, se debe probar tanto el valor esperado del riesgo, como el
margen de riesgo.
z Tambin se deben crear pruebas de Backtesting para modelos propios de capital.
z Por otra parte, las tcnicas de VaR no son apropiadas, debido a que el riesgo de
seguros difiere de manera importante del riesgo financiero de instrumentos de
inversin.
z Las diferencias ms relevantes son:
1. Las mediciones de prdidas de seguros no son diarias, por lo que la serie estadstica para el
backtesting requiere un mayor periodo de observacin.
2. Las variables de riesgo de seguros son dos (siniestros y tasa), por lo que se presenta la
dificultad de tener variables aleatorias conjuntas, cuya funcin de distribucin conjunta es
difcil de obtener.
Qu debe hacerse en Mxico?
Backtesting de Reservas y Capital
z Las reservas son el valor medio de las obligaciones. Lo anterior plantea la
necesidad de elaborar un Backtesting para la media. La media es un valor que con
un determinado grado de confianza su valor se encontrar en un determinado
intervalo (intervalo de confianza).
z Resulta natural realizar la prueba de Backtesting dando un intervalo de confianza
para la variacin de esa media, y determinar en funcin de ello, el nmero de
excepciones que se realizarn en un determinado periodo, que deben corresponder
a aqullas que permiten eliminar errores del tipo I y II. Con base en el nmero de
excepciones, se pueden definir zonas de aceptacin (verde), advertencia (amarilla),
y rechazo (roja).
z Otro enfoque es crear un intervalo de confianza para el error de la media, con base
en una estadstica de errores observado en el mercado, definidos dichos errores
como porcentaje de la media.
z Se produce una excepcin cuando el valor de la media real difiere del estimador en
una cantidad que se ubica fuera del intervalo de confianza.
Un modelo de Backtesting para Reservas
Backtesting de Reservas y Capital
z Las reservas son el valor medio de las obligaciones. Lo anterior plantea la necesidad de elaborar
un Backtesting para la media. La media es un valor que con un determinado grado de confianza su
valor se encontrar en un determinado intervalo (intervalo de confianza).
Un modelo de Backtesting para Reservas
Media 10
Varianza 1
Veces la desv. (k) 2.00
Intervalo aceptacin 8.00
Prob. acumuladas 0.0228
Prob. intervalo 95.45%
Prob. excepcin 4.55%
0.00
0.05
0.10
0.15
0.20
0.25
0 2 4 6 8 10 12 14 16 18 20
Prob intervalo
Densidad
Zona de Excepciones
Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
Media 10
Varianza 1
Veces la desv. (k) 2.00
Prob. intervalo 95.45%
Prob. excepcin 4.55%
0.00
0.05
0.10
0.15
0.20
0.25
0 2 4 6 8 10 12 14 16 18 20
Prob intervalo
Densidad
Excepciones Probabilidad
0 18.70%
1 50.80%
2 77.58%
3 92.04%
4 97.73%
5 99.47%
6 99.90%
7 99.98%
8 100.00%
9 100.00%
10 100.00%
11 100.00%
12 100.00%
13 100.00%
14 100.00%
15 100.00%
16 100.00%
17 100.00%
18 100.00%
19 100.00%
20 100.00%
0
2
4
6
8
10
12
14
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35
observaciones
limite inferior
media
limite superior
Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
Excepciones Probabilidad
0 18.70%
1 50.80%
2 77.58%
3 92.04%
4 97.73%
5 99.47%
6 99.90%
7 99.98%
8 100.00%
9 100.00%
10 100.00%
11 100.00%
12 100.00%
13 100.00%
14 100.00%
15 100.00%
16 100.00%
17 100.00%
18 100.00%
19 100.00%
20 100.00%
z Con base en el nmero de excepciones, calculando la
probabilidad del nmero excepciones mediante una binomial,
cuya probabilidad de xito es la probabilidad de excedencia
de la estimacin, en caso de pruebas de una cola o la
probabilidad de caer fuera del intervalo de confianza en el
caso de pruebas con intervalos de confianza, como es el
caso.
z El nmero de excepciones que puedan presentarse con a lo
ms el 95% de confianza definen la zona verde, en tanto que
la zona amarilla es para nmero de excepciones que puedan
presentarse con un grado de confianza superior al 95%, pero
menor al 99.99% de confianza, definiendo la zona roja como
aquella en donde el nmero de excepciones slo puede
ocurrir con una probabilidad muy pequea, es decir que la
probabilidad de que ese nmero de excepciones no ocurra es
del 99.99%.
Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
0.00
0.05
0.10
0.15
0.20
0.25
0 2 4 6 8 10 12 14 16 18 20
Prob intervalo
Densidad
Excepciones Probabilidad
0 90.73%
1 99.57%
2 99.99%
3 100.00%
4 100.00%
5 100.00%
6 100.00%
7 100.00%
8 100.00%
9 100.00%
10 100.00%
11 100.00%
12 100.00%
13 100.00%
14 100.00%
15 100.00%
16 100.00%
17 100.00%
18 100.00%
19 100.00%
20 100.00%
Media 10
Varianza 1
Veces la desv (k) 3.00
Prob. intervalo 99.73%
Prob. de excepcin 0.27%
0
2
4
6
8
10
12
14
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35
observaciones
limite inferior
media
limite superior
Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
z Adicionalmente, es necesario establecer una prueba que permita detectar un modelo que no
obstante que se mantiene dentro del intervalo, extraamente presente resultados siempre
inferiores a la media.
z En este caso, se puede aplicar una prueba binomial que nos indique la probabilidad de que una
serie de valores aleatorios sea factible. Supongamos que se observ que de 30 ensayos, 25 veces
estos se ubicaron debajo de la media. Cul es la probabilidad de tener 25 valores por debajo de la
media en 30 ensayos?.
0
2
4
6
8
10
12
14
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29
observaciones
limite inferior
media
limite superior
Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
z La probabilidad de que ese escenario ocurra es inferior a 0.005 por lo que el modelo se rechaza,
con una probabilidad muy baja de que exista un error de tipo I o II.
000132719 . 0
2
1
2
1
25
30
) Pr(
5 25
=
|
.
|

\
|
|
.
|

\
|
|
|
.
|

\
|
=
i
E
0
2
4
6
8
10
12
14
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29
observaciones
limite inferior
media
limite superior
Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
z No obstante, un modelo incorrecto podra pasar las dos pruebas ya que podra cumplir con la
binomial pero estar cargado hacia abajo o hacia arriba.
z Para estos caso, se probara la diferencia de medias, determinando que el modelo es incorrecto
cuando la media de los resultados del modelo, an pasando las dos pruebas anteriores, sea
inferior representativamente a la media real. Esta ltimo caso se basara en realizar una prueba
de hiptesis sobre la media.
0
2
4
6
8
10
12
14
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29
observaciones
limite inferior
media
limite superior
Serie5
Backtesting de Reservas y Capital
Un modelo de Backtesting para Capital
z El modelo de Backtesting para capital o para margen de riesgo, debe basarse en la probabilidad de
exceder la estimacin hecha al 99.5% de confianza, considerando excedencia a toda prdida
observada superior a la estimacin.
z Se debe considerar que el criterio coincide con el de VaR, sin embargo la funcin de distribucin de
prdidas tiene un mayor grado de dificultad.
Funcin de Densidad de Prdidas
Se presenta una excepcin,
cuando la realidad supera a
la estimacin hecha con el
modelo (excedencia).
1. Antecedentes
2. Backtesting
3. Perspectivas
Contenido
Backtesting de Reservas y Capital
Perspectivas
z Es necesario idear modelos de Backtesting apropiados para cada modelo
que se quiera probar, entre de los ms importantes:
Reservas de riesgos en curso
Reserva de Siniestros ocurridos no reportados
Requerimientos de Capital de Solvencia
Modelos de estimacin de prdidas financieras VaR.
Modelos de estimacin de prdidas por descalce
Modelos de estimacin de PML
Backtesting de Reservas y Capital
Perspectivas
Estos modelos no existen, se deben idear !! de acuerdo a
nuestras necesidades..
Backtesting
Modelos de Capital y Reservas
Mayo 2009