Comparación de Alternativas

1
 Comparación de Alternativas
• El objetivo es determinar si una configuración es mejor
que otra con respecto a un criterio de performance.
• Hay dos pruebas estadísticas para responder esta
pregunta:
– El Paired-t Test y
– El Two-Sample Test.
• Tratan de determinar un punto estimado de la diferencia
promedio entre las medias respectivas de los diseños de
configuración de sistemas.
• Se construye un intervalo de confianza para un punto
estimado de la diferencia entre las medias.
2
 Comparación de Alternativas
Debemos tener en cuenta las siguientes consideraciones:

• H0 : μ1 = μ2 ó su equivalente H0 : μ1 - μ2 = 0
• H1 : μ1 ≠ μ2 ó su equivalente H1 : μ1 - μ2 ≠ 0

• H0 nos dice que el valor de μ1 no es significativamente

diferente de μ2 con un nivel α de significancia.
• H1 nos dice que el valor de μ1 y μ2 son
significativamente diferentes con un nivel α de
significancia.

3
 Comparación de Alternativas
• Consideremos el intervalo de confianza siguiente:
[ L_inferior < μ1 - μ2 < L_superior ]
• Si H0 es verdadera, el intervalo de confianza hallado
debe incluir el valor cero con una probabilidad de 1- α.
• Si el intervalo de confianza incluye el valor cero, no
debemos rechazar H0 y concluimos que el valor de μ1
no es significativamente diferente del valor de μ2 con un
nivel α de significancia.
• Si el intervalo de confianza no incluye cero, rechazamos
H0 y concluimos que el valor de μ1 es significativamente
diferente que el valor de μ2 con un nivel α de
significancia.
4
 Comparación de Alternativas
Posibles posiciones de un intervalo de confianza

No
(a) debemos
rechazar Ho

Rechazamos
(b) Ho

(c) Rechazamos
Ho

μ1- μ2 = 0

5
 Paired-t Test
• Dos grupos de observaciones son diferentes solo en un
aspecto o “tratamiento”.
• Muestras Pareadas: Se llaman pares correspondientes
a dos observaciones que son los mas similares posibles
entre si. Solo difieren en un aspecto relevante.

6
 Paired-t Test
Ejm.
• Un investigador médico desea probar los efectos de nuevos
medicamentos.
• A veinte personas en un grupo se les hace corresponder de la
manera mas próxima posible con 20 personas de un segundo grupo
en términos de peso, edad, sexo, nivel de actividad, colesterol y
cualquier otro factor.
• Entonces tenemos 20 pares de “gemelos idénticos”.
• A uno de los grupos se le proporciona una nueva droga, y el otro
recibe otra medicina.
• Solo el investigador sabe cual grupo recibe cada medicamento.
• Toda diferencia subsiguiente, buena o mala, en las presiones
sanguíneas de los “gemelos” se atribuye a las medicinas debido a
que se han “corregido” todos los otros factores relevantes
• Es decir, se han elaborado pares de observaciones (gemelos) que
son idénticos en términos de los demás factores relevantes.
7
 Paired-t Test
• Otro método para utilizar muestras pareadas
involucra el análisis de las mismas
observaciones antes y después del tratamiento.
• Una práctica común en la industria es evaluar a
los empleados en los programas de
capacitación.
• Entonces se tiene un puntaje “antes” y uno
“después” de la capacitación en cada
observación (empleado).
• Todo cambio en el puntaje puede atribuirse a
esta formación adicional.

8
 Paired-t Test
Puntaje
Empleado Antes de la
capacitación
Después de la
capacitación
di di 2

1 9.0 9.2 -0.2 0.04

2 7.3 8.2 -0.9 0.81
3 6.7 8.5 -1.8 3.24
4 5.3 4.9 0.4 0.16
5 8.7 8.9 -0.2 0.04
6 6.3 5.8 0.5 0.25
7 7.9 8.2 -0.3 0.09
8 7.3 7.8 -0.5 0.25
9 8.0 9.5 -1.5 2.25
10 7.5 8.0 -0.5 0.25
74.0 79.0 -5.0 7.38

Sea d i la diferencia entre todo par correspondiente. La media

de las diferencias entre todos los pares seria entonces: 9
 Paired-t Test
Diferencia promedio entre las observaciones pareadas:

_
d d i

 5.0
 0.5
n 10

Desviación estándar de las diferencias entre las observaciones

pareadas:
_2

d
2
nd 7.38  10(0.5) 2
Sd  i
  0.736
n 1 9

Se requiere del estadístico t, para un nivel de confianza del 90% y n-

1= 9 grados de libertad t = 1.833:

10
 Paired-t Test
Intervalo para la diferencia entre medias; observaciones pareadas:
_
Sd 0.736
I .C. para  d  d  t  0.5  (1.833)
n 10

 0.927   d  0.073

Como se restaron los puntajes posteriores al entrenamiento de los

puntajes anteriores al entrenamiento, produciendo valores negativos, se
puede estar 90% seguro de que la media de los puntajes posteriores al
entrenamiento esta entre 0.073 puntos y 0.927 puntos mas alto.

11
 Paired-t Test y la Simulación
• Una prueba pareada (Paired-t Test) requiere que el
número de réplicas ejecutadas de un modelo para cada
alternativa sea igual.
• La ecuación para calcular un intervalo de confianza bajo
estas condiciones es:
_
Sd _
Sd
dt   d  d  t 
( n 1,1 )
2 n ( n 1,1 )
2 n

n d i    d i 
2 2
2
Sd  Sd 2
Sd 
n(n  1)
12
 Paired-t Test y la Simulación
• Suponga que se usa la simulación para analizar el % de
utilización de recursos para dos alternativas.
• Llamemos a las dos alternativas método #1 y método
#2.
• Se ejecutan diez réplicas de un modelo para cada
alternativa.
• La siguiente tabla contienen los datos de utilización de
recursos (expresado en porcentaje de tiempo total
trabajado) generado para cada réplica del modelo.

13
 Ejercicio Para el Alumno
Observacio % utilización en % utilización en Diferencia entre Cuadrado de la
nes la i-ésima réplica la i-ésima metodo #1 y #2 diferencia en la
pareadas para el método réplica para el en la i-ésima i-ésima réplica
#1 método #2 réplica
Réplica i X 1i X 2i d i  X 1i  X 2i di
2

1 75 67 8 64
2 76 85 -9 81
3 73 68 5 25
4 74 62 12 144
5 76 71 5 25
6 91 87 4 16
7 55 63 -8 64
8 67 55 12 144
9 85 90 -5 25
10 89 85 4 16
d i  28  d i  604
2
14
 Ejercicio Para el Alumno
n d i    d i 
2 2
2 (10)(604)  (28) 2
Sd 
2
Sd   58.4
n(n  1) 10(9)

2
Sd  Sd S d  ( 58.4 )  7.64

_
28
d  2.8 t 9, 0.95  1.833
10

_
Sd _
Sd
dt   d  d  t  2.8 1.833
7.64
  d  2.8 1.833
7.64
( n 1,1 )
2 n ( n 1,1 )
2 n 10 10

 1.632   d  7.23 15
 Ejercicio Para el Alumno
• Un intervalo de confianza al 90% para la diferencia en la
utilización de labor para los dos métodos es [-1.63,7.23 ]
• Podemos estar seguros a un 90% que la diferencia
verdadera de la utilización del recurso entre el método
#1 y el método #2 esta contenida dentro del intervalo
anterior.
• Para el ejemplo, la diferencia verdadera tiene la
posibilidad de ser igual a “cero”.
• Un valor de “cero” implica que no hay diferencia entre el
método #1 y el método #2.
• Por lo tanto no podemos concluir que un método es
superior a otro en términos de la variable de decisión.
16
 Two-Sample Test
• Este es otro método para verificar la diferencia entre dos
medias.
• Empleado cuando el numero de replicas no es igual para
las dos alternativas comparadas.
• Aquí el interés esta en estimar la diferencia entre dos
medias poblacionales (μ1 - μ2).

17
 Two-Sample Test
Grados de libertad cuando las varianzas poblacionales no son iguales:
2
 S1 2 S 2 2 
 
 n  n 
g.l.   1 2 
2 2
 S1 2   S22 
   
 n   n 
 1   2 
 n1  1  n2  1

Debido a que g.l. se calcula de esta manera alterada, el estadístico t

se simboliza con t`. El intervalo de confianza se ha calculado entonces
como:
2 2
S1 S2
I .C.. para.1   2   x1  x 2   t `

n1 n2

18
 Two-Sample Test
Ejm.
• Telefónica del Perú aplico dos programas de entrenamiento
utilizados por IBM.
• Doce ejecutivos a quienes se les dio el primer tipo de
entrenamiento obtuvieron un promedio de 73.5 en la prueba
de competencia.
• Se asume que la varianza en los puntajes para este grupo
fue de 100.2.
• Quince ejecutivos a quienes se les administro el segundo
programa de entrenamiento obtuvieron un promedio de 79.8.
• Se asume una varianza de 121.3 para este segundo grupo.
• Haga un intervalo de confianza del 95% para la diferencia en
los puntajes promedios

19
 Two-Sample Test
2
 100.2 121.3 
  
12 15
g.l.   2

2
 24.55
 100.2   121.3 
   
 12    15 
11 14

• Si g.l. es fraccionario, se aproxima hacia abajo, hacia el entero

inmediatamente anterior. Así , g.l. =24.
• Un intervalo de confianza del 95% con 24 grados de libertad requiere
un valor t´ = 2.064.

20
 Two-Sample Test
2 2
S1 S2
I .C.. para.1   2   x1  x 2   t `

n1 n2

100.2 121.3
  73.5  79.8  2.064 
12 15
 6.3  8.36
 14.66  1   2  2.06

Debido a que el intervalo contiene cero, no existe una fuerte

evidencia de que exista diferencia alguna en la efectividad de los
programas de entrenamiento.

21
 Two-Sample Test y Simulación
La ecuación para construir un intervalo de confianza con esta prueba es:

2 2 2 2
S1 S S1 S
 x1  x2   t v,1  2  1   2   x1  x 2   t   2
2
n1 n2 v ,1
2
n1 n2

donde v es estimado de la siguiente manera:

2
 S1 2 S2
2

 
 n  n 
v  1 2 
2 2
 S1 2   S22 
   
 n   
 1    n2 
 n1  1  n2  1
22
 Ejercicio Para el Alumno
• Siguiendo con el ejemplo anterior, suponga que 15
réplicas de un modelo son ejecutadas para otra
alternativa (método #3),
• Cada réplica es independiente de las 10 réplicas
ejecutadas para el método #1.
• La siguiente tabla contiene la data del % de utilización
del recurso producida por estos escenarios.

23
 Ejercicio Para el Alumno
i-ésima Método #1 Método #3
réplica X1i X 1i - X 1  X1i - X1  2
X2i X 2i - X 2  X 2i - X 2  2
1 77 -3.7 13.69 89 -0.53 0.28
2 82 1.3 1.69 91 1.47 2.16
3 89 8.3 68.89 91 1.47 2.16
4 76 -4.7 22.09 88 -1.53 2.34
5 86 5.3 28.09 88 -1.53 2.34
6 76 -4.7 22.09 87 -2.53 6.40
7 77 -3.7 13.69 88 -1.53 2.34
8 84 3.3 10.89 89 -0.53 0.28
9 88 7.3 53.29 90 -0.47 0.22
10 72 -8.7 75.69 91 1.47 2.16
11 90 0.47 0.22
12 91 1.47 2.16
13 89 -0.53 0.28
14 91 1.47 2.16
15 90 0.47 0.22
15 2
2 15
 


10
 

 X
10
 X 1i  X 1   1343  X 2i  X 2 
X
i 1
1i  807 i 1  
i 1
2i
i 1   24
 310.1
 25.72
 Ejercicio Para el Alumno
2
n n
 _

2
 S12 S 2 2 
 
_ x i   x  x i (n) 

n  n 
4) v   2
1 2 
1) x ( n )  i 1
2) S 2 ( n )  i 1
3) t 
n n 1 v ,1
2  S12   S 2 2 
2

   
 n   n 
 1   2 
 n1  1  n2  1

2
 34.45 1.837 
  
_
807 _
1343 310.1 25.72 10 15
x (1)  x ( 2)  S 2 (1)  S 2 ( 2)  v  2

2
10 15 9 14  34.45   1.837 
   
 10   15 
9 14

25
 Ejercicio Para el Alumno
2 2 2 2
S1 S S1 S
x1  x2   t   2  1   2   x1  x 2   t   2
v ,1
2
n1 n2 v ,1
2
n1 n2

34.45 1.837 34.45 1.837

 8.83  1.81   1   2  8.83  1.81 
10 15 10 15

 12.25  1   2  5.41

Un intervalo de confianza al 90% para la diferencia en la utilización

de labor entre el método #1 y método #3 es [-12.25, -5.41]

26