Professional Documents
Culture Documents
Vectores Aleatorios
Reconocimiento de Patrones
Julián Quiroga S., PhD.
1
Variables aleatorias
2
Definición
Una variable aleatoria es un número 𝐱(𝜉) asignado a cada posible
resultado, 𝜉 ∈ Ω, de un experimento.
5
Variables aleatorias
continuas y discretas
Un variable aleatoria es continua si puede asumir cualquier valor en
uno o más intervalos de los reales (conjunto no contable).
Ejemplo. Una llamada ocurre aleatoriamente en el intervalo 0, 𝑇 .
Ω = {0 ≤ 𝜉 ≤ 𝑇} “conjunto no contable”
𝑇 2
− 𝜉−2
Si se define la variable aleatoria 𝐱 𝜉 = 𝑒 , esta corresponde a
una variable aleatoria continua.
6
Variables aleatorias
continuas y discretas (cont.)
Un variable aleatoria es discreta si sólo puede asumir valores sobre un
conjunto finito o uno infinito contable.
Ejemplo. Una llamada ocurre aleatoriamente en el intervalo 0, 𝑇 .
Ω = {0 ≤ 𝜉 ≤ 𝑇} “conjunto no contable”
8
Función de distribución de
probabilidad (cont.)
Propiedades
1. 𝐹 −∞ =0 y 𝐹 ∞ = 1.
2. 𝐹(𝑥) es una función (monótona) creciente:
si 𝑥2 > 𝑥1 entonces 𝐹(𝑥2 ) ≥ 𝐹(𝑥1 ).
3. Si 𝐹 𝑥0 = 0 entonces 𝐹 𝑥 = 0 para todo 𝑥 ≤ 𝑥0 .
4. 𝑃 𝐱 > 𝑥 = 1 − 𝐹 𝑥 .
5. 𝑃 𝑥1 < 𝐱 ≤ 𝑥2 = 𝐹 𝑥2 − 𝐹(𝑥1 ).
6. 𝑃 𝐱 = 𝑥 = 𝐹 𝑥 − 𝐹(𝑥 − ).
Observación. Si 𝐱 es una V.A. continua entonces 𝐹 𝑥 es una función continua
por lo que 𝐹 𝑥 = 𝐹 𝑥 − y 𝑃 𝐱 = 𝑥 = 0. Si 𝐱 es una V.A. discreta entonces
𝐹 𝑥 es una función continua con un conjunto contable de discontinuidades.
9
Función de densidad de probabilidad
La derivada de la función de distribución 𝐹𝐱 𝑥 se define como la función de
densidad, 𝑓𝐱 𝑥 , de la variable aleatoria 𝐱:
d𝐹𝐱 𝑥
𝑓𝐱 𝑥 ≜
d𝑥
Ejemplo. Una llamada ocurre aleatoriamente en un tiempo 𝑡 en el intervalo
0,1 . Determine la función de densidad de la V.A. 𝐱 𝑡 = 𝑡.
10
Función de densidad de
probabilidad (cont.)
Propiedad. Si 𝐱 es una V.A. discreta ⟹ 𝐹𝐱 𝑥 es una función continua
a trozos y 𝑓𝐱 𝑥 es un con un conjunto contable de impulsos.
Por otro lado, si 𝐱 es una variable aleatoria discreta entonces su
función de densidad de probabilidad tiene la forma:
𝑓𝐱 𝑥 = 𝑃𝐱 (𝑥𝑖 )𝛿(𝑥 − 𝑥𝑖 )
𝑖
11
Función de densidad de
probabilidad (cont.)
Propiedades
𝑥
1. 𝐹 𝑥 = −∞
𝑓 𝑥 𝑑𝑥 .
∞
2. −∞
𝑓 𝑥 𝑑𝑥 = 1.
𝑥2
3. 𝑃 𝑥1 < 𝐱 ≤ 𝑥2 = 𝑥1
𝑓 𝑥 𝑑𝑥 .
12
Función de densidad de
probabilidad (cont.)
Ejemplo. Considere una V.A. 𝐱 con función de distribución dada por:
1 − 𝑒 −𝑥 𝑥≥0
𝐹 𝑥 =
0 𝑥<0
a) Encuentre la función de densidad 𝑓 𝑥 .
b) Verifique que 𝑓 𝑥 es una función de densidad.
c) Calcule: 𝑃 𝐱 ≤ 5 , 𝑃 1 ≤ 𝐱 ≤ 5 y 𝑃 𝐱 > 2 .
𝑥
= 𝑃𝐱 (𝑥𝑖 ) 𝛿 𝑥 − 𝑥𝑖 𝑑𝑥 = 𝑃𝐱 (𝑥𝑖 )
𝑖 −∞ 𝑥𝑖 ≤𝑥
Adicionalmente,
i. 𝑖 𝑃𝐱 (𝑥𝑖 ) =1
a) Encuentre 𝑓 𝑥 .
b) Verifique que es una función de masa de probabilidad.
c) Encuentre 𝑃(𝐱 ≤ 2), 𝑃 𝐱 > 3 , 𝑃 1 ≤ 𝐱 ≤ 2 y 𝑃(𝐱 = 2).
16
Media de una distribución de
probabilidad
La media es una medida del centro de una distribución de probabilidad,
dada como la suma ponderada de los posible valores de la V.A.
Definición. La media o valor esperado de una variable aleatoria
continua 𝐱 se denota como 𝜇 o 𝐸[𝐱], y está dada como:
∞
𝜇=𝐸 𝐱 = 𝑥 𝑓 𝑥 𝑑𝑥
−∞
𝜇=𝐸 𝐱 = 𝑥𝑖 𝑃𝐱 (𝑥𝑖 )
𝑖
17
Media de una distribución de
probabilidad (cont.)
18
Varianza de una distribución de
probabilidad
La varianza es una medida de la dispersión o variabilidad de una
distribución de probabilidad.
Definición. La varianza de una variable aleatoria continua 𝐱 se denota
como 𝜎 2 o 𝑉[𝐱], y está dada como:
∞
𝜎2 = 𝑉 𝐱 = (𝑥 − 𝜇)2 𝑓 𝑥 𝑑𝑥 = 𝐸[(𝐱 − 𝜇)2 ]
−∞
20
Media y varianza de una distribución
Ejemplo. Sea 𝐱 la V.A. que denota la corriente en mA que circula por un alambre de
cobre, si la corriente sigue la función de densidad:
0,05 0 ≤ 𝑥 ≤ 20
𝑓 𝑥 =
0 ~
a) Cuál es la probabilidad de una medición de corriente menor a 10 mA?
b) Cuál es el valor esperado de 𝐱?
c) Calcule la varianza y desviación estándar de 𝐱.
21
Media y varianza de una distribución
(cont.)
Ejemplo. En la transmisión de un bit a través de un canal de comunicación digital
existe la posibilidad de error. Sea 𝐱 el número de bits recibidos con error de una
secuencia de 4 bits enviados. Los posibles valores para 𝐱 son {0,1,2,3,4}, con las
siguientes probabilidades:
22
Ejemplos de distribuciones de
Probabilidad
23
Distribución de Bernoulli
Si 𝐱 es una V.A. que toma el valor 1 con probabilidad 𝑝 y el valor 0 con
probabilidad 1 − 𝑝, entonces 𝐱 sigue una distribución de Bernoulli con
parámetro 𝑝, 𝐱~Ber(𝑝).
Si 𝐱~Ber 𝑝 entonces:
𝑝 𝑥=1 0 𝑥<0
𝑃𝐱 𝑥 = 1 − 𝑝 𝑥=0 𝐹 𝑥 = 1−𝑝 0≤𝑥<1
0 ~ 1 𝑥≥1
Media y varianza
𝐸 𝐱 =𝑝 𝑉 𝐱 = 𝑝(1 − 𝑝)2
24
Distribución Uniforme Discreta
Una variable aleatoria 𝐱 que toma 𝑛 posibles valores todos equiprobables
sigue una distribución uniforme discreta con parámetro 𝑛, 𝑥~UD(𝑛).
Si 𝑥~UD(𝑛) entonces 𝐱 toma los valores 𝑥1 , … , 𝑥𝑛 con probabilidad:
𝑃 𝐱 = 𝑥𝑖 = 1 𝑛 , 𝑖 ∈ 1,2, … , 𝑛
Por tal motivo, la distribución está dada por:
1 𝑥 ∈ 𝑥1 , … , 𝑥𝑛 1
𝑃𝐱 𝑥 = 𝑛 𝐹 𝑥 =
0 ~ 𝑛
𝑥𝑖 ≤𝑥
Media y varianza
1 1
𝐸𝐱 = 𝑥𝑖 𝑉𝐱 = (𝑥𝑖 −𝜇)2
𝑛 𝑛
25
Distribución Uniforme
Una variable aleatoria continua con función de densidad dada por:
1
𝑎≤𝑥≤𝑏
𝑏−𝑎
𝑓 𝑥 = ,
0 ~
Si 𝐱~U 𝑎, 𝑏 entonces
0 𝑥<𝑎
𝑥−𝑎 𝑎+𝑏 (𝑏 − 𝑎)2
𝐹 𝑥 = 𝑎≤𝑥<𝑏 , 𝐸𝐱 = , 𝑉𝐱 =
𝑏−𝑎 2 12
1 𝑥≥𝑏
26
Distribución Normal (Gaussiana)
Una variable aleatoria continua con función de densidad dada por:
(𝑥−𝜇)2
1 −
𝑓 𝑥 = 𝑒 2𝜎2 ,
𝜎 2𝜋
Si 𝐱~N 𝜇, 𝜎 2 entonces 𝐸 𝐱 = 𝜇 y 𝑉 𝐱 = 𝜎 2 .
𝑓(𝑥)
𝑥
27
Distribución Normal (cont.)
∞
Observación. La función de distribución −∞ 𝑓 𝑥 𝑑𝑥 no es integrable
en forma cerrada y su valor se encuentra por tablas:
1 𝑥−𝜇
𝐹 𝑥 = 1 + erf
2 𝜎 2
𝐱−𝜇
Estandarización. Sea 𝐱~N 𝜇, 𝜎 2 , si 𝐳 = entonces 𝐳~N 0,1 .
𝜎
Propiedad. Si 𝐱~N 𝜇, 𝜎 2 y 𝐳~N 0,1 entonces:
𝑃 𝐱 ≤ 𝑥0 = 𝑃 𝐳 ≤ 𝑧0
𝑥0 −𝜇
con 𝑧0 = .
𝜎
28
Distribución Normal (cont.)
Ejemplo. Suponga que la corriente en un circuito sigue una distribución
normal con media 10mA y varianza 4mA2 . Cuál es la probabilidad de
que la corriente exceda los 13mA?
29
Probabilidad Condicional
30
Probabilidad condicional
La probabilidad de ocurrencia de un evento A puede verse afectada o
no por la ocurrencia o no de otro evento B.
𝑃 𝐴 = 𝑃[𝐴ǀ𝐵]?
Un evento A es dependiente de B si la probabilidad de A dado que
ocurrió B es diferente a la probabilidad absoluta de A.
𝑷[𝑨 ∩ 𝑩]
𝑷 𝑨ǀ𝑩 =
𝑷[𝑩]
Ejercicio. Suponga que la prob. de lluvia en Bogotá en un día normal es 0,5 y que la
prob. de que la temperatura en la tarde sea menor a 12 ℃ es 0,3. Además se sabe que
ambos eventos ocurren simultáneamente con probabilidad 0,2. Calcule la probabilidad
de que la temperatura en la tarde sea menor a 12 ℃ si se sabe que va a llover.
31
Eventos independientes
Si dos eventos no están relacionados, la medida de la probabilidad del
uno no se altera por la ocurrencia o no del otro.
Dos eventos A y B son independientes si:
𝑃 𝐴 ∩ 𝐵 = 𝑃 𝐴 𝑃[𝐵]
32
Teorema de Bayes
𝑃 𝐵 𝐴 𝑃[𝐴]
𝑃 𝐴ǀ𝐵 =
𝑃[𝐵]
34
Densidades Conjuntas
Sean 𝐱 y 𝐲 dos variables aleatorias, entonces el par (𝐱, 𝐲) se conoce
como una V.A. bidimensional y la función de distribución de
probabilidad conjunta se define como:
𝐹𝐱𝐲 𝑥, 𝑦 = 𝑃 𝐱 ≤ 𝑥 ∩ 𝐲 ≤ 𝑦 = 𝑃(𝐱 ≤ 𝑥, 𝐲 ≤ 𝑦)
Propiedades de 𝐹𝐱𝐲 𝑥, 𝑦
i. 𝐹𝐱𝐲 = (−∞, 𝑦) = 0 , 𝐹𝐱𝐲 = (𝑥, −∞) = 0 , 𝐹𝐱𝐲 = (∞, ∞) = 1
35
Densidades Conjuntas (cont.)
Función de densidad conjunta
𝜕 2 𝐹𝐱𝐲 𝑥, 𝑦
𝑓𝐱𝐲 𝑥, 𝑦 =
𝜕𝑥 𝜕𝑦
Propiedades de 𝑓𝐱𝐲 𝑥, 𝑦
∞ ∞
i. −∞ −∞
𝑓 𝑥, 𝑦 𝑑𝑥𝑑𝑦 = 1
𝑦2 𝑥2
ii. 𝑃 𝑥1 ≤ 𝐱 ≤ 𝑥2 , 𝑦1 ≤ 𝐲 ≤ 𝑦2 = 𝑦1 𝑥1
𝑓 𝑥, 𝑦 𝑑𝑥𝑑𝑦
36
Densidades Conjuntas (cont.)
𝑓𝐱𝐲 𝑥, 𝑦
37
Distribuciones marginales
Las distribuciones para cada una de las variables aleatorias se conocen
como distribuciones marginales, las cuales pueden obtenerse como:
∞
𝐹𝐱 𝑥 = 𝐹𝐱𝐲 𝑥, ∞ → 𝑓𝐱 𝑥 = 𝑓𝐱𝐲 𝑥, 𝑦 𝑑𝑦
−∞
∞
𝐹𝒚 𝑦 = 𝐹𝐱𝐲 ∞, 𝑦 → 𝑓𝐲 𝑦 = 𝑓𝐱𝐲 𝑥, 𝑦 𝑑𝑥
−∞
38
Distribuciones marginales (cont.)
Ejemplo. Suponga que en un centro de vigilancia se reciben llamadas
de 2 puestos de control que pueden ocurrir en el intervalo [0,2]. Sea 𝐱
el tiempo de entrada de la llamada del puesto A y sea 𝐲 el tiempo de la
llamada del puesto B. Si 𝐱 y 𝐲 siguen la función de densidad conjunta:
𝑘(𝑥 + 𝑦) 0 < 𝑥 < 2, 0 < 𝑦 < 2
𝑓𝐱𝐲 𝑥, 𝑦 =
0 ~
a) Encuentre el valor de 𝑘.
b) Encuentre la probabilidad de que la llamada de A ocurran entre 0 y
1, y la llamada de B entre 1 y 2.
c) Encuentre las funciones de densidad marginal.
d) Encuentre la probabilidad de que la llamada de A ocurra en el
último cuarto del intervalo.
39
Distribuciones conjuntas discretas
𝑓𝐱𝐲 𝑥, 𝑦 = 𝑃𝐱𝐲 𝑥𝑖 , 𝑦𝑖 𝛿(𝑥 − 𝑥𝑖 , 𝑦 − 𝑦𝑖 )
𝑖 𝑗
Propiedades
i. 𝑖 𝑗 𝑃𝐱𝐲 𝑥𝑖 , 𝑦𝑖 = 1
iii. 𝑃 𝐱 = 𝑥0 ∩ 𝐲 = 𝑦0 = 𝑃𝐱𝐲 𝑥0 , 𝑦0
Marginales
𝑃𝐱 𝑥 = 𝑗 𝑃𝐱𝐲 𝑥, 𝑦𝑗 , 𝑃𝐲 𝑦 = 𝑖 𝑃𝐱𝐲 𝑥𝑖 , 𝑦
40
Distribuciones conjuntas discretas
(cont.)
Ejemplo. En una planta de tornillos se realizan dos tareas: soldar y apretar
tornillos. Sea 𝐱 el número de soldaduras defectuosas y 𝐲 el número de tornillos
mal apretados. Si la función de densidad conjunta 𝑓𝐱𝐲 𝑥, 𝑦 es:
𝑥\y 0 1 2 3
0 0,840 0,030 0,020 0,010
1 0,060 0,010 0,008 0,002
2 0,010 0,005 0,004 0,001
41
Probabilidad condicional e
Independencia
Cuando dos variables aleatorias son definidas en un experimento, el
conocimiento de una de ellas puede cambiar la probabilidad a la otra.
𝑃(𝐱=𝑥∩𝐲=𝑦)
𝑃 𝐱 = 𝑥|𝐲 = 𝑦 = : Probabilidad condicional
𝑃(𝐲=𝑦)
42
Probabilidad condicional e
Independencia (cont.)
Función de densidad condicional
Dado que las probabilidades sobre 𝐲 (o 𝐱) pueden variar al conocer 𝐱 (o 𝐲), es
útil definir la función de densidad condicional:
𝑓𝐱𝐲 (𝑥, 𝑦) 𝑓𝐱𝐲 (𝑥, 𝑦)
𝑓𝐲|𝐱 𝑦𝑥 = , 𝑓𝐱 (𝑥) > 0 𝑓𝐱|𝐲 𝑥𝑦 = , 𝑓𝐲 𝑦 > 0
𝑓𝐱 (𝑥) 𝑓𝐲 (𝑦)
43
Probabilidad condicional e
Independencia (cont.)
Independencia
Dos variables aleatorias 𝐱 y 𝐲 son independientes si
𝑓𝐱𝐲 𝑥, 𝑦 = 𝑓𝐱 𝑥 𝑓𝐲 𝑦
Además,
𝑦2 𝑥2 𝑦2 𝑥2
𝑃 𝑥1 ≤ 𝐱 ≤ 𝑥2 , 𝑦1 ≤ 𝐲 ≤ 𝑦2 = 𝑓𝐱𝐲 𝑥, 𝑦 𝑑𝑥𝑑𝑦 = 𝑓𝐱 𝑥)𝑓𝐲 (𝑦 𝑑𝑥𝑑𝑦
𝑦1 𝑥1 𝑦1 𝑥1
𝑥2 𝑦2
= 𝑓𝐱 (𝑥)𝑑𝑥 𝑓𝐲 𝑦 𝑑𝑦 = 𝑃 𝑥1 ≤ 𝐱 ≤ 𝑥2 )𝑃(𝑦1 ≤ 𝐲 ≤ 𝑦2
𝑥1 𝑦1
44
Probabilidad condicional e
Independencia (cont.)
Ejemplo. Sean 𝐱 y 𝐲 variables aleatorias con función de densidad de
probabilidad conjunta dada por:
𝑓 𝑥, 𝑦 = 2 × 10−6 𝑒 −0.001𝑥−0.002𝑦
para 𝑥 ≥ 0 y 𝑦 ≥ 0.
45
Momentos conjuntos
El 𝑖𝑗-ésimo momento conjunto de las V.A. 𝐱 y 𝐲 se define como:
∞ ∞
46
Momentos centrales conjuntos
El 𝑖𝑗-ésimo momento central conjunto de las V.A. 𝐱 y 𝐲 se define como:
∞ ∞
𝑐𝑖𝑗 ≜ 𝐸 (𝐱 − 𝜇𝐱 )𝑖 (𝐲 − 𝜇𝐲 )𝑗 = (𝐱 − 𝜇𝐱 )𝑖 (𝐲 − 𝜇𝐲 )𝑗 𝑃𝐱 𝑥𝑘 𝑃𝐲 𝑦𝑙
𝑥𝑘 𝑦𝑙
47
Covarianza
𝑐11 ≜ cov 𝐱, 𝐲 = 𝐸 (𝐱 − 𝜇𝐱 )(𝐲 − 𝜇𝐲 )
∞ ∞
= 𝑥 − 𝜇𝐱 𝑦 − 𝜇𝐲 𝑓 𝑥, 𝑦 𝑑𝑥𝑑𝑦
−∞ −∞
La covarianza puede expresarse como:
cov 𝐱, 𝐲 = 𝐸 𝐱𝐲 − 𝜇𝐱 𝜇𝐲
48
Vectores aleatorios
49
Vectores Aleatorios
Un vector aleatorio es un vector:
𝐗 = (𝐱 𝟏 , … , 𝐱 𝒏 )
cuyos elementos 𝐱 𝑖 son variables aleatorias.
La función de distribución conjunta se define como:
𝐹𝐗 𝑋 = 𝐹 𝑥1 , … , 𝑥𝑛 = 𝑃 𝐱 𝟏 ≤ 𝑥1 , … , 𝐱 𝒏 ≤ 𝑥𝑛 ,
y la función de densidad conjunta se encuentra dada como:
𝜕𝑛
𝑓𝐗 𝑋 = 𝐹 𝑥1 , … , 𝑥𝑛 .
𝜕𝑥1 … 𝜕𝑥𝑛
Densidades marginales:
∞ ∞
𝑓𝐱𝑖 𝑥 = … 𝑓𝐗 𝑋 𝑑𝑥1 … 𝑑𝑥𝑖−1 𝑑𝑥𝑖+1 … 𝑑𝑥𝑛
−∞ −∞
50
Vectores esperados
∞ ∞
𝜇𝑖 ≜ … 𝑥𝑖 𝑓𝐗 𝑋 𝑑𝑥1 … 𝑑𝑥𝑛
−∞ −∞
∞
= 𝑥𝑖 𝑓𝐱𝑖 𝑋 𝑑𝑥𝑖
−∞
51
Matriz de covarianza
La matriz de covarianza 𝐊 (de 𝑛 × 𝑛) asociada al vector aleatorio
𝐗 = (𝐱 𝟏 , … , 𝐱 𝒏 )𝑻 está dada como:
𝐊 ≜ 𝐸[(𝐗 − 𝝁)(𝐗 − 𝝁)𝑇 ]
52
Matriz de covarianza (cont.)
Ejemplo. Sea 𝐗 = (𝐱1 , 𝐱 2 ) un vector de variables aleatorias, si se
conoce que 𝐱 2 = 𝑎𝐱1 + 𝑏, determine la matriz de covarianza de 𝐗 y el
coeficiente de correlación entre las dos variables aleatorias.
53
Matriz de covarianza (cont.)
Propiedades
1. 𝐊 es una matriz real simétrica.
2. 𝐊 es una matriz semi-positiva definida:
𝑧 𝑇 𝑲𝑧 ≥ 0, ∀𝑧 ≠ 0
𝐊𝑽 = 𝑽𝚲 ⟹ 𝐊𝑉𝑖 = 𝜆𝑖 𝑉𝑖
54
Matriz de covarianza (cont.)
6. Decorrelación de variables aleatorias:
𝜆1 ⋯ 0
𝑽𝑇 𝐊𝑽 = 𝚲, 𝚲= ⋮ ⋱ ⋮
0 ⋯ 𝜆𝑛
2 −1 1
𝐊 = −1 2 0
1 0 2
55