Lecci on 3: Procesos de Markov

En este captulo vamos a describir un subconjunto de procesos estoc asti-

cos que tienen la propiedad de Markov. Estos procesos son los m as impor-
tantes en fsica y qumica.
Denici on
Un proceso de Markov se dene como un proceso estoc astico con la
propiedad de que para cualquier conjunto sucesivo de n tiempos t
1
<
. . . < t
n
se tiene
P
1|n1
(y
n
, t
n
|y
1
, t
1
; . . . ; y
n1
, t
n1
) = P
1|1
(y
n
, t
n
|y
n1
, t
n1
) (132)
Esto es la densidad de probabilidad condicionada a t
n
dada el valor
y
n1
a t
n1
est a unvocamente determinada y no est a afectada por
lo que ocurre a tiempos anteriores. A P
1|1
se le llama probabilidad de
transici on.
El proceso de Markov est a completamente determinado por dos fun-
ciones P
1
(y
1
, t
1
) y P
1|1
(y
2
, t
2
|y
1
, t
1
). A partir de estas funciones se puede
obtener toda la jerarqua de probabilidades, por ejemplo para t
1
< t
2
<
t
3
se tiene
P
3
(y
1
, t
1
; y
2
, t
2
; y
3
, t
3
) =P
2
(y
1
, t
1
; y
2
, t
2
)P
1|2
(y
3
, t
3
|y
1
, t
1
; y
2
, t
2
)
= P
1
(y
1
, t
1
)P
1|1
(y
2
, t
2
|y
1
, t
1
)P
1|1
(y
3
, t
3
; y
2
, t
2
)
(133)
y este algoritmo se puede seguir para calcular todas las P
n
.
Ejercicio: Mostrar que para cualquier sistema determinista tal que x =
f(x), con condici on inicial x
0
en t
0
, la soluci on x = (x
0
, t t
0
) es un
proceso de Markov con P
1|1
(x, t; x
0
, t
0
) = [x (x
0
, t t
0
)].
Un ejemplo tpico de proceso de Markov en fsica en el movimiento
Browniano. El movimiento browniano muestra de forma muy evidente
como la naturaleza discreta de la materia en la escala miscrosc opica se
maniesta a nivel macrosc opico. La discretizaci on de la materia causa
uctuaciones en la densidad de materia que a la larga causa efectos ob-
servables en el movimiento de la partcula Browniana.

Este se produce
cuando una partcula pesada est a inmersa en un uido de partculas
ligeras que colisionan de forma aleatoria. La velocidad de la partcula
pesada vara como consecuencia de muchas de estas colisiones (supues-
tamente descorrelacionadas). Consideremos el caso unidimensional y
29
que la partcula tiene una velocidad V en t, entonces habr a m as coli-
siones por delante que por detr as en promedio, de forma que la proba-
bilidad de que en el siguiente paso t haya un cambio V depender a de
V pero no de valores anteriores, y por lo tanto V contituye un proceso
de Markov (t
c
t
V
). En equilibrio el proceso es estacionario y
su tiempo de autocorrelaci on
V
es el tiempo en el que una velocidad
inicial se hace cero (veremos mas adelante que esto proceso din amico
corresponde a una partcula de Rayleigh).
Einstein y Smoluchowski razonaron que este no es el comportamien-
to que se observa experimentalmente. Entre dos observaciones con-
secutivas de la posici on de la partcula pesada, su velocidad crece y
decae muchas veces: el intervalo de observaci on es mucho mayor que

V
(
V
t
X
) Lo que se observa es el desplazamiento neto despues
de muchas variaciones de la velocidad. Supongamos una serie de obser-
vaciones de la partcula que da una secuencia de posiciones X
1
, X
2
, . . .
Cada desplazamiento
k+1
= X
k+1
X
k
es estoc astico, pero su distribu-
ci on no depende de la historia (X
k1
, X
k2
, . . .). Es en s un proceso de
Markov en un escala de tiempo promediada (coarse-grained) impuesta
por las condiciones experimentales.
Hay dos propiedades a destacar en los procesos de Markov:
La propiedad de Markov s olo se cumple de forma aproximada.
As, si
k
= X
k
X
k+1
es grande hay m as probabilidad de que
V sea grande en el momento de observaci on de X
k
, velocidad que
permacer a no nula durante un tiempo comparable a
V
, lo que a
su vez favorecer a que el pr oximo
k+1
sea tambien grande. Luego
la existencia de
V
> 0 producir a cierta correlaci on entre dos
desplazamientos consecutivos. Este efecto es peque no dado que el
tiempo de observaci on es mucho m as grande que
V
.
De igual forma la velocidad es ella misma aproximadamente un
proceso de Markov, debido a que las colisiones no son instant aneas.
Durante el tiempo en que tiene lugar una colisi on el cambio en V
en el pasado inmediato dice algo sobre el tipo de colisi on y sobre el
cambio en V en el futuro inmediato. Este efecto es peque no pues
el tiempo de colisi on es peque no (como si fueran esferas duras).
Adem as debemos de asumir que el movimiento de la partcula
Browniana no genera un ujo ordenado en el uido que la rodea
(arrastre), lo que podra inuir sobre la probabilidad de colisi on en
el futuro, actuando como memoria que violara la hip otesis mar-
coviana. As simulaciones en el ordenador de una gas de moleculas
30
han mostrado que la velocidad de una de ellas no es un proceso
de Markov.
Un mismo sistema fsico puede ser descrito por dos procesos de
Markov diferentes dependiendo del grado de coarseness (promedi-
ado) de la descripci on. Esto ocurre en el caso de un gas de molecu-
las binarias que se disocia
AB A+B
En la escala temporal promedio (coarse-grained) cada molecu-
la AB tiene una cierta probabilidad por unidad de tiempo de
romperse por alguna colisi on. Entonces el cambio en la concen-
traci on entre t y t + t tiene una cierta distribuci on de proba-
bilidad que depende de la concentraci on en t pero no en tiempos
anteriores. As, la concentraci on es un proceso de Markow. En
una descripci on m as detallada (microsc opica) del mecanismo de
ruptura uno distingue los estados vibracionales de la molecula y
estudia c omo las sucesivas colisiones hacen que la molecula cam-
bie estoc asticamente entre los distintos estados vibracionales hasta
que se supera la barrera del potencial y la molecula se disocia. Este
camino aleatorio entre los niveles vibracionales es otro proceso de
Markov.
El concepto de proceso de Markov se puede aplicar a procesos Y (t)
con r componentes: las tres componentesde la velocidad de una
partcula Browniana; o las r componentes de una mezcla qumica
reactante.
En un proceso con r componentes que es markoviano, el proceso
constituido por s < r componentes en general puede no serlo. Por
ejemplo en el caso de la disociaci on de la molecula la distribu-
ci on de probabilidad futura de una cantidad de cada componente
qumico est a determinada por la presente cantidad de todos los
componentes. Por el contrario, si un proceso estoc astico fsico es
no Markoviano, es posible introducir nuevas componentes de for-
ma que el conjunto sea Markoviano. Por ejemplo, un partcula
Browniana bajo la acci on de un campo externo in-homogeneo. El
cambio en la velocidad en t est a ahora determinado por las col-
isiones y el campo externo, y por lo tanto por la posici on de la
partcula.

Esta depende de la velocidad en los tiempos anteriores,
por lo que la velocidad no es un proceso de Markov. Sin embargo
el proceso constituido por la velocidad y la posici on de la partcula
31
Browniana si es un proceso de Markov (ver secci on VIII.7 del van
Kampen).
En principio, cualquier sistema fsico aislado se puede describir como
un proceso de Markov, introduciendo todas las variables microsc opicas
como componentes de Y. De hecho el movimiento microsc opico en el
espacio de las fases es determinista y por lo tanto marcoviano (ver ejer-
cicio anterior). La cuesti on es si existe un mnimo n umero de variables
para dicho sistema cuyo comportamiento en el tiempo es un proceso de
Markov multicomponente. El caso es que esto ocurre para la mayora
de los sistemas en la naturaleza, lo que ocurre es que tal descripci on es
aproximada y restringida a un nivel coarse-grained macrosc opico.
La ecuaci on de Chapman-Kolmogorov
Si integramos la expresi on (133) sobre y
2
para t
1
< t
2
< t
3
se tiene
P
2
(y
1
, t
1
; y
3
, t
3
) = P
1
(y
1
, t
1
)
_
P
1|1
(y
2
, t
2
|y
1
, t
1
)P
1|1
(y
3
, t
3
|y
2
, t
2
)dy
2
. (134)
de donde dividiendo por P
1
(y
1
, t
1
) se tiene
P
1|1
(y
3
, t
3
|y
1
, t
1
) =
_
P
1|1
(y
3
, t
3
|y
2
, t
2
)P
1|1
(y
2
, t
2
|y
1
, t
1
)dy
2
. (135)
Esta equaci on se llama la ecuaci on de Chapman-Kolmogorov. Es una iden-
tidad que deben satisfacer las probabilidades de transici on para cualquier
proceso de markov. En esta identidad el orden de tiempos es esencial. Es-
ta ecuaci on tambien se cumple cuando y es un vector con r componentes o
cuando la y s olo toma valores discretos (en este caso la integral se sustituye
por una suma).
Dado que P
1
y P
1|1
determinan completamente un proceso de Markov,
estas no pueden ser cogidas arbitrariamente sino que deben vericar las sigu-
ientes identidades:
(i) La ecuaci on de Chapman-Kolmogorov
(ii) La relaci on trivial (Bayes y propiedad jer arquica)
P
1
(y
2
, t
2
) =
_
P
1|1
(y
2
, t
2
|y
1
, t
1
)P
1
(y
1
, t
1
)dy
1
(Ejercicio). (136)
o al contrario, cualquiera dos funciones no negativas P
1
y P
1|1
que
verican estas relaciones denen univocamente un proceso de Markov.
Los dos siguientes ejemplos de procesos de Markov son de especial
importancia.
32
Procesos de Wiener-Levy. Consideremos la probabilidad de
transici on
P
1|1
(y
2
, t
2
|y
1
, t
1
) =
1
_
2(t
2
t
1
)
exp
_

(y
2
y
1
)
2
2(t
2
t
1
)
_
(137)
is tomamos P
1
(y
1
, 0) = (y
1
) tenemos un proceso de Markov no
estacionario llamado proceso de Wiener-Levy. Est a considerado
s olo para t > 0 y fue propuesto para describir el comportamien-
to estoc astico de la partcula Browniana (captulo VIII del van
Kampen). Usando la segunda condici on de proceso de Markov se
tiene
P
1
(y, t) =
1

2t
exp
_

y
2
2t
_
(138)
Procesos de Poisson. Supongamos Y (t) que toma valores n =
0, 1, 2, . . . y t 0. Denimos un proceso de Markov mediante
(t
2
t
1
0)
P
1|1
(n
2
, t
2
|n
1
, t
1
) =
(t
2
t
1
)
n
2
n
1
(n
2
n
1
)!
e
(t
2
t
1
)
, P
1
(n, 0) =
n,0
(139)
se entiende que P
1|1
= 0 para n
2
< n
1
. Cada funci on muestra y(t)
es una sucesi on de pasos de altura unidad a instantes de tiem-
po aleatorios. Est a unvocamente determinado por los instantes
temporales a los que tienen lugar los saltos y que constituye un
conjunto aleatorio de puntos en el eje temporal. Su n umero en-
tre dos tiempos t
1
, t
2
est a distribuido de acuerdo a la distribuci on
(139). A Y (t) se le llama proceso de Poisson.
Procesos de Markov estacionarios
Los procesos estoc asticos que son a la vez Markovianos y estacionarios
tienen un interes especial porque describen uctuaciones de equilibrio.
Supongamos que un sistema fsico cerrado y aislado tiene una cierta mag-
nitud, o conjunto de magnitudes Y (t) que es un proceso de Markov. Cuando
el sistema est a en equilibrio Y (t) es un proceso de Markov estacionario. As,
P
1
es independiente del tiempo y no es sino la distribuci on de equilibrio de la
cantidad Y como la determinada por la mec anica estadstica. Por ejemplo las
uctuaciones del voltaje a traves de un condensador en un circuito RC son
markovianas. Cuando R est a a temperatura ja T, el voltaje es un proceso
33
de Markov estacionario con
P
1
(y
1
) =
_
C
2kT
_
1/2
exp
_

Cy
2
1
2kT
_
. (140)
Incluso cuando un sistema est a en un estado estacionario diferente del
equilibrio ciertas magnitudes fsicas pueden ser un proceso de Markov esta-
cionario. Por ejemplo en una partcula browniana sometida a un campo grav-
itatorio homogeneo: su velocidad vertical es un proceso estacionario, pero su
posici on no.
Para un proceso de Markov estacionario la probabilidad de transici on P
1|1
no depende en t
1
y t
2
sino en la diferencia = t
2
t
1
. Entonces denotamos
P
1|1
(y
2
, t
2
|y
1
, t
1
) = T

(y
2
|y
1
). (141)
y la ecuaci on de Chapman-Kolmogorov queda:
T
+
(y
3
|y
1
) =
_
T

(y
3
|y
2
)T

(y
2
|y
1
)dy
2
. (142)
Si miramos la integral como un producto de dos matrices, o kernels inte-
grales la anterior ecuaci on queda
T
+
= T

(,

> 0) (143)
Aunque (142) y (143) se cumplen s olo para ,

> 0, la denici on (141) no

se restringe a > 0. Se tiene que
P
2
(y
2
, t
2
; y
1
, t
1
) = T

(y
2
|y
1
)P(y
1
) (144)
y como P
2
es simetrica
T

(y
2
|y
1
)P(y
1
) = T

(y
1
|y
2
)P(y
2
), (145)
que es una identidad para todos los procesos de Markov estacionarios y se
puede aplicar a todos los sistemas fsicos en equilibrio sin ninguna derivaci on
adicional de las ecuaciones del movimiento (no confundir con la condici on de
balance detallado que es exactamente la misma pero cambiando por en
la derecha de la identidad y que requiere una derivaci on fsica).
Ejercicio: Demostrar que la funci on de autocorrelaci on de un proceso de
Markov estacionario con media cero es
() =
_ _
y
1
y
2
T

(y
2
|y
1
)P
1
(y
1
)dy
1
dy
2
( 0) (146)
34
Ejercicio: Demostrar las identidades
_
T

(y
2
|y
1
)dy
2
= 1 (147)
_
T

(y
2
|y
1
)P
1
(y
1
)dy
1
= P
1
(y
2
) (148)
Seg un estas propiedades T

se puede ver como un operador con autovalor 1,

con autovector por la izquierda (y) 1 y autovector por la derecha P
1
.
El ejemplo m as conocido de proceso de Markov estacionario es el pro-
ceso de Ornstein-Uhlenbeck denido por
P
1
(y
1
) =
1

2
e

1
2
y
2
1
(149)
T

(y
2
|y
1
) =
1
_
2(1 e
2
)
exp
_

(y
2
y
1
e

)
2
2(1 e
2
)
_
(150)
Ejercicio: Vericar que es un proceso de Markov
Ejercicio: Probar que T(y
2
|y
1
) verica:
T

=

y
2
y
2
T +

2
T
y
2
2
(151)
T

= y
1
T
y
1
+

2
T
y
2
1
(152)
Claramente tiene media cero y autocorrelaci on
() = e

(153)
El proceso de OU es estacionario, Gaussiano y Markoviano. El teorema
de Doob muestra que salvo transformaci on lineal es el unico proceso
con estas tres propiedades. Vamos a verlo:
Sea Y (t) un proceso estacionario Gaussiano de Markov. Por ser
Gaussiano P
1
(y) es Gaussiana y podemos suponerla igual a (149)
(mediante reescalamientos y traslaciones de la variable). Por ser
Gaussiano la probabilidad de transici on tiene la forma general
T

(y
2
|y
1
) = De

1
2
(Ay
2
2
+2By
2
y
1
+Cy
2
1
)
, (154)
35
donde A, B, C, D son funciones de . La normalizaci on (147) da
D =
_
A/2 C = B
2
/A (155)
mientras que (148) da B
2
= A(A 1). El par ametro A se puede
poner en terminos de la funci on de autocorrelaci on (146) que da
A = (1
2
)
1
e implica
T

(y
2
|y
1
) =
1
_
2(1
2
)
exp
_

(y
2
y
1
)
2
2(1
2
)
_
. (156)
Introduciendo t
3
= t
2
+

y la ecuaci on Chapman-Kolmogorov
para un proceso de Markov estacionario se tiene
(t
3
t
1
) =
_
y
3
dy
3
__
T

(y
3
|y
2
)T

(y
2
|y
1
)y
1
P
1
(y
1
)dy
1
dy
2
= (t
3
t
2
)(t
2
t
1
)
(157)
Ejercicio: Demostrarlo
que sugiere utilizar
() = e

(158)
con lo que est a demostrado el teorema de Doob.
Si Y (t) es estacionario, Gaussiano, y tiene una funci on de autocor-
relaci on exponencial () = (0)e

entonces Y (t) es un proceso

de OU y por tanto markoviano. Suponiendo media cero y varianza
unidad su funcional generador es
G[k] = exp
_

1
2
_ _
k(t
1
)k(t
2
)e
|t
1
t
2
|
dt
1
dt
2
_
(159)
Consideremos un proceso de Markov estacionario Y (t) dado por P
1
(y
1
)
y T

(y
2
|y
1
). Consideremos un tiempo t
0
jo y un valor y
0
jo ( esto
es, p(y) = (y y
0
)). Denimos un nuevo proceso no estacionario de
Markov Y

(t) para t t
0
, de la siguiente forma
P

1
(y
1
, t
1
) = T
t
1
t
0
(y
1
|y
0
) =
_
T
t
1
t
0
(y
1
|y)p(y)dy (160)
P

1|1
(y
2
, t
2
|y
1
, t
1
) = T
t
2
t
1
(y
2
|y
1
) (161)
Podemos extraer un subconjunto en el que a un tiempo t
0
los valores de
Y (t
0
) est an distribuidos de acuerdo con la distribuci on p(y
0
). Entonces
36
tomamos
P

1
(y
1
, t
1
) =
_
T
t
1
t
0
(y
1
|y
0
)p(y
0
)dy
0
(162)
P

1|1
(y
2
, t
2
|y
1
, t
1
) = T
t
2
t
1
(y
2
|y
1
) (163)
estos procesos son no estacionarios pues imponemos una condici on a
un tiempo jo t
0
(implica una condici on inicial). Aun as la probabil-
idad de transici on depende del intervalo temporal como la del proce-
so de Markov estacionario del que provienen. A este tipo de procesos
Markov no estacionarios con probabilidad de transici on no dependiente
del tiempo se le llaman procesos homogeneos. El proceso de Wiener es
un ejemplo de proceso homogeneo que no est a embebido en un proceso
de Markov estacionario.
Fsicamente la extracci on de este subproceso no estacionario signica
que uno prepara el sistema en un estado de no-equilibrio. Uno espera
que tras un tiempo el sistema vuelve al equilibrio
P

1
(y
1
, t
1
) P
1
(y
1
) cuando t (164)
como esto tiene que ser cierto para cualquier estado preparado arbi-
trario p(y
0
) se debe cumplir
T
t
1
t
0
(y
1
|y
0
) P
1
(y
1
) (165)
Por ejemplo, vamos a ver el caso de la teora de la respuesta lineal.
Consideremos un material paramagnetico bajo la acci on de un campo
magnetico uniforme externo F. La magnetizaci on Y en la direcci on del
campo es un proceso estoc astico estacionario con promedio macrosc opi-
co y uctuaciones peque nas entorno a este promedio. Supongamos que
es un proceso de Markov. La funci on P
1
(y) viene por la distribuci on
can onica
P
1
(y) =
Tr[(y Y )e
(HBY )/kT
]
Tre
(HBY )/kT
(166)
donde H es el operador hamiltoniano sin campo magnetico externo
y Y es el operador magnetizaci on. La traza aparece porque nuestro
sistema es cu antico. Supongamos que para < t < t
0
el campo vale
B+B y en t
0
cambia instant aneamente a B. entonces la distribuci on
de probabilidad en t
0
es
p(y) =
Tr[(y Y )e
{H(B+B)Y }/kT
]
Tre
{H(B+B)Y }/kT
(167)
37
Para t > t
0
la magnetizaci on Y es un proceso homogeneo cuya distribu-
ci on inicial es p y cuya probabilidad de transici on es la misma que la
de equilibrio con campo B. Entonces:
Y (t)

=
__
yT
tt
0
(y|y
0
)p(y
0
)dy
0
dy (168)
esto es, la forma en que el promedio macrosc opico se ajusta al nue-
vo campo est a determinada por la probabilidad de transici on de las
uctuaciones de equilibrio en el nuevo campo B.
Si s olo estamos interesados en la respuesta lineal expandimos p(y) hasta
primer orden en B dando
p(y) = P
1
(y) +
B
kT
{y Y
B
}P
1
(y) +O(B
2
) (169)
de donde
Y (t)

= Y
B
+
B
kT
(t t
0
). (170)
es decir la relajaci on irreversible de la magnetizaci on promedio est a de-
terminada en aproximaci on lineal por la funci on de autocorrelaci on de
las uctuaciones de equilibrio. Esto es un ejemplo del teorema de uc-
tuaci on-disipaci on.
Para derivar el resultado anterior hemos supuesto que Y (t) es de
Markov. Usualmente se est a interesado en materiales en los que
hay un efecto de memoria, pues esta da m as informaci on sobre
los momentos magneticos microsc opicos y su interacci on. Aunque
formalmente los resultados no cambian y que p(y
0
) es la distribu-
ci on de Y (t) en t
0
en el que el campo B cambia, no es cierto ahora
que p(y
0
) especica unvocamente el subconjunto y por tanto el
futuro de Y (t).
Lo que es esencial es que el sistema haya alcanzado cierto estado
estacionario en presencia de B + B de forma que su densidad
en el espacio de las fases sea can onica (colectividad) no s olo con
respecto a Y si con las otras cantidades que determinan su futuro.
El resultado obtenido no se puede aplicar por tanto para el ca-
so de campos externos dependientes del tiempo, al menos que la
variaci on del campo sea tan lenta que el sistema puede mantener
en todo momento la distribuci on de equilibrio correspondiente a
B(t) instant aneo.
38
Cadenas de Markov
Es una clase especialmente sencilla de procesos de Markov que cumple:
(i) El rango de Y es un conjunto discreto de estados
(ii) La variable temporal es discreta y toma s olo valores enteros t = . . . , 2, 1, 0, 1, . . . .
(iii) El proceso es estacionario o al menos homogeneo, de forma que la prob-
abilidad de transici on s olo depende de la diferencia de tiempos.
Una cadena de Markov nita es aquella que tiene como rango un n umero
nito de estados N. Su distribuci on primera de probabilidad P
1
(y, t) es un
vector de N componentes p
n
(t) (n=1,. . . ,N). La probabilidad de transici on
T

(y
2
|y
1
) es una matriz N N. La propiedad de Markov implica:
T

= (T
1
)

(171)
La distribuci on de probabilidad p(t) que se obtiene de una distribuci on inicial
p(0) es
p(t) = T
t
p(0). (172)
Entonces el estudio de una cadena de Markov nita se reduce a estudiar las
potencias de una matriz N N, esto es T, de la que conocemos que
(i) sus elementos son no negativos y
(ii) la suma de los elementos de cada columna es la unidad.
Estas matrices se llaman matrices estoc asticas (no confundir con matrices
aleatorias, cuyos elementos son variables estoc asticas).
T tiene un autovector por la izquierda (1, . . . , 1) con autovalor 1, y un
autovector por la derecha p
s
tal que Tp
s
= p
s
, que no es sino la p
1
(y) de
un proceso estacionario (ver ejercicio anterior). No es necesario que sea un
estado fsico de equilibrio, puede ser un estado estacionario en el cual, por
ejemplo, se mantiene un ujo constante.
Lo primero que hay que demostrar es que dada una distribuci on inicial
se tiene
lm
t
p(t) = lm
t
T
t
p(0) = p
s
. (173)
El teorema de Perron y Frobenius muestra que esto es siempre cierto salvo
casos muy excepcionales.
Nota: hay procesos estoc asticos que pueden hacerse markovianos intro-
duciendo una variable adicional. Estos procesos se llaman procesos marko-
vianos de segundo grado. Por ejemplo el caminante aleatorio con persistencia.
39
En este proceso la probabilidad de un paso en la misma direcci on que el
paso anterior diere de la probabilidad en sentido contrario. El proceso
es no markoviano pues su distribuci on de probabilidad en el tiempo r + 1
depende no s olo de su valor en r sino tambien de su valor en r 1. El pro-
ceso puede hacerse de Markov considerando una variable adicional, esto es
la posici on en r 1. El proceso bicomponente resultante es markoviano con
probabilidad de transici on:
T(n
2
, m
2
|n
1
, m
1
) = [
n
2
,n
1
+1
(
n
1
,m
1
+1
+
n
1
,m
1
1
)
+
n
2
,n
1
1
(
n
1
,m
1
1
+
n
1
,m
1
+1
)]
m
2
,n
1
(174)
Procesos de decaimiento
Para nalizar y como ejemplo ilustrativo vamos a estudiar el proceso de
decaimiento de un material radioactivo. Consideremos que en t = 0 hay n
0
n ucleos activos. El n umero N(t) de n ucleos activos que sobreviven a tiempo t
es un proceso estoc astico no estacionario. Es de Markov pues la distribuci on
de probabilidad de N(t
2
) con t
2
> t
1
condicionada a que N(t
1
) = n
1
no
depende de la historia (depende s olo de la probabilidad individual de sobre-
vivir de cada n ucleo). El proceso es entonces una combinaci on de procesos
de decaimientos m utuamente independientes de los n ucleos individuales. Sea
w la probabilidad de un n ucleo de sobrevivir en t
1
entonces la probabilidad
de sobrevivir de n
1
n ucleos en t
1
es
P
1
(n
1
, t
1
) =
_
n
0
n
1
_
w
n
1
(1 w)
n
0
n
1
(175)
esta f ormula es v alida para todos los valores enteros de n
1
si hacemos P
1
(n
1
, t
1
) =
0 para n
1
< 0 y n
1
> n
0
.
De esta f ormula se tiene
N(t
1
) =
_

n
1
n
1
_
n
0
n
1
_
w
n
1
v
n
0
n
1
_
v=1w
=
_
w

w
(w +v)
n
0
_
v=1w
= wn
0
(176)
Nos queda calcular w, pero sabemos que la probabilidad por unidad de tiempo
dt de un n ucleo en decaer es constante, es decir , de donde la variaci on en
la poblaci on de n ucleos en la unidad de tiempo es dw = wdt, de donde
w(t) = e
t
(177)
40
que da para P
1
P
1
(n
1
, t
1
) =
_
n
0
n
1
_
e
tn
1
(1 e
t
)
n
0
n
1
. (178)
y para la probabilidad de transici on para t
2
> t
1
P
1|1
(n
2
, t
2
|n
1
, t
1
) =
_
n
1
n
2
_
e
(t
2
t
1
)n
2
(1 e
(t
2
t
1
)
)
n
1
n
2
. (179)
que determina completamente el proceso.
Este tipo de c alculos se aplica tambien a la emisi on de luz por atomos ex-
citados, el escape de moleculas de un gas de Knudsen a traves de un peque no
ltro, la destrucci on de tropas enemigas mediante disparos aleatorios o la
destrucci on de celulas por radiaci on.
41