Introducción

En los problemas de toma de decisiones, con frecuencia nos enfrentamos a situaciones

que tienen incertidumbre asociada a ellas. Esta incertidumbre proviene de la variación
inherente a las fuentes de esa variación que eluden el control o proviene de la
inconsistencia de los fenómenos naturales. En lugar de manejar esta variabilidad como
cualitativa, puede incorporarse a un modelo matemático y manejarse en forma
cuantitativa. Por lo general, este tratamiento puede lograrse si el fenómeno natural
muestra un cierto grado de regularidad, de manera que sea posible describir la
variación mediante un modelo probabilístico.
En el siguiente ensayo hablaremos sobre las cadenas de Markov, su importancia y
como es que se usan.

Desarrollo
El análisis de Markov tuvo su origen en los estudios de A.A.Markov (1906-1907) sobre
la secuencia de los experimentos conectados en cadena y los intentos de descubrir
matemáticamente los fenómenos físicos conocidos como movimiento browniano.
Las cadenas de Markov son una herramienta si se le puede llamar así, para estudiar el
comportamiento y el estado de determinados tipos de procesos estocásticos, esto se
refiere a los procesos que evolucionan en el tiempo de una manera probabilística.
Una cadena de markov, entonces es o se representa un sistema que varía su estado a
lo largo del tiempo, siendo cada cambio una transición (de estar) del sistema. Dichos
cambios no están predeterminados, aunque si lo está la probabilidad del próximo
estado en función de los estados anteriores, probabilidad que es constante a lo largo
del tiempo.
Los estados son una caracterización de la situación en que se halla el sistema en un
instante dado, dicha caracterización puede ser tanto cuantitativa como cualitativa.
La mejor definición de que debe entenderse por estado es la respuesta que se daría a
la pregunta ¿cómo están las cosas?
De manera seria, el estado de un sistema es un instante t es una variable cuyos
valores solo pueden pertenecer al conjunto de estados del sistema. El sistema
moralizado por la cadena, por lo tanto, es una variable que cambia de valor en el
tiempo.
Los modelos de los procesos de Markov se requieren y son de amplia utilidad para el
estudio y evolución de los sistemas a lo largo de varios ensayos, por ejemplo, describir
la probabilidad de que una máquina que funcione en un periodo determinado, continúe
o falle en el siguiente, también se han utilizado para describir la probabilidad de que un
cliente que adquiere una marca determinada en un periodo, adquiera en su lugar otra
marca en el siguiente.
Quizás el ejemplo más simple de un proceso estocástico es una sucesión de
lanzamientos de una moneda. Para este caso, el resultado en cada etapa es
independiente de todos los resultados previos. Sin embargo, en la mayoría de los
casos en los procesos estocásticos cada resultado depende de lo que sucedió en
etapas anteriores del proceso. Observemos que en el caso del precio de una acción en
un día determinado depende en gran medida del comportamiento en la bolsa en días
previos.
El estado transitorio se refiere Si es un estado transitorio si se puede dejar el estado,
pero nunca retornar a él. Es aquel que no regresa a su estado de modo seguro. Por
consiguiente, el estado i es transitorio si y solo si existe un estado j (j diferente de i) que
es accesible desde el estado j, pero no viceversa, esto es que el estado i no es
accesible desde j. Un estado transitorio solo es visitado un número finito de veces.
Los procesos de Markov, estos son un tipo especial de procesos estocásticos que
poseen la siguiente propiedad: “Conocido el estado del proceso en un momento dado,
su comportamiento futuro no depende del pasado”; dicho de otro modo, “dado el
presente, el futuro es independiente del pasado”. Así mismo declaro que en toda
cadena hay determinaos conjuntos de estados que caracterizan el comportamiento del
proceso, y su clasificación se hace teniendo en cuenta la comunicación que existen
dentro de los distintos estados del conjunto.
De acuerdo a lo que nos dice el matemático ‘’Fonollosa Guardiet’’ las cadenas de
markov se definen de la siguiente manera:
“Es necesario hacer algunas suposiciones sobre la distribución conjunta de X0, X1, para
obtener resultados analíticos. Hay una suposición que nos lleva a un tipo especial de
procesos estocásticos de tiempo discreto llamados cadenas de Markov. Para simplificar
nuestra presentación supondremos que, en cualquier tiempo, el proceso estocástico de
tiempo discreto puede estar en uno de un número finito de estados identificados por 1,
2, ,s.

DEFINICIÓN Un proceso estocástico de tiempo discreto es una cadena de Markov

si para t = 0, 1, 2, y todos los estados,
P ( X t +1 =i t +1|X t =i t , X t−1=i t−1 ,⋯, X 1 =i 1 , X 0 =i 0 ) =P ( X t+1=i t+1|X t =i t )

En esencia, la ecuación dice que la distribución de probabilidad del estado en el tiempo

t + 1 depende del estado en el tiempo t (it) y no depende de los estados por los cuales
pasó la cadena para llegar a it, en el tiempo t, es decir, el estado que tomará el sistema
en el futuro inmediato solo depende del presente más no del pasado. La probabilidad
condicional P ( X t+1 =i t+1|X t =it ) se llama probabilidad de transición, ya que el sistema
en período pasa del estado it+1 al estado it.
Además, si para cualquier par de estados i y j ocurre P ( X t+1 = j|X t =i ) toma el mismo
valor para todo t, se dice que la cadena de Markov es estacionaria en el tiempo y se
puede escribir:
P (Xt+1 = j | Xt = i) = P (X1 = j | X0 = i) = pij
donde pij es la probabilidad de que, dado que el sistema está en el estado i en el tiempo
t, el sistema estará en el estado j en el tiempo t + 1. Con frecuencia, en una cadena de
Markov, a las pij, se les conoce con el nombre de probabilidades de transición
estacionarias.
La Ecc. 2 indica que la ley de probabilidad que relaciona el estado tomado en el
siguiente periodo con el estado actual del sistema no cambia, o que permanece
estacionaria, en el tiempo. Por este motivo, a menudo se llama Hipótesis de
estabilidad a la ecuación. Toda cadena de Markov que cumple con la Ecc. 2 se llama
cadena estacionaria de Markov.
En la mayoría de las aplicaciones, las probabilidades de transición se presentan como
una matriz P de probabilidad de transición s  s. La matriz de probabilidad de
transición P se puede escribir como

[ ]
p 11 p12 ⋯ p 1S
p p22 ⋯ p 2S
P= 21
⋮ ⋮ ⋮
pS 1 pS 2 ⋯ p SS

Dado que el estado es i en el tiempo t, el proceso debe estar en algún lugar en el

tiempo t + 1. Esto significa que, para cada i,
s
s
∑ P( X t +1= j| X t =i)=1 ∑ pij =1
j =1 o bien que j =1

También sabemos que cada elemento de la matriz P debe ser no negativo. Por lo tanto,
todos los elementos de la matriz de probabilidad de transición son no negativos y
además, los elementos de cada renglón deben sumar 1.
El estudio de las cadenas de Markov también necesita que se defina qi como la
probabilidad de que la cadena se encuentre en el estado i en el tiempo 0; en otras
palabras, P (X0 = i) = qi. Al vector q = [q1, q2, , qs] se le llama distribución inicial de
probabilidad de la cadena de Markov.” (Fonollosa Guardiet, 2004).
Matemáticamente un proceso en el cual es posible avanzar desde un estado hasta
cualquier otro estado. Por otra parte, la predicción es un proceso de estimación de un
suceso futuro basándose en consideraciones subjetivas diferentes a los simples datos
provenientes del pasado; estas consideraciones subjetivas no necesariamente deben
combinarse de una manera predeterminada. Es decir, cuando no existen datos del
pasado, se requiere una predicción, y de lo contrario, se necesita un pronóstico.
Los pronósticos son la base de la planificación corporativa a largo plazo. El personal de
producción y de operación utiliza pronósticos para tomar decisiones periódicas con
respecto a la selección de procesos, a la planificación de la capacidad, a la
planificación de la producción, a la programación de actividades y al inventario. Los
pronósticos no sólo se utilizan como elemento de los modelos de solución de
problemas mediante la ciencia administrativa, sino que establecen además las
premisas a partir de las cuales se elaboran los planes y controles.

Conclusión
Un proceso o sucesión de eventos que se desarrolla en el tiempo en el cual el
resultado en cualquier etapa contiene algún elemento que depende del azar se
denomina proceso aleatorio o proceso estocástico. Por ejemplo, la sucesión podría ser
las condiciones del tiempo en Paraná en una serie de días consecutivos: el tiempo
cambia día a día de una manera que en apariencia es algo aleatoria. O bien, la
sucesión podría consistir en los precios de las acciones que cotizan en la bolsa en
donde otra vez interviene cierto grado de aleatoriedad. Un ejemplo simple de un
proceso estocástico es una sucesión de ensayos de Bernoulli, por ejemplo, una
sucesión de lanzamientos de una moneda. En este caso, el resultado en cualquier
etapa es independiente de todos los resultados previos (esta condición de
independencia es parte de la definición de los ensayos de Bernoulli). Sin embargo, en
la mayoría de los procesos estocásticos, cada resultado depende de lo que sucedió en
etapas anteriores del proceso. Por ejemplo, el tiempo en un día determinado no es
aleatorio por completo, sino que es afectado en cierto grado por el tiempo de días
previos. El precio de una acción al cierre de cualquier día depende en cierta medida del
comportamiento de la bolsa en días previos. El caso más simple de un proceso
estocástico en que los resultados dependen de otros, ocurre cuando el resultado en
cada etapa sólo depende del resultado de la etapa anterior y no de cualquiera de los
resultados previos. Tal proceso se denomina proceso de Markov o cadena de Markov
(una cadena de eventos, cada evento ligado al precedente) Estas cadenas reciben su
nombre del matemático ruso Andrei Andreevitch Markov (1856-1922). Como
mencionamos antes, esta cadena tiene memoria, recuerdan el último evento y eso
condiciona las posibilidades de los eventos futuros. Esto justamente las distingue de
una serie de eventos independientes como el hecho de tirar una moneda. Este tipo de
proceso presenta una forma de dependencia simple, pero muy útil en muchos modelos,
entre las variables aleatorias que forman un proceso estocástico. Se utilizan, por
ejemplo, para analizar patrones de compra de deudores morosos, para planear
necesidades de personal, para analizar el reemplazo de un equipo, entre otros.
Referencias
Cortés, Fernando (2006), "Desigualdad en la distribución del ingreso y pobreza. México
1992 a 2005", México, Centro de Estudios Sociológicos, El Colegio de México
(http://www.ipea.gov.br/sites/000/2/noticias/Brasilia\_Nov.2006.ppt).
Ponzio, Salvatore (2004), "Growth and Markov Chains: An Application to Italian
Provinces", Centro di Ricerca Interuniversitario sullo Stato Sociale, Reunión 2004
(http://www.unisi.it/criss/download/meeting2004/papers/ponzio.pdf).
CÓRDOBA Y ORDOÑEZ, J. y ANTÓN BURGOS, J. (1990). "Aplicación de las cadenas
de Markov al análisis de la centralidad en un sistema de transporte" Estudios
Geográficos, Año LI, nº 198, pp. 33-64.
GORDON, P. (1967). Cadenas finitas de Markov y sus aplicaciones. Editorial Hispano
Europea, Colección E.S.A.D.E., Barcelona.
MARTÍN-VIDE, J. (1983). “La aceptación del modelo estocástico de la Cadena de
Markov homogénea en tiempo discreto y de dos estados en los cálculos de la
probabilidad de la precipitación diaria” En: VIII Congreso de Geógrafos Españoles,
Comunicaciones, AGE, Barcelona, pp. 24-31.