Configuración
Acciones
Opciones de Visualización
Editor de Matriz de Transición
Cada fila debe sumar 1.0 (matriz estocástica)
Distribución de Probabilidad
Convergencia a Distribución Estacionaria
Análisis Matemático
Distribución Actual p_t
Distribución Estacionaria π
π satisface π = πP
Valores Propios de P
λ₁ = 1 está garantizado para matrices estocásticas
Propiedades de la Cadena
Estimación de Tiempo de Mezclado
Pasos para alcanzar distancia ε = 0.01 de π
Distancia de Variación Total
δ(t) = 0.5 × Σ|p_t(i) - π(i)|
¿Qué es una Cadena de Márkov?
Una cadena de Márkov es un proceso estocástico con la propiedad sin memoria: el estado futuro depende solo del estado actual, no de la secuencia de eventos que lo precedieron.
Propiedad de Márkov
P(X_{t+1} | X_t, X_{t-1}, ..., X_0) = P(X_{t+1} | X_t)
Fórmula de Transición
p_{t+1} = p_t P
donde p_t es el vector de distribución en el tiempo t, y P es la matriz de transición
Conceptos Clave
- Espacio de Estados S: El conjunto de todos los posibles estados
- Matriz de Transición P: P[i][j] = P(X_{t+1}=j | X_t=i)
- Matriz Estocástica: Cada fila suma 1.0
- Probabilidad de Camino: Producto de probabilidades de transición a lo largo del camino
Distribución Estacionaria π
Una distribución estacionaria π es una distribución de probabilidad que permanece inalterada en la cadena de Márkov: una vez que el sistema alcanza π, se queda allí para siempre.
Ecuación Estacionaria
π = πP
o equivalentemente: π(P - I) = 0
Interpretación de Vector Propio Izquierdo
π es el vector propio izquierdo de P correspondiente al valor propio 1
πP = λπ where λ = 1
Existencia y Unicidad
- Existencia: Toda cadena de Márkov finita tiene al menos una distribución estacionaria
- Unicidad: Garantizada para cadenas irreducibles (todos los estados se comunican)
- Perron-Frobenius: Para cadenas regulares, π tiene todas las entradas positivas
Distancia de Variación Total
δ(t) = 0.5 × Σ|p_t(i) - π(i)|
Mide qué tan cerca está la distribución actual de la estacionaria
Propiedades de Convergencia
¿Bajo qué condiciones una cadena de Márkov converge a su distribución estacionaria?
Tipos de Cadena
- Regular (Aperiódica + Irreducible): Converge a una π única desde cualquier distribución inicial
- Periódica: Los estados ciclan a través de un patrón periódico
- Reducible: Contiene estados absorbentes o múltiples clases comunicantes
Tasa de Convergencia
Determinada por el segundo mayor valor propio en magnitud (SLEM):
|p_t - π| ≈ C × |λ_2|^t
Brecha espectral = 1 - |λ₂|, mayor brecha = convergencia más rápida
Tiempo de Mezclado
Tiempo para acercarse ε a la distribución estacionaria:
t_mix(ε) = log(ε) / log(|λ_2|)
Detección de Periodicidad
Un estado tiene período d si todos los ciclos desde ese estado tienen longitudes divisibles por d
- Aperiódica: d = 1 (puede regresar en cualquier momento)
- Periódica: d > 1 (los ciclos están sincronizados)
Balance Detallado (Cadenas Reversibles)
π(i)P(i,j) = π(j)P(j,i)
Una condición suficiente para que π sea estacionaria
Aplicaciones del Mundo Real
Algoritmo PageRank
El PageRank de Google modela la navegación web como una caminata aleatoria. La distribución estacionaria da la importancia de cada página.
P = (1-d)M + d(1/n)J
M: matriz de enlaces, d: factor de amortiguación, J: matriz de unos
Caminatas Aleatorias en Grafos
Usado en análisis de redes, sistemas de recomendación y muestreo de grafos. La distribución estacionaria se relaciona con los grados de los nodos.
Métodos de Muestreo MCMC
Los métodos de Monte Carlo con Cadenas de Márkov generan muestras de distribuciones de probabilidad complejas construyendo cadenas con el objetivo como distribución estacionaria.
- Metropolis-Hastings algorithm
- Gibbs sampling
- Boltzmann machines
Modelos Ocultos de Márkov (HMM)
Usados en reconocimiento de voz, bioinformática y finanzas. Los HMM tienen una cadena de Márkov subyacente con estados ocultos.
Teoría de Colas
Los procesos de nacimiento-muerte modelan colas. La distribución estacionaria da la probabilidad a largo plazo de tener n clientes en el sistema.
Juegos de Mesa
Juegos como Monopoly y Serpientes y Escaleras pueden modelarse como cadenas de Márkov para calcular la duración esperada del juego y frecuencias de visita.