【随机过程2】马尔可夫过程1 | 基本概念

你你是下雨天 glooow1024.github.io 2022/01/24

6.1 基本概念 马尔科夫链的定义很常见了，在此不再赘述。简单而言就是 \[P(X_{n+1}=s_{n+1}|X_0=s_0,...,X_{n}=s_n) = P(X_{n+1}=s_{n+1}|X_{n}=s_n)\] 还可以定义一步转移概率、转移概率矩。如果转移概率不随时间变化，就是时间齐次马尔科夫链。 定理 6.1 ：设随机过程 \(\{X_n,n\ge0\}\) 满足 \(X_n =f(…