Markov process 是随机过程中最重要的一类。

它经常被简单解释成：

未来只依赖现在，不依赖过去。

这句话虽然方便记忆，但非常容易产生误解。

如果 X1X_1 影响 X2X_2，而 X2X_2 又影响 X3X_3，那么 X1X_1 明明会通过 X2X_2 间接影响 X3X_3。为什么还能说 X3X_3 “不依赖过去”？

关键在于：Markov 性质说的并不是“过去没有影响”，而是在已经知道当前状态以后，过去不会再提供额外信息。

1. Markov 性质

1.1 Markov 性质的定义

离散时间的一阶 Markov 性质可以写成：

P(Xt+1∣Xt,Xt−1,…,X0)=P(Xt+1∣Xt)(1)\boxed{ P(X_{t+1}\mid X_t,X_{t-1},\dots,X_0) = P(X_{t+1}\mid X_t) } \tag{1}

式 (1) 的真正含义是：

如果已经知道当前状态 XtX_t，那么为了预测下一步 Xt+1X_{t+1}，更早的历史 Xt−1,Xt−2,…X_{t-1},X_{t-2},\dots 不再提供额外信息。

1.2 依赖如何传导

考虑：

X1→X2→X3X_1\rightarrow X_2\rightarrow X_3

如果 X1X_1 会影响 X2X_2，而 X2X_2 又影响 X3X_3，那么一般来说 X1X_1 和 X3X_3 是相关的。

所以：

X1⊥̸X3X_1\not\perp X_3

完全可能成立。

但 Markov 性质要求：

X1⊥X3∣X2X_1\perp X_3\mid X_2

也就是说，一旦 X2X_2 已知，再告诉我们 X1X_1，不会进一步改变对 X3X_3 的条件分布。

这叫条件独立。

1.3 一个最简单的例子

假设系统只有 0 和 1 两种状态，并且每一步有 90% 的概率保持原状态，10% 的概率翻转。

如果只知道 X1=1X_1=1，当然可以用它预测 X3X_3。

例如：

  • 1→1→11\to1\to1 的概率是 0.9×0.90.9\times0.9；
  • 1→0→11\to0\to1 的概率是 0.1×0.10.1\times0.1。

所以 X1X_1 对 X3X_3 显然有信息。

但如果已经知道 X2=0X_2=0，那么：

P(X3=1∣X2=0)=0.1P(X_3=1\mid X_2=0)=0.1

这时候即使再告诉我们 X1=1X_1=1，结果仍然是：

P(X3=1∣X2=0,X1=1)=0.1P(X_3=1\mid X_2=0,X_1=1)=0.1

所以真正被切断的是“额外信息”，不是过去对现在的历史影响。

1.4 当前状态是过去的充分摘要

因此，比“无记忆”更准确的理解是：

当前状态已经总结了过去所有与预测未来有关的信息\boxed{\text{当前状态已经总结了过去所有与预测未来有关的信息}}

过去当然可以通过当前状态影响未来，只是它的作用已经被压缩进 XtX_t 里。

这个观点非常重要，因为它直接引出了一个更深的问题：

一个过程是不是 Markov，取决于我们如何定义 state。

2. 状态如何决定 Markov 性

2.1 状态定义决定 Markov 性

考虑一个运动物体。

如果定义 XtX_t 只表示当前位置，那么仅知道当前位置通常不足以预测下一秒的位置。

因为还需要知道速度。

例如两辆车当前都在同一个位置，一辆向东高速行驶，一辆向西高速行驶，它们下一秒显然会去不同地方。

所以“位置过程”本身可能不是 Markov 的。

但如果把状态扩充为：

St=(Xt,Vt)S_t=(X_t,V_t)

也就是同时包含位置和速度，那么在一个简单动力学模型里，St+1S_{t+1} 可能只依赖 StS_t。

于是同一个物理系统，在不同状态表示下，可以表现为 Markov 或非 Markov。

2.2 什么是非 Markov 过程

考虑：

Xt+1=Xt+Xt−1+ϵtX_{t+1}=X_t+X_{t-1}+\epsilon_t

如果只知道 XtX_t，还无法确定下一步的条件分布，因为 Xt−1X_{t-1} 仍然提供额外信息。

因此：

P(Xt+1∣Xt,Xt−1)≠P(Xt+1∣Xt)P(X_{t+1}\mid X_t,X_{t-1}) \neq P(X_{t+1}\mid X_t)

这就是一个简单的非一阶 Markov 过程。

当然，也可以把状态重新定义为 St=(Xt,Xt−1)S_t=(X_t,X_{t-1})，这样新的状态过程就可能重新变成一阶 Markov。

3. Markov chain 与状态转移

3.1 Markov chain

如果时间是离散的，并且状态空间也是离散的，那么得到的就是 Markov chain（马尔可夫链）。

假设状态空间只有 A,B,CA,B,C，可以定义转移矩阵：

P=[0.70.20.10.10.80.10.30.20.5]P= \begin{bmatrix} 0.7 & 0.2 & 0.1\\ 0.1 & 0.8 & 0.1\\ 0.3 & 0.2 & 0.5 \end{bmatrix}

第一行表示当前处于 A 时：

  • 下一步仍在 A 的概率为 0.7；
  • 转移到 B 的概率为 0.2；
  • 转移到 C 的概率为 0.1。

每一行之和都等于 1。

3.2 一步转移如何决定多步转移

Markov chain 一个非常漂亮的地方是：

如果已经知道一步转移矩阵 PP，就可以推导任意多步以后的转移概率。

两步转移由 P2P^2 给出，三步转移由 P3P^3 给出，一般地：

P(n)=Pn(2)P^{(n)}=P^n \tag{2}

这背后对应的是 Chapman–Kolmogorov 关系。

它说明一个复杂的长期随机演化，可以由局部的一步转移规则不断组合得到。

4. Markov 性与“有限记忆”

一阶 Markov 只依赖当前一步。

也可以定义二阶 Markov：

P(Xt+1∣Xt,Xt−1,Xt−2,… )=P(Xt+1∣Xt,Xt−1)P(X_{t+1}\mid X_t,X_{t-1},X_{t-2},\dots) = P(X_{t+1}\mid X_t,X_{t-1})

也就是说，系统需要最近两个状态才能预测下一步。

更一般地，可以存在 kk 阶 Markov 过程。

但从状态建模角度看，常见做法仍然是把过去 kk 步组合成一个更大的当前状态，从而把它重新写成一阶 Markov 形式。

5. 小结

Markov 性质不是“过去和未来完全无关”，而是：

给定当前状态以后，过去对未来不再提供额外信息\boxed{\text{给定当前状态以后，过去对未来不再提供额外信息}}

因此，过去的影响可以沿着 X1→X2→X3X_1\to X_2\to X_3 不断传导，只是到了当前状态以后，过去所有与未来相关的信息已经被压缩进当前 state。

这也解释了为什么 state representation 是 Markov 理论中的核心。

下一步需要研究的是：如果一个 Markov chain 一直运行下去，它最终会发生什么？这就会进入 stationary distribution、recurrent、transient、absorbing state 和 mixing。