随机过程 6：马尔可夫链的长期行为

知道一个 Markov chain 的一步转移规则以后，最自然的问题不是”下一步去哪”，而是：如果一直执行下去，系统最终会表现出什么长期规律？这是 Markov chain 理论最重要的内容之一，也是随机过程 5：马尔可夫过程里转移矩阵的自然延伸。

1. 状态分布与平稳分布

1.1 状态分布如何随时间演化

假设状态空间有限，转移矩阵为 $P$，时刻 $t$ 的状态分布写成行向量 $\mu_t$，那么下一步满足 $\mu_{t+1}=\mu_tP$，经过 $n$ 步以后 $\mu_n=\mu_0P^n$。长期行为的核心问题，因此变成研究当 $n\to\infty$ 时 $P^n$ 会发生什么。

1.2 平稳分布：$\pi P=\pi$

如果存在一个概率分布 $\pi$ 满足 $\pi P=\pi$，就称 $\pi$ 是这个 Markov chain 的平稳分布（stationary distribution）：如果系统当前已经按照 $\pi$ 分布，再执行一步以后，整体概率分布仍然是 $\pi$。需要特别注意，平稳分布说的是概率分布本身不再改变，不是每一条 sample path 都静止不动——具体状态仍然可能持续在不同状态之间跳动，只是从整体概率分布来看保持不变。存在平稳分布，也不自动代表从任意初始状态出发都会收敛到它，还需要看状态空间的连通结构和周期性，这正是第 2 节要处理的问题。

2. 状态空间的结构

2.1 Communicating class 与 irreducibility

如果从状态 $i$ 出发，经过若干步有正概率到达 $j$，就说 $i$ 可以到达 $j$；如果 $i$ 可以到达 $j$、$j$ 也可以回到 $i$，两者互相 communicate，一组彼此 communicate 的状态形成一个 communicating class。如果所有状态彼此 communicate，整个 Markov chain 称为 irreducible（不可约）：状态空间是连通的，没有永远无法进入或离开的孤立区域。对有限状态 Markov chain，不可约性是后面许多收敛结论成立的必要条件。

2.2 周期性、常返与吸收状态

考虑一个确定性两状态链 $A\to B\to A\to B\to\dots$：从 A 出发只能在偶数步回到 A，这种”只能按固定节奏返回”的性质称为周期性——若一个状态返回自身的所有可能步数的最大公约数大于 1，就称它是 periodic，最大公约数等于 1 则称 aperiodic。即使一个链不可约，如果严格周期振荡，状态分布也可能持续在几个模式之间摆荡，无法平滑收敛到单一固定分布。

另一个问题是：从某个状态离开以后，还会不会回来？若从状态 $i$ 出发、最终回到 $i$ 的概率为 1，称 $i$ 是 recurrent（常返）；若存在正概率离开后永远不回来，称 $i$ 是 transient（暂留）。一维和二维简单对称随机游走是 recurrent，三维以上则会出现 transience，这会在后续随机游走的讨论中详细说明。若某状态满足 $P(i\to i)=1$，一旦进入就永远无法离开，称为 absorbing state（吸收状态），例如赌徒破产问题里资产归零就是一个吸收状态；存在多个吸收状态时，通常要进一步研究最终被哪个状态吸收、被吸收的概率，以及平均需要多久才被吸收，这些问题会自然连接到 hitting time 和 stopping time。

3. 具体算一次：沿用随机过程 5 的转移矩阵

上一篇用过的转移矩阵是：

$$P= \begin{bmatrix} 0.7 & 0.2 & 0.1\\ 0.1 & 0.8 & 0.1\\ 0.3 & 0.2 & 0.5 \end{bmatrix}$$

这个链所有状态彼此可达（不可约），也没有固定节奏的周期振荡（aperiodic）。求平稳分布 $\pi=(\pi_A,\pi_B,\pi_C)$ 就是解 $\pi P=\pi$ 这组联立方程，加上 $\pi_A+\pi_B+\pi_C=1$。从第一列可得 $0.3\pi_A=0.1\pi_B+0.3\pi_C$，从第三列可得 $\pi_C=0.2\pi_A+0.2\pi_B$，两式代入化简可得 $\pi_B=1.5\pi_A$、$\pi_C=0.5\pi_A$，再套入总和为 1 的限制，解出：

$$\pi=\left(\frac13,\frac12,\frac16\right)\approx(0.333,\,0.5,\,0.167)$$

这个结果可以直接验证：不管从哪一行出发，计算 $P^n$ 在 $n$ 足够大时，三行都会收敛到同一组数字。实际计算 $P^{20}$，三行都非常接近 $(0.333,0.5,0.167)$，跟解出来的 $\pi$ 一致——这正是下一节要说明的”从任意初始状态出发都收敛到唯一平稳分布”，不可约且非周期是这个结论成立的关键条件。

4. 收敛与 Mixing

4.1 什么时候收敛到唯一平稳分布

对有限状态 Markov chain，如果它同时满足 irreducible 和 aperiodic，通常存在唯一平稳分布 $\pi$，并且从任意初始分布 $\mu_0$ 出发都有 $\mu_0P^n\to\pi$：随着时间拉长，系统逐渐”遗忘”初始状态，第 3 节的数值例子正是这个性质的具体展示。

4.2 Mixing：需要多少步才够接近

只知道”最终会收敛”还不够，实务上更关心：到底需要多少步，才足够接近平稳分布？这是 mixing 和 mixing time 研究的问题。两个链可能有相同的平稳分布，一个只需要几十步就接近稳定，另一个可能需要几百万步；平稳分布回答”最终在哪里”，mixing time 回答”多久接近那里”。良好的混合性质代表 $P(X_n\in\cdot\mid X_0=x)$ 随 $n$ 增大会愈来愈不依赖具体的初始状态 $x$，这正是 MCMC 方法的理论基础：构造一个平稳分布恰好是目标分布的 Markov chain，执行足够长时间后，样本就会逐渐接近目标分布，不再受初始状态影响。

5. 常见误解与模型限制

“长期稳定”最常被误解成系统最终会固定在某个状态，实际上平稳分布是分布层面的稳定：一个天气链长期可能维持晴天 60%、雨天 40% 的比例，但具体每一天是晴是雨仍然持续变化，不代表天气会固定成某一种。第二个常见误解是把”存在平稳分布”和”一定会收敛到它”混为一谈：周期性链也可能有平稳分布，却永远不会从任意初始状态平滑收敛过去，前面两状态确定性振荡的例子就是如此。第三个限制是本文讨论的所有收敛结论都假设状态空间有限；状态空间无限时，即使不可约且非周期，也不保证存在平稳分布——某些无限状态链的所有状态都是零常返或 transient，需要另外检查。

6. 小结

Markov chain 的长期分析核心问题是：状态之间能不能互相到达、离开后会不会回来、是否存在吸收状态、是否存在平稳分布、从任意初始状态是否收敛到它，以及收敛需要多长时间。平稳分布满足 $\pi P=\pi$，对第 3 节的具体例子解出 $\pi=(1/3,1/2,1/6)$；只要链是不可约且非周期，长期状态分布通常会逐渐遗忘初始条件并收敛到这个唯一的 $\pi$。这些概念并不只是抽象分类：随机过程 7：随机游走会把 Markov 性质、增量、recurrence、transience 和中心极限定理几乎全部串连起来。