知道一个 Markov chain 的一步转移规则以后，最自然的问题不是“下一步去哪”，而是：

如果一直运行下去，系统最终会表现出什么长期规律？

这部分构成了 Markov chain 理论最重要的内容之一。

1. 状态分布与平稳分布

1.1 状态分布如何随时间演化

假设状态空间有限，转移矩阵为 PP。

如果时刻 tt 的状态分布写成行向量 μt\mu_t，那么下一步满足：

μt+1=μtP\mu_{t+1}=\mu_tP

因此经过 nn 步以后：

μn=μ0Pn(1)\mu_n=\mu_0P^n \tag{1}

所以长期行为的核心问题，就是研究当 n→∞n\to\infty 时 PnP^n 会发生什么。

1.2 Stationary distribution

如果存在一个概率分布 π\pi 满足：

πP=π(2)\boxed{\pi P=\pi} \tag{2}

那么 π\pi 称为这个 Markov chain 的 stationary distribution（平稳分布）。

意思是：

如果系统当前已经按照 π\pi 分布，那么再运行一步以后，整体概率分布仍然是 π\pi。

需要注意：stationary distribution 并不是说每一条 sample path 都静止不动。

具体状态仍然可能一直在 A、B、C 之间跳来跳去，只是从总体概率分布来看保持不变。

1.3 Stationary distribution 和长期收敛不是一回事

一个 Markov chain 存在 stationary distribution，并不自动意味着从任意初始状态都会收敛到它。

要讨论长期收敛，还需要看状态空间的连通结构和周期性。

这就引出了 irreducibility、periodicity 等概念。

2. 状态空间的结构

2.1 Communicating states

如果从状态 ii 出发，经过若干步有正概率到达 jj，就说 ii 可以到达 jj。

如果 ii 可以到达 jj，同时 jj 也可以回到 ii，那么称二者 communicate。

一组彼此 communicate 的状态会形成一个 communicating class。

这个概念的意义是：一个 Markov chain 的状态空间往往并不是一个整体，而可能由多个互不连通或单向连接的区域组成。

2.2 Irreducible

如果所有状态彼此 communicate，那么这个 Markov chain 称为 irreducible（不可约）。

直觉上就是：

整个状态空间是连通的，没有永远无法进入或离开的孤立区域。

对于有限状态 Markov chain，不可约性是很多漂亮长期结论成立的重要条件。

2.3 Periodic 和 aperiodic

考虑一个确定性的两状态链：

A→B→A→B→A→…A\to B\to A\to B\to A\to\dots

从 A 出发，只能在偶数步回到 A。

这种“只能按照固定节奏回到原状态”的性质叫周期性。

如果一个状态返回自身的所有可能步数的最大公约数大于 1，就称它是 periodic。

如果周期为 1，则称为 aperiodic。

为什么这个概念重要？

因为即使一个链不可约，如果它严格周期振荡，状态分布也可能一直在几个模式之间摆动，而不能平滑地收敛到一个固定分布。

2.4 Recurrent 和 transient

另一个非常重要的问题是：

从某个状态离开以后，还会不会回来？

如果从状态 ii 出发，最终回到 ii 的概率为 1，则称 ii 是 recurrent（常返） 的。

如果存在正概率离开以后永远不回来，则称 ii 是 transient（暂留） 的。

这个概念之后在随机游走中会特别重要。

一维和二维简单对称随机游走是 recurrent，而三维及以上会出现 transience。

2.5 Absorbing state

如果某个状态满足 P(i→i)=1P(i\to i)=1，那么一旦进入这个状态就永远无法离开。

这种状态称为 absorbing state（吸收状态）。

例如赌徒破产问题里，资产为 0 可以定义为吸收状态：

0→0→0→…0\to0\to0\to\dots

如果状态空间中存在多个吸收状态，通常会进一步研究：

  • 最终被哪个状态吸收；
  • 被吸收的概率是多少；
  • 平均需要多久才被吸收。

这些问题会自然连接到 hitting time 和 stopping time。

3. 收敛与 Mixing

3.1 什么时候会收敛到唯一平稳分布

对于有限状态 Markov chain，如果它满足：

  • irreducible；
  • aperiodic；

那么通常存在唯一 stationary distribution π\pi，并且从任意初始分布 μ0\mu_0 出发：

μ0Pn→π\mu_0P^n\to\pi

也就是说，随着时间越来越长，系统逐渐忘记初始状态。

这是 Markov chain 中一个非常重要的“长期忘却”性质。

3.2 Mixing

仅仅知道“最终会收敛”还不够。

实际中还会问：

到底需要多少步，才足够接近 stationary distribution？

这就是 mixing 和 mixing time 所研究的问题。

两个链可能拥有相同的 stationary distribution，但一个只需要几十步就接近稳定状态，另一个可能需要几百万步。

所以：

  • stationary distribution 回答“最终在哪里”；
  • mixing time 回答“多久接近那里”。

3.3 初始条件什么时候不再重要

如果一个 Markov chain 具有良好的混合性质，那么：

P(Xn∈⋅∣X0=x)P(X_n\in\cdot\mid X_0=x)

随着 nn 增大，会越来越不依赖具体的初始状态 xx。

这是很多 Monte Carlo 方法的重要基础。

例如 MCMC 的核心思想之一，就是构造一个 stationary distribution 为目标分布的 Markov chain，然后运行足够长时间，使样本逐渐接近目标分布。

4. 长期稳定不意味着路径停止变化

再强调一次：即使一个 Markov chain 已经达到 stationary distribution，具体状态仍然可以一直变化。

例如一个天气链长期可能满足：

  • 晴天比例 60%；
  • 雨天比例 40%。

这并不意味着天气最终固定成某一种状态，而是说长期统计比例保持稳定。

所以所谓“长期稳定”更多是分布层面的稳定。

5. 小结

Markov chain 的长期分析主要关心：

  • 状态之间能不能互相到达；
  • 一个状态离开后是否会回来；
  • 是否存在吸收状态；
  • 是否存在 stationary distribution；
  • 从任意初始状态是否会收敛到它；
  • 收敛需要多长时间。

其中最核心的平稳分布满足：

πP=π\pi P=\pi

如果一个有限状态链不可约且非周期，长期状态分布通常会逐渐忘记初始条件并收敛到唯一的 π\pi。

下一节我们会看到，这些概念并不只是抽象分类。最经典的随机过程之一——随机游走——会把 Markov、增量、recurrence、transience 和中心极限定理几乎全部串起来。