隨機過程 6：馬爾可夫鏈的長期行為

知道一個 Markov chain 的一步轉移規則以後，最自然的問題不是「下一步去哪」，而是：如果一直執行下去，系統最終會表現出什麼長期規律？這是 Markov chain 理論最重要的內容之一，也是隨機過程 5：馬爾可夫過程裡轉移矩陣的自然延伸。

1. 狀態分佈與平穩分佈

1.1 狀態分佈如何隨時間演化

假設狀態空間有限，轉移矩陣為 $P$，時刻 $t$ 的狀態分佈寫成行向量 $\mu_t$，那麼下一步滿足 $\mu_{t+1}=\mu_tP$，經過 $n$ 步以後 $\mu_n=\mu_0P^n$。長期行為的核心問題，因此變成研究當 $n\to\infty$ 時 $P^n$ 會發生什麼。

1.2 平穩分佈：$\pi P=\pi$

如果存在一個機率分佈 $\pi$ 滿足 $\pi P=\pi$，就稱 $\pi$ 是這個 Markov chain 的平穩分佈（stationary distribution）：如果系統當前已經按照 $\pi$ 分佈，再執行一步以後，整體機率分佈仍然是 $\pi$。需要特別注意，平穩分佈說的是機率分佈本身不再改變，不是每一條 sample path 都靜止不動——具體狀態仍然可能持續在不同狀態之間跳動，只是從整體機率分佈來看保持不變。存在平穩分佈，也不自動代表從任意初始狀態出發都會收斂到它，還需要看狀態空間的連通結構和週期性，這正是第 2 節要處理的問題。

2. 狀態空間的結構

2.1 Communicating class 與 irreducibility

如果從狀態 $i$ 出發，經過若干步有正機率到達 $j$，就說 $i$ 可以到達 $j$；如果 $i$ 可以到達 $j$、$j$ 也可以回到 $i$，兩者互相 communicate，一組彼此 communicate 的狀態形成一個 communicating class。如果所有狀態彼此 communicate，整個 Markov chain 稱為 irreducible（不可約）：狀態空間是連通的，沒有永遠無法進入或離開的孤立區域。對有限狀態 Markov chain，不可約性是後面許多收斂結論成立的必要條件。

2.2 週期性、常返與吸收狀態

考慮一個確定性兩狀態鏈 $A\to B\to A\to B\to\dots$：從 A 出發只能在偶數步回到 A，這種「只能按固定節奏返回」的性質稱為週期性——若一個狀態返回自身的所有可能步數的最大公約數大於 1，就稱它是 periodic，最大公約數等於 1 則稱 aperiodic。即使一個鏈不可約，如果嚴格週期振盪，狀態分佈也可能持續在幾個模式之間擺盪，無法平滑收斂到單一固定分佈。

另一個問題是：從某個狀態離開以後，還會不會回來？若從狀態 $i$ 出發、最終回到 $i$ 的機率為 1，稱 $i$ 是 recurrent（常返）；若存在正機率離開後永遠不回來，稱 $i$ 是 transient（暫留）。一維和二維簡單對稱隨機遊走是 recurrent，三維以上則會出現 transience，這會在後續隨機遊走的討論中詳細說明。若某狀態滿足 $P(i\to i)=1$，一旦進入就永遠無法離開，稱為 absorbing state（吸收狀態），例如賭徒破產問題裡資產歸零就是一個吸收狀態；存在多個吸收狀態時，通常要進一步研究最終被哪個狀態吸收、被吸收的機率，以及平均需要多久才被吸收，這些問題會自然連結到 hitting time 和 stopping time。

3. 具體算一次：沿用隨機過程 5 的轉移矩陣

上一篇用過的轉移矩陣是：

$$P= \begin{bmatrix} 0.7 & 0.2 & 0.1\\ 0.1 & 0.8 & 0.1\\ 0.3 & 0.2 & 0.5 \end{bmatrix}$$

這個鏈所有狀態彼此可達（不可約），也沒有固定節奏的週期振盪（aperiodic）。求平穩分佈 $\pi=(\pi_A,\pi_B,\pi_C)$ 就是解 $\pi P=\pi$ 這組聯立方程式，加上 $\pi_A+\pi_B+\pi_C=1$。從第一行可得 $0.3\pi_A=0.1\pi_B+0.3\pi_C$，從第三行可得 $\pi_C=0.2\pi_A+0.2\pi_B$，兩式代入化簡可得 $\pi_B=1.5\pi_A$、$\pi_C=0.5\pi_A$，再套入總和為 1 的限制，解出：

$$\pi=\left(\frac13,\frac12,\frac16\right)\approx(0.333,\,0.5,\,0.167)$$

這個結果可以直接驗證：不管從哪一列出發，計算 $P^n$ 在 $n$ 足夠大時，三列都會收斂到同一組數字。實際計算 $P^{20}$，三列都非常接近 $(0.333,0.5,0.167)$，跟解出來的 $\pi$ 一致——這正是下一節要說明的「從任意初始狀態出發都收斂到唯一平穩分佈」，不可約且非週期是這個結論成立的關鍵條件。

4. 收斂與 Mixing

4.1 什麼時候收斂到唯一平穩分佈

對有限狀態 Markov chain，如果它同時滿足 irreducible 和 aperiodic，通常存在唯一平穩分佈 $\pi$，並且從任意初始分佈 $\mu_0$ 出發都有 $\mu_0P^n\to\pi$：隨著時間拉長，系統逐漸「忘記」初始狀態，第 3 節的數值例子正是這個性質的具體展示。

4.2 Mixing：需要多少步才夠接近

只知道「最終會收斂」還不夠，實務上更關心：到底需要多少步，才足夠接近平穩分佈？這是 mixing 和 mixing time 研究的問題。兩個鏈可能有相同的平穩分佈，一個只需要幾十步就接近穩定，另一個可能需要幾百萬步；平穩分佈回答「最終在哪裡」，mixing time 回答「多久接近那裡」。良好的混合性質代表 $P(X_n\in\cdot\mid X_0=x)$ 隨 $n$ 增大會愈來愈不依賴具體的初始狀態 $x$，這正是 MCMC 方法的理論基礎：構造一個平穩分佈恰好是目標分佈的 Markov chain，執行足夠長時間後，樣本就會逐漸接近目標分佈，不再受初始狀態影響。

5. 常見誤解與模型限制

「長期穩定」最常被誤解成系統最終會固定在某個狀態，實際上平穩分佈是分佈層面的穩定：一個天氣鏈長期可能維持晴天 60%、雨天 40% 的比例，但具體每一天是晴是雨仍然持續變化，不代表天氣會固定成某一種。第二個常見誤解是把「存在平穩分佈」和「一定會收斂到它」混為一談：週期性鏈也可能有平穩分佈，卻永遠不會從任意初始狀態平滑收斂過去，前面兩狀態確定性振盪的例子就是如此。第三個限制是本文討論的所有收斂結論都假設狀態空間有限；狀態空間無限時，即使不可約且非週期，也不保證存在平穩分佈——某些無限狀態鏈的所有狀態都是零常返或 transient，需要另外檢查。

6. 小結

Markov chain 的長期分析核心問題是：狀態之間能不能互相到達、離開後會不會回來、是否存在吸收狀態、是否存在平穩分佈、從任意初始狀態是否收斂到它，以及收斂需要多長時間。平穩分佈滿足 $\pi P=\pi$，對第 3 節的具體例子解出 $\pi=(1/3,1/2,1/6)$；只要鏈是不可約且非週期，長期狀態分佈通常會逐漸遺忘初始條件並收斂到這個唯一的 $\pi$。這些概念並不只是抽象分類：隨機過程 7：隨機遊走會把 Markov 性質、增量、recurrence、transience 和中心極限定理幾乎全部串連起來。