前面的随机过程主要研究“状态是什么”和“状态怎样变化”。但很多实际问题并不关心某个固定时间点,而是关心:
某件事情第一次什么时候发生?
例如随机游走什么时候第一次回到原点,股票价格什么时候第一次超过阈值,排队系统什么时候第一次清空,赌徒什么时候破产。
这些问题自然引出了 hitting time、first passage time 和 stopping time。
1. 首次到达时间
1.1 首次到达时间的定义
设 是随机过程,给定一个目标集合 。定义:
表示随机过程第一次进入集合 的时间。
如果 ,则可以写成 ,表示第一次到达状态 。
例如一维随机游走第一次到达位置 10:
1.2 时间本身也是随机变量
不是一个固定时间,而是一个随机变量。
不同 sample path 可能:
- 第 20 步到达;
- 第 300 步到达;
- 永远到不了。
因此可以研究:
- :最终能否到达;
- :在时间 之前到达的概率;
- :平均需要多久。
这说明随机过程不仅产生“随机状态”,还会产生“随机时间”。
1.3 First passage time 和 return time
如果目标是第一次穿过某个阈值,经常称为 first passage time。
例如:
表示第一次达到或超过阈值 。
如果研究第一次回到初始状态,则称为 return time。例如随机游走从原点出发以后第一次再次回到原点:
这和 recurrent / transient 的概念直接相关。
2. Stopping time
2.1 什么是 stopping time
并不是所有“随机时间”都叫 stopping time。
Stopping time 的核心要求是:
到达时间 时,只根据目前已经观察到的信息,就能够判断“是否应该停止”。
设 表示到时间 为止我们掌握的全部信息。若事件 可以仅根据 判断,那么 是一个 stopping time。
直觉上:不能偷看未来。
2.2 一个不是 stopping time 的例子
“随机游走最后一次访问原点的时间”通常不是 stopping time。
因为当你现在位于原点时,你无法知道以后会不会再次回来。要判断“这是最后一次”,必须查看未来。
所以它是随机时间,但不是 stopping time。
3. 应用与 Markov 性
3.1 赌徒破产
设赌徒资产为 ,每局赢 1 元或输 1 元,在 0 和 处停止。
定义:
这就是一个 stopping time。
我们可以研究:
- 先到 的概率;
- 先到 0 的概率;
- 平均经过多少局结束。
这就是经典 Gambler’s Ruin 问题。
3.2 为什么 stopping time 很重要
很多现实决策本身就是“看到某种状态以后停止”:
- 价格达到目标以后卖出;
- 机器出现故障以后维修;
- 检验统计量超过阈值以后停止实验;
- 排队长度下降到 0 时结束忙期。
它们都不是固定时刻,而是由随机过程自己决定的随机时刻。
3.3 和 Markov 性的关系
对于 Markov process,到达某个状态以后,未来通常只需要从当前状态重新开始分析。
这产生了 strong Markov property(强马尔可夫性):
不仅在固定时间点成立 Markov 性,在适当的 stopping time 处重新开始,未来仍然只依赖停止时的当前状态。
这使得 hitting time 分析特别方便。
4. 小结
Hitting time 把问题从“某个固定时间是什么状态”变成:
Stopping time 则进一步要求:停止与否可以只根据当前及过去的信息决定。
这一类问题是随机游走、Markov chain、排队论、金融数学和随机控制中的基础工具。