2 随机过程

2.3 随机过程的基本类型

2.3.1 平稳过程

严平稳过程 对于随机过程 $\mathcal X=\{X_t\}_{t\in T}$, 若 $\forall t_1,t_2,\cdots,t_n,h$ s.t. $\{t_1,t_2,\cdots,t_n\}\cup\{t_1+h,t_2+h,\cdots,t_n+h\}\subseteq T$, 都有
$$(X_{t_1},X_{t_2},\cdots,X_{t_n})^T=(X_{t_1+h},X_{t_2+h},\cdots,X_{t_n+h})^T$$
即有限维分布关于时间平移不变. 则称 $\mathcal X$ 是严平稳的.

(宽)平稳过程 对于随机过程 $\mathcal X=\{X_t\}_{t\in T}$, 若一阶矩为常数, 二阶矩存在, 且 $\forall t_1,t_2,h$ s.t. $\{t_1,t_2,t_1+h,t_2+h\}\subseteq T$, 都有
$$\gamma(t_1,t_2)=\gamma(t_1+h,t_2+h)$$
(该条件等价于协方差函数 $\gamma(t,t+h)$ 与 $t$ 无关), 即协方差函数关于时间平移不变, 则称 $\mathcal X$ 是宽平稳的.

2.3.2 独立增量过程

独立增量过程 对于随机过程 $\mathcal X=\{X_t\}_{t\in T}$, 若 $\forall t_1,t_2,\cdots,t_n\in T$ 从小到大排列, 随机变量 $\{X_{t_{k+1}}-X_{t_k}\}_{k=1}^{n-1}$ 相互独立, 则称 $\mathcal X$ 是独立增量的.

平稳增量过程 对于随机过程 $\mathcal X=\{X_t\}_{t\in T}$, 若 $\forall t_1,t_2\in T\ (t_1<t_2),\forall h$, 随机变量 $X_{t_1+h}-X_{t_1}=X_{t_2+h}-X_{t_2}$, 则称 $\mathcal X$ 是平稳增量的.

平稳独立增量过程 兼有独立增量和平稳增量. 平稳独立增量过程的均值函数一定是时间 $t$ 的线性函数.

3 Poisson 过程

3.1 Poisson 过程

计数过程 随机过程 $\mathcal N=\{N_t\}_{t\in\mathbb N}$ 称为计数过程, 若 $N_t$ 代表从 $0$ 到 $t$ 时间内事件 $A$ 发生的次数.

Poisson 过程 计数过程 $\mathcal N=\{N_t\}_{t\in\mathbb N}$ 称为强度为 $\lambda$ 的 Poisson 过程, 若

  • $N_0=0$
  • $\mathcal N$ 是独立增量过程
  • $\forall t\in \mathbb N,h\in \mathbb N_+,\ N_{t+h}-N_t\sim P(\lambda t)$

$\lambda$ 可认为是事件 $A$ 在单位时间内的发生次数.

3.2 与 Poisson 过程相关的分布

  时间分割足够细时, Poisson 过程的一条样本路径可以看作每次阶跃 $1$ 的阶梯函数, 即
$$N_0=N_1=cdots=N_{T_1-1}=0,\
N_{T_1}=N_{T_1+1}=cdots=N_{T_2-1}=1,\
N_{T_2}=N_{T_2+1}=cdots=N_{T_3-1}=2$$

  记 $T_k$ 为 $A$ 发生第 $k$ 次的时刻, $X_k=T_k-T_{k-1}$ 表示 $A$ 第 $k$ 次发生与前一次发生的间隔, 则
$$T_k\sim \Gamma(k,\lambda),\quad X_k\sim {\rm Exp}(\lambda)$$

  已知 $N_t=n$ 的条件下, 不考虑排序, $T_1,T_2,\cdots T_n\sim U(0,t)$.

3.3 Poisson 过程的推广

3.3.1 非齐次 Poisson 过程

  计数过程 $\mathcal N=\{N_t\}_{t\in\mathbb N}$ 称为强度函数为 $\lambda(t)$ 的非齐次 Poisson 过程, 若

  • $N_0=0$
  • $\mathcal N$ 是独立增量过程
  • $\forall t\in \mathbb N,h\in \mathbb N_+,\ N_{t+h}-N_t\sim P\left(\int_t^{t+h}\lambda(\tau)\mathrm d\tau\right)$

  非齐次 Poisson 过程可以看做是“换了一个钟来计时”的 Poisson 过程. 令 $m(t)=\int_0^t\lambda(\tau)\mathrm d\tau$, 则 $\{N_{m^{-1}(t)}\}_{t\in \mathbb N}$ 是 Poisson 随机过程.

3.3.2 复合 Poisson 过程

复合 Poisson 过程 随机过程 $\mathcal X=\{X_t\}_{t\in\mathbb N}$ 称为复合 Poisson 过程, 如果
$$X_t=\sum_{i=1}^{N_t}Y_i^{(t)}$$
其中 $\{N_t\}_{t\in \mathbb N}$ 是 Poisson 过程, $Y_i^{(t)}\sim Y$ 独立同分布, 且与 $N_t$ 独立.

$$EX=\lambda tEY,\quad DX=\lambda tEY^2$$

 假定顾客按照 $\lambda$ 的强度进入商店, 每一个顾客的消费是一个随机变量, 则 $0$ 到 $t$ 时刻间顾客的总消费 $X_t$ 是一个复合 Poisson 过程.

3.3.3 条件 Poisson 过程

条件 Poisson 过程 设强度是一个随机变量 $\Lambda$. 计数过程 $\mathcal N=\{N_t\}_{t\in\mathbb N}$ 称为条件 Poisson 过程, 若给定 $\Lambda=\lambda$ 时 $\mathcal N$ 为 Poisson 过程.

$$EN=tE\Lambda,\quad DN=t^2D\Lambda+tE\Lambda$$

5 Markov 链

5.1 基本概念

5.1.1 Markov 链

(时齐) Markov 链 随机过程 $\mathcal X=\{X_t\}_{t\in\mathbb N}$ 称为时齐 Markov 链, 如果它只有至多可列种状态取值 $\mathcal S=\{\rm S_0,S_1,\cdots\}$ (以下以 $\{0,1,\cdots\}$ 来表示), 并且状态转移概率 $\Pr(X_t=j\mid X_{t-1}=i)$ 是一个仅与 $i,j$ 有关的常数 $p_{ij}$, 与时间 $t$ 无关.

转移概率矩阵 状态转移概率可以排成转移概率矩阵 $P=(p_{ij})$. 该矩阵元素均为非负数, 且每行的和均为 $1$. 这种矩阵称作随机矩阵.

5.1.2 $n$-步转移概率

$n$-步转移概率 从状态 $i$ 经 $n$ 步转移到状态 $j$ 的概率, 即 $p_{ij}^{(n)}=\Pr(X_{t+n}=j\mid X_t=i)$. 规定 $p_{ij}^{(n)}=\delta_{ij}$. 另称 $P^{(n)}=(p_{ij}^{(n)})$ 为 $n$-步转移概率矩阵.

Chapman-Kolmogorov 方程 对于 $i,j\in\mathcal S$, 有
$$p_{ij}^{(m+n)}=\sum_{k\in \mathcal S}p_{ik}^{(m)}p_{kj}^{(n)},\qquad P^{(n)}=P^n$$

5.2 状态的分类及性质

可达状态和互通状态 称状态 $i$ 可达 $j$, 如果 $\exists n$ s.t. $p_{ij}^{(n)}>0$, 记作 $i\rightarrow j$. 称状态 $i,j$ 互通, 如果 $i\to j,\ j\to i$, 记作 $i\leftrightarrow j$. 互通是一种等价关系.

不可约 Markov 链 称 Markov 链不可约, 如果 Markov 链关于互通关系只有一个等价类.

周期状态 称状态 $i$ 有周期 $d$, 如果集合 $\mathcal D=\{n:p_{ii}^{(n)}>0\}$ 有最大公约数 $d(\geq 2)$. 若 $d=1$, 则称 $i$ 是非周期的. 若 $\mathcal D=\varnothing$, 则定义 $d=\infty$. 对于充分大的 $n$, 必有 $nd\in\mathcal D$. 同一个等价类下状态的周期相同.

首达概率 定义 $f_{ij}^{(n)}$ 为状态 $i$ 经 $n$ 步后首次到达 $j$ 的概率, 定义 $f_{ij}=\sum_nf_{ij}^{(n)}$ 为可列步内可达概率, 定义 $\mu_{f_{ij}}=\sum_nnf_{ij}^{(n)}$ 为首达所需步数期望.

常返状态和瞬过状态 称状态 $i$ 是常返的, 如果 $f_{ii}=1\iff\sum_{n=0}^\infty p_{ii}^{(n)}=\infty$. 否则称状态 $i$ 是瞬过的, 此时有 $\sum_{n=0}^\infty p_{ii}^{(n)}=1/(1-f_{ii})$.

正常返状态和零常返状态 称常返状态 $i$ 是正常返的, 如果 $\mu_{f_{ii}}<\infty$. 否则称常返状态 $i$ 是零常返的.

遍历状态和吸收状态 称正常返状态 $i$ 是遍历的, 如果它是非周期的. 如果还有 $p_{ii}=1$, 则称它是吸收的.

遍历 Markov 链 称不可约 Markov 链是遍历的, 如果它的每一个状态都是正常返且非周期的.

5.3 极限定理及平稳分布

5.3.1 极限定理

  可以使用相似对角化的方法求转移矩阵的极限情况 $P^\infty$. 若状态 $i$ 正常返, 则
$$\lim_{n\to\infty}p_{ii}^{(nd)}=\frac{d}{\mu_i}$$
其中 $d$ 是状态 $i$ 的周期. 若 $i$ 非常返或零常返, 则该极限值为 $0$.

  若状态 $j$ 非常返或零常返, 则
$$\lim_{n\to\infty}p_{ij}^{(n)}=0$$

  若 Markov 链遍历, 则 $\forall i,j$ 都有
$$\lim_{n\to\infty}p_{ij}^{(n)}=\frac{1}{\mu_j}$$

5.3.2 平稳分布与极限分布

平稳分布 行向量 $\boldsymbol p$ 是平稳分布, 如果 $\boldsymbol p=\boldsymbol p P$ 且 $\boldsymbol p\boldsymbol 1=1$.

极限分布 对于遍历 Markov 链, 行向量 $\boldsymbol \pi$ 是平稳分布, 其中
$$\pi_j=\lim_{n\to\infty}p_{ij}^{(n)}$$
可以证明该极限值与 $i$ 无关, 即无论起始状态为何, 在很长时间后将会收敛至极限分布. 对于遍历 Markov 链, 极限分布就是唯一的平稳分布.

参考文献

[1] 张波, 商豪, 邓军. 应用随机过程[M]. 第五版. 北京:中国人民大学出版社, 2020.

标签: 概率统计, 随机过程, Markov 链

添加新评论