跳到主要内容

《应用随机过程》笔记

2 随机过程​

2.3 随机过程的基本类型​

2.3.1 平稳过程​

严平稳过程 对于随机过程 X={Xt}t∈T\mathcal X=\{X_t\}_{t\in T}, 若 ∀t1,t2,⋯ ,tn,h\forall t_1,t_2,\cdots,t_n,h s.t. {t1,t2,⋯ ,tn}∪{t1+h,t2+h,⋯ ,tn+h}⊆T\{t_1,t_2,\cdots,t_n\}\cup\{t_1+h,t_2+h,\cdots,t_n+h\}\subseteq T, 都有

(Xt1,Xt2,⋯ ,Xtn)T=(Xt1+h,Xt2+h,⋯ ,Xtn+h)T(X_{t_1},X_{t_2},\cdots,X_{t_n})^T=(X_{t_1+h},X_{t_2+h},\cdots,X_{t_n+h})^T

即有限维分布关于时间平移不变. 则称 X\mathcal X 是严平稳的.

(宽)平稳过程 对于随机过程 X={Xt}t∈T\mathcal X=\{X_t\}_{t\in T}, 若一阶矩为常数, 二阶矩存在, 且 ∀t1,t2,h\forall t_1,t_2,h s.t. {t1,t2,t1+h,t2+h}⊆T\{t_1,t_2,t_1+h,t_2+h\}\subseteq T, 都有

γ(t1,t2)=γ(t1+h,t2+h)\gamma(t_1,t_2)=\gamma(t_1+h,t_2+h)

(该条件等价于协方差函数 γ(t,t+h)\gamma(t,t+h) 与 tt 无关), 即协方差函数关于时间平移不变, 则称 X\mathcal X 是宽平稳的.

2.3.2 独立增量过程​

独立增量过程 对于随机过程 X={Xt}t∈T\mathcal X=\{X_t\}_{t\in T}, 若 ∀t1,t2,⋯ ,tn∈T\forall t_1,t_2,\cdots,t_n\in T 从小到大排列, 随机变量 {Xtk+1−Xtk}k=1n−1\{X_{t_{k+1}}-X_{t_k}\}_{k=1}^{n-1} 相互独立, 则称 X\mathcal X 是独立增量的.

平稳增量过程 对于随机过程 X={Xt}t∈T\mathcal X=\{X_t\}_{t\in T}, 若 ∀t1,t2∈T (t1<t2),∀h\forall t_1,t_2\in T\ (t_1<t_2),\forall h, 随机变量 Xt1+h−Xt1=Xt2+h−Xt2X_{t_1+h}-X_{t_1}=X_{t_2+h}-X_{t_2}, 则称 X\mathcal X 是平稳增量的.

平稳独立增量过程 兼有独立增量和平稳增量. 平稳独立增量过程的均值函数一定是时间 tt 的线性函数.

3 Poisson 过程​

3.1 Poisson 过程​

计数过程 随机过程 N={Nt}t∈N\mathcal N=\{N_t\}_{t\in\mathbb N} 称为计数过程, 若 NtN_t 代表从 00 到 tt 时间内事件 AA 发生的次数.

Poisson 过程 计数过程 N={Nt}t∈N\mathcal N=\{N_t\}_{t\in\mathbb N} 称为强度为 λ\lambda 的 Poisson 过程, 若

  • N0=0N_0=0
  • N\mathcal N 是独立增量过程
  • ∀t∈N,h∈N+, Nt+h−Nt∼P(λt)\forall t\in \mathbb N,h\in \mathbb N_+,\ N_{t+h}-N_t\sim P(\lambda t)

λ\lambda 可认为是事件 AA 在单位时间内的发生次数.

3.2 与 Poisson 过程相关的分布​

  时间分割足够细时, Poisson 过程的一条样本路径可以看作每次阶跃 11 的阶梯函数, 即

{N0=N1=⋯=NT1−1=0,NT1=NT1+1=⋯=NT2−1=1,NT2=NT2+1=⋯=NT3−1=2\left\{\begin{aligned} &N_0=N_1=\cdots=N_{T_1-1}=0,\\ &N_{T_1}=N_{T_1+1}=\cdots=N_{T_2-1}=1,\\ &N_{T_2}=N_{T_2+1}=\cdots=N_{T_3-1}=2 \end{aligned}\right.

  记 TkT_k 为 AA 发生第 kk 次的时刻, Xk=Tk−Tk−1X_k=T_k-T_{k-1} 表示 AA 第 kk 次发生与前一次发生的间隔, 则

Tk∼Γ(k,λ),Xk∼Exp(λ)T_k\sim \Gamma(k,\lambda),\quad X_k\sim {\rm Exp}(\lambda)

  已知 Nt=nN_t=n 的条件下, 不考虑排序, T1,T2,⋯Tn∼U(0,t)T_1,T_2,\cdots T_n\sim U(0,t).

3.3 Poisson 过程的推广​

3.3.1 非齐次 Poisson 过程​

  计数过程 N={Nt}t∈N\mathcal N=\{N_t\}_{t\in\mathbb N} 称为强度函数为 λ(t)\lambda(t) 的非齐次 Poisson 过程, 若

  • N0=0N_0=0
  • N\mathcal N 是独立增量过程
  • ∀t∈N,h∈N+, Nt+h−Nt∼P(∫tt+hλ(τ)dτ)\forall t\in \mathbb N,h\in \mathbb N_+,\ N_{t+h}-N_t\sim P\left(\int_t^{t+h}\lambda(\tau)\mathrm d\tau\right)

  非齐次 Poisson 过程可以看做是“换了一个钟来计时”的 Poisson 过程. 令 m(t)=∫0tλ(τ)dτm(t)=\int_0^t\lambda(\tau)\mathrm d\tau, 则 {Nm−1(t)}t∈N\{N_{m^{-1}(t)}\}_{t\in \mathbb N} 是 Poisson 随机过程.

3.3.2 复合 Poisson 过程​

复合 Poisson 过程 随机过程 X={Xt}t∈N\mathcal X=\{X_t\}_{t\in\mathbb N} 称为复合 Poisson 过程, 如果

Xt=∑i=1NtYi(t)X_t=\sum_{i=1}^{N_t}Y_i^{(t)}

其中 {Nt}t∈N\{N_t\}_{t\in \mathbb N} 是 Poisson 过程, Yi(t)∼YY_i^{(t)}\sim Y 独立同分布, 且与 NtN_t 独立.

EX=λtEY,DX=λtEY2EX=\lambda tEY,\quad DX=\lambda tEY^2

例 假定顾客按照 λ\lambda 的强度进入商店, 每一个顾客的消费是一个随机变量, 则 00 到 tt 时刻间顾客的总消费 XtX_t 是一个复合 Poisson 过程.

3.3.3 条件 Poisson 过程​

条件 Poisson 过程 设强度是一个随机变量 Λ\Lambda. 计数过程 N={Nt}t∈N\mathcal N=\{N_t\}_{t\in\mathbb N} 称为条件 Poisson 过程, 若给定 Λ=λ\Lambda=\lambda 时 N\mathcal N 为 Poisson 过程.

EN=tEΛ,DN=t2DΛ+tEΛEN=tE\Lambda,\quad DN=t^2D\Lambda+tE\Lambda

5 Markov 链​

5.1 基本概念​

5.1.1 Markov 链​

(时齐) Markov 链 随机过程 X={Xt}t∈N\mathcal X=\{X_t\}_{t\in\mathbb N} 称为时齐 Markov 链, 如果它只有至多可列种状态取值 S={S0,S1,⋯ }\mathcal S=\{\rm S_0,S_1,\cdots\} (以下以 {0,1,⋯ }\{0,1,\cdots\} 来表示), 并且状态转移概率 Pr⁡(Xt=j∣Xt−1=i)\Pr(X_t=j\mid X_{t-1}=i) 是一个仅与 i,ji,j 有关的常数 pijp_{ij}, 与时间 tt 无关.

转移概率矩阵 状态转移概率可以排成转移概率矩阵 P=(pij)P=(p_{ij}). 该矩阵元素均为非负数, 且每行的和均为 11. 这种矩阵称作随机矩阵.

5.1.2 nn-步转移概率​

nn-步转移概率 从状态 ii 经 nn 步转移到状态 jj 的概率, 即 pij(n)=Pr⁡(Xt+n=j∣Xt=i)p_{ij}^{(n)}=\Pr(X_{t+n}=j\mid X_t=i). 规定 pij(n)=δijp_{ij}^{(n)}=\delta_{ij}. 另称 P(n)=(pij(n))P^{(n)}=(p_{ij}^{(n)}) 为 nn-步转移概率矩阵.

Chapman-Kolmogorov 方程 对于 i,j∈Si,j\in\mathcal S, 有

pij(m+n)=∑k∈Spik(m)pkj(n),P(n)=Pnp_{ij}^{(m+n)}=\sum_{k\in \mathcal S}p_{ik}^{(m)}p_{kj}^{(n)},\qquad P^{(n)}=P^n

5.2 状态的分类及性质​

可达状态和互通状态 称状态 ii 可达 jj, 如果 ∃n\exists n s.t. pij(n)>0p_{ij}^{(n)}>0, 记作 i→ji\rightarrow j. 称状态 i,ji,j 互通, 如果 i→j, j→ii\to j,\ j\to i, 记作 i↔ji\leftrightarrow j. 互通是一种等价关系.

不可约 Markov 链 称 Markov 链不可约, 如果 Markov 链关于互通关系只有一个等价类.

周期状态 称状态 ii 有周期 dd, 如果集合 D={n:pii(n)>0}\mathcal D=\{n:p_{ii}^{(n)}>0\} 有最大公约数 d(≥2)d(\geq 2). 若 d=1d=1, 则称 ii 是非周期的. 若 D=∅\mathcal D=\varnothing, 则定义 d=∞d=\infty. 对于充分大的 nn, 必有 nd∈Dnd\in\mathcal D. 同一个等价类下状态的周期相同.

首达概率 定义 fij(n)f_{ij}^{(n)} 为状态 ii 经 nn 步后首次到达 jj 的概率, 定义 fij=∑nfij(n)f_{ij}=\sum_nf_{ij}^{(n)} 为可列步内可达概率, 定义 μfij=∑nnfij(n)\mu_{f_{ij}}=\sum_nnf_{ij}^{(n)} 为首达所需步数期望.

常返状态和瞬过状态 称状态 ii 是常返的, 如果 fii=1  ⟺  ∑n=0∞pii(n)=∞f_{ii}=1\iff\sum_{n=0}^\infty p_{ii}^{(n)}=\infty. 否则称状态 ii 是瞬过的, 此时有 ∑n=0∞pii(n)=1/(1−fii)\sum_{n=0}^\infty p_{ii}^{(n)}=1/(1-f_{ii}).

正常返状态和零常返状态 称常返状态 ii 是正常返的, 如果 μfii<∞\mu_{f_{ii}}<\infty. 否则称常返状态 ii 是零常返的.

遍历状态和吸收状态 称正常返状态 ii 是遍历的, 如果它是非周期的. 如果还有 pii=1p_{ii}=1, 则称它是吸收的.

遍历 Markov 链 称不可约 Markov 链是遍历的, 如果它的每一个状态都是正常返且非周期的.

5.3 极限定理及平稳分布​

5.3.1 极限定理​

  可以使用相似对角化的方法求转移矩阵的极限情况 P∞P^\infty. 若状态 ii 正常返, 则

lim⁡n→∞pii(nd)=dμi\lim_{n\to\infty}p_{ii}^{(nd)}=\frac{d}{\mu_i}

其中 dd 是状态 ii 的周期. 若 ii 非常返或零常返, 则该极限值为 00.

  若状态 jj 非常返或零常返, 则

lim⁡n→∞pij(n)=0\lim_{n\to\infty}p_{ij}^{(n)}=0

  若 Markov 链遍历, 则 ∀i,j\forall i,j 都有

lim⁡n→∞pij(n)=1μj\lim_{n\to\infty}p_{ij}^{(n)}=\frac{1}{\mu_j}

5.3.2 平稳分布与极限分布​

平稳分布 行向量 p\boldsymbol p 是平稳分布, 如果 p=pP\boldsymbol p=\boldsymbol p P 且 p1=1\boldsymbol p\boldsymbol 1=1.

极限分布 对于遍历 Markov 链, 行向量 π\boldsymbol \pi 是平稳分布, 其中

πj=lim⁡n→∞pij(n)\pi_j=\lim_{n\to\infty}p_{ij}^{(n)}

可以证明该极限值与 ii 无关, 即无论起始状态为何, 在很长时间后将会收敛至极限分布. 对于遍历 Markov 链, 极限分布就是唯一的平稳分布.

参考文献​

[1] 张波, 商豪, 邓军. 应用随机过程[M]. 第五版. 北京:中国人民大学出版社, 2020.