跳到主要内容

平稳时间序列的 ARMA 模型

摘 要 （本文章尚未完成）

1 模型优化目标​

1.1 Wold 分解定理​

Wold 分解定理 任一离散平稳时间序列都可以分解为一个可预测时间序列和一个不可预测时间序列之和, 且两部分互相独立.

Xt=Pt+Nt,E(PiNj)≡0,∀i∀jX_t=P_t+N_t,\qquad E(P_iN_j)\equiv 0,\forall i\forall j

可预测时间序列 即可以表示为时间 tt 的函数的时间序列 Pt=P(t)P_t=P(t). 可以等价表示为历史序列值的线性函数.

不可预测时间序列 即完全无法预测的时间序列. 可以表达为白噪音的线性组合.

一般的平稳时间序列 将可预测时间序列与不可预测时间序列相加的结果.

时间序列类型模型用 BB 表示的模型
可预测时间序列Pt=∑i=1∞φiXt−iP_t=\sum_{i=1}^\infty \varphi_iX_{t-i}Pt=Xt−Φ(B)XtP_t=X_t-\Phi(B)X_t
不可预测时间序列Nt=εt−∑j=1∞θjεt−jN_t=\varepsilon_t-\sum_{j=1}^\infty \theta_j\varepsilon_{t-j}Nt=Θ(B)εtN_t=\Theta(B)\varepsilon _t
一般的时间序列Xt−∑i=1∞φiXt−i=εt−∑j=1∞θjεt−jX_t-\sum_{i=1}^\infty \varphi_iX_{t-i}=\varepsilon_t-\sum_{j=1}^\infty \theta_j\varepsilon_{t-j}Xt=Θ(B)Φ(B)εtX_t=\frac{\Theta(B)}{\Phi(B)}\varepsilon _t

  上述引出了一个重要结论: 任一平稳时间序列都可以写成 Xt=Θ(B)Φ(B)εtX_t=\frac{\Theta(B)}{\Phi(B)}\varepsilon _t 的形式. 其中引入了延迟算子 BB 以简记 BkXt=Xt−kB^kX_t=X_{t-k}, 另

Φ(B)=1−φ1B−φ2B2−⋯ ,Θ(B)=1−θ1B−θ2B2−⋯\Phi(B)=1-\varphi_1B-\varphi_2B^2-\cdots,\qquad \Theta(B)=1-\theta_1B-\theta_2B^2-\cdots

均是 BB 的无穷次多项式. 但是考虑无穷次多项式是困难的, 所以本文的目的是找到 Φ(B)\Phi(B) 和 Θ(B)\Theta(B) 的低阶近似. 并且希望 εt\varepsilon_t 是白噪音 WN(0,σε2)\mathrm{WN}(0,\sigma_\varepsilon^2).

1.2 指定阶数下的优化目标​

  对于给定的阶数 p,qp,q, 求解 Φ(B)\Phi(B) 和 Θ(B)\Theta(B) 实际上是在解决一个优化问题:

σε2(p,q)=min⁡Φ,Θ,εt1n−1∑tεt2s.t.Xt=Θ(B)Φ(B)εtdeg⁡Φ=p, deg⁡Θ=q\begin{aligned}\sigma_\varepsilon^2(p,q)=\min _{\Phi,\Theta,\varepsilon_t}&\quad\frac{1}{n-1}\sum_t \varepsilon_t^2\\\text{s.t.}&\quad X_t=\frac{\Theta(B)}{\Phi(B)}\varepsilon _t\\&\quad \operatorname{\mathrm{deg}}\Phi=p,\ \operatorname{\mathrm{deg}}\Theta=q\end{aligned}

1.3 阶数的确定: AIC 与 BIC​

  时间序列的拟合实际上是一个多目标优化问题. 它有两个目标: 拟合优度最大, 待估参数个数最小. 但是该二优化目标是相互矛盾的: 因为参数越多, 拟合优度一定更大. 故应寻找一种让两个优化目标达到平衡的判断准则.

  本问题首先对残差平方和 ∑tεt\sum_t\varepsilon_t (tt 取遍所有已知的时间) 作极大似然估计, 然后使用随机项方差 σ^ε2{\hat \sigma}_\varepsilon^2 描述拟合优度; 另一方面计算出待估参数的个数为 p+q+1p+q+1. 现在引出赤池信息准则 (AIC, Akaike Information Criterion):

AIC(p,q)=nln⁡σ^ε2+2(p+q+1)\mathrm{AIC}(p,q)=n\ln {\hat \sigma}_\varepsilon^2+2(p+q+1)

  AIC 的值越小越好. AIC 的问题在于, ln⁡σ^ε2\ln {\hat \sigma}_\varepsilon^2 的权重是 nn, 但是待估参数个数的权重始终是 22. 这会造成 nn 较大时参数个数失权的问题. 故经修改得出 Bayes 信息准则 (BIC, Bayesian Information Criterion, 又称 Schwarz 贝叶斯准则, SBC, Schwarz's Bayesian Criterion):

BIC(p,q)=nln⁡σ^ε2+ln⁡n⋅(p+q+1)\mathrm{BIC}(p,q)=n\ln {\hat \sigma}_\varepsilon^2+\ln n\cdot (p+q+1)

AIC 偏向于预测, 会选择拟合度高的模型; BIC 偏向于拟合, 会选择参数较少的模型. 这两个信息准则各有优劣.

2 参数计算方法（一）​

2.1 完全可预测的情况: AR 模型​

  首先研究要拟合的时间序列是完全可预测的情况即 Xt=PtX_t=P_t. 此时的方程

Φ(B)Xt=0,deg⁡Φ=∞\Phi(B)X_t=0,\qquad \operatorname{\mathrm{deg}}\Phi=\infty

在现实中研究无穷个参数的拟合方法是不合理的, 所以考虑次数为 pp 的 Φ(B)\Phi(B) 多项式:

Φ(B)Xt=εt,deg⁡Φ=p\Phi(B)X_t=\varepsilon _t,\qquad \operatorname{\mathrm{deg}}\Phi=p

其中 εt\varepsilon_t 是拟合误差, 在模型中我们希望它是白噪音. 该模型记作 AR(p)\mathrm{AR}(p) 模型.

3 时间序列的统计量​

4 参数计算方法（二）​