《应用时间序列分析》笔记（第一部分：ARMA 模型及其性质）

1 时间序列分析简介

1.2 时间序列的定义

时间序列随机变量及其实现 使用按时间顺序排列的一个随机变量族 $\{X_1, X_2, \dots, X_n\}$ 来表示一个时间序列, 简记为 $\{X_t\}_{t \in T}$, 其中时间下标 $T = \{1, \dots, n\}$. 用 $\{x_1, x_2, \dots, x_n\}$ 表示该随机序列变量的 $n$ 个观测值, 有时也称为一个实现.

时间序列的概率分布族 时间序列有时可以是一个无穷序列 $\{X_1, X_2, \dots\}$, 难以用联合分布的方式定义概率分布. 但是可以定义它每一个非平凡有限子集的分布

$$\{F_{t_1, \dots, t_m}(x_1, \dots, x_m): m \in \mathbb Z_+, \{t_1, \dots, t_m\} \in 2^T\}$$

将这些有限维分布构成的全体称为 $\{X_t\}$ 的概率分布族.

数字特征 时间序列 $\{X_t\}$ 有以下常用数字特征:

• 均值 $\mu_t := \mathrm EX_t = \int _{-\infty}^{+\infty} x \mathrm dF_t(x)$.

• 方差 $\sigma ^2_t := \mathrm DX_t = E(X_t - \mu_t)^2$.

• 自协方差系数 (ACVF, auto-covariance function) 任取 $t, s \in T$, 定义它们的 ACVF 为

$$\gamma(t, s) := \mathrm{Cov}(X_t, X_s) = \mathrm E(X_t - \mu _t)(X_s - \mu _s)$$

• 自相关系数 (ACF, auto-correlation function) 任取 $t, s \in T$, 定义它们的 ACF 为

$$\rho(t, s) := \mathrm{Corr}(X_t, X_s) = \frac{\mathrm{Cov}(X_t, X_s)}{\sqrt{\mathrm DX_t \mathrm DX_s}}$$

• 偏自相关系数 (PACF, partial auto-correlation function) 任取 $t, s \in T$ (不妨 $t \leq s$), 定义它们的 PACF 为给定中间序列值后的条件 ACF.

$$\partial \rho(t, s) := \mathrm{Corr}(X_t, X_s \mid \mathcal \{X_\tau\}_{\tau=t+1}^{s-1})$$

2 时间序列的预处理

2.1 平稳序列的定义

严平稳性 即时间序列所有矩具有平移不变性, 等价于时间序列的分布函数具有平移不变性. 给定时间序列 $\{X_t\}_{t=1}^n$, 若任取其有限子集 $t_1, \dots, t_m \in T$, 任取时间间隔 $k$, 都有

$$F_{t_1, \dots, t_m}(x_1, \dots, x_m) = F_{t_1+k, \dots, t_m+k}(x_1, \dots, x_m)$$

则称该时间序列具有严平稳性 (strictly stationary).

(宽)平稳性 即时间序列直到二阶矩具有平移不变性. (宽)平稳性是严平稳性的放宽, 它仅需要保证序列直到二阶矩平稳. 给定时间序列 $\{X_t\}_{t=1}^n$, 若

• 一阶矩平稳, 即均值恒定. $\mu _t \equiv \mu$.

• 自身二阶矩平稳, 即方差恒定. $\sigma ^2 _t \equiv \sigma ^2$.

• 交叉二阶矩平稳, 即 ACVF (等价于 ACF) 仅与时间间隔有关.

$$\forall t, s, \forall k \in \mathbb N, \quad \gamma(t, s) = \gamma(t + k, s + k)$$

则称该时间序列具有宽平稳性 (weak stationary). 此时 ACVF 和 ACF 可以写成时间间隔的函数 $\gamma _k$ 或 $\rho _k$.

样本 ACVF 和样本 ACF 给定一个平稳时间序列 $\{x_t\}_{t=1}^n$, 可以计算它的样本 ACVF 和样本 ACF

$$\hat \gamma _k = \frac{1}{n-k} \sum_{t=1}^{n-k} (x_t - \bar x) (x_{t+k} - \bar x), \qquad \hat \rho _k = \frac{\hat \gamma _k}{\hat \gamma _0}$$

它们可以作为 ACVF 和 ACF 的估计.

PACF 的计算 对于一个中心化平稳时间序列 $\{X_t\}$, PACF 也仅与时间间隔有关, 所以也可以写成时间间隔的函数 $\partial \rho _k$. 考虑用历史 $k$ 期序列值对 $X_t$ 做简单线性回归

$$X_t = \varphi _{k1} X_{t-1} + \cdots + \varphi _{kk} X_{t-k} + \varepsilon _t$$

在获得 $(\varphi _{k1}, \dots, \varphi _{kk})$ 的最小二乘估计值后, 给定中间的序列值 $\{X_\tau\}_{\tau=t-k+1}^{t-1}$, 此时 $X_t$ 和 $X_{t-k}$ 的拟合值和真实值分别满足

$$\left\{ \begin{aligned} \hat X_t & = \varphi _{k1} X_{t-1} + \cdots + \varphi _{kk} \hat X_{t-k}\\ X_t & = \varphi _{k1} X_{t-1} + \cdots + \varphi _{kk} X_{t-k} + \varepsilon _t \end{aligned} \right.$$

两式相减可以得到

$$X_t - \hat X_t = \varphi _{kk} (X_{t-k} - \hat X_{t-k}) + \varepsilon _t$$

即 $\varphi _{kk}$ 等于两个残差的相关系数, 这正是 PACF 的定义.

$$\begin{aligned} \varphi _{kk} & = \mathrm{Corr}(X_t - \hat X_t, X_{t-k} - \hat X_{t-k})\\ & = \mathrm{Corr}(X_t, X_{t-k} \mid \{X_\tau\}_{\tau=t-k+1}^{t-1}) = \partial \rho _k \end{aligned}$$

Yule-Walker 方程组 Yule-Walker 方程组描述了 ACF 与 PACF 之间的关系. 给定中心化平稳时间序列 $\{X_t\}$, 有 $\mathrm E(X_t X_s) / \sigma^2 = \rho _{s - t}$. 所以在

$$X_t = \varphi _{k1} X_{t-1} + \cdots + \varphi _{kk} X_{t-k} + \varepsilon _t$$

对于 $\ell \in \{1, \dots, k\}$, 等号两侧同乘 $\mathrm EX_{t-\ell}$ 可以得到 Yule-Walker 方程组

$$\left\{ \begin{aligned} & \rho _1 = \varphi _{k1} \rho _0 + \varphi _{k2} \rho _1 + \cdots \varphi _{kk} \rho _{k-1}\\ & \rho _2 = \varphi _{k1} \rho _1 + \varphi _{k2} \rho _0 + \cdots \varphi _{kk} \rho _{k-2}\\ & \cdots\\ & \rho _k = \varphi _{k1} \rho _{k-1} + \varphi _{k2} \rho _{k-2} + \cdots \varphi _{kk} \rho _0 \end{aligned} \right.$$

它的矩阵形式是

$$\begin{pmatrix} 1 & \rho _1 & \cdots & \rho _{k-1}\\ \rho _1 & 1 & \cdots & \rho _{k-2}\\ \vdots & \vdots & \ddots & \vdots\\ \rho _{k-1} & \rho _{k-2} & \cdots & 1 \end{pmatrix} \begin{pmatrix} \varphi _{k1}\\ \varphi _{k2}\\ \vdots\\ \varphi _{kk} \end{pmatrix} = \begin{pmatrix} \rho _1\\ \rho _2\\ \vdots\\ \rho _k \end{pmatrix}$$

由 Cramer 法则可以得到 PACF 的显式解

$$\varphi _{kk} = \begin{vmatrix} 1 & \rho _1 & \cdots & \rho _1\\ \rho _1 & 1 & \cdots & \rho _2\\ \vdots & \vdots & \ddots & \vdots\\ \rho _{k-1} & \rho _{k-2} & \cdots & \rho _k \end{vmatrix} \Bigg/ \begin{vmatrix} 1 & \rho _1 & \cdots & \rho _{k-1}\\ \rho _1 & 1 & \cdots & \rho _{k-2}\\ \vdots & \vdots & \ddots & \vdots\\ \rho _{k-1} & \rho _{k-2} & \cdots & 1 \end{vmatrix}$$

分子是系数矩阵的行列式, 分母是将系数矩阵最后一列换成 ACF 向量得到的矩阵的行列式.

2.2 平稳性检验

  时间序列的平稳性可以从时序图看出, 但是仅适用于趋势或周期比较明显的序列. 否则应该使用单位根检验法. 单位根检验见 4.2 节.

  不平稳的成因可能是有趋势、有季节波动、有异方差性或有单位根等. 有单位根的时间序列一定非平稳 (称为单位根非平稳). 但有的时间序列具有季节波动, 即使它没有单位根, 它也不平稳.

2.3 纯随机性检验

  若一个平稳时间序列的交叉二阶矩为零, 即对于时间序列 $\{X_t\}$,

$$\mathrm EX_t \equiv \mu, \qquad \mathrm DX_t \equiv \sigma^2, \qquad \gamma(k) \equiv 0, \forall k \geq 1$$

则称该时间序列为纯随机序列, 也称为白噪声 (white noise) 序列, 记为 $X_t \sim \mathrm{WN}(\mu, \sigma^2)$.

注 白噪声分布不是一族分布, 即它的参数 $\mu, \sigma ^2$ 并不足以确定它的分布函数. 它可能是独立同分布的正态变量 $X_t \overset{\text{i.i.d}}{\sim} N(\mu, \sigma^2)$, 也可能是独立同分布的均匀分布变量 $X_t \overset{\text{i.i.d}}{\sim} U(\mu - \sqrt 3 \sigma, \mu + \sqrt 3 \sigma)$, 甚至可能 $t$ 为奇偶数时各自服从相互同均值同方差且线性无关的的正态分布和均匀分布.

单一 ACF 是否为零的 $t$ 检验 有时我们需要检验某一个 ACF 是否为零. 给定时间间隔 $k \in \mathbb Z_+$, 考虑假设检验

$$H_0: \rho _k = 0, \qquad H_1: \rho _k \neq 0$$

考虑 $t$ 检验

$$t = \frac{\hat \rho _k}{\sqrt{\Big(1 + 2 \sum_{i=1}^{k-1} \hat \rho _i^2\Big) \big/ n}} \mathop{\dot \sim} \mathrm{Std}N$$

所有 ACF 是否均为零的 Ljung-Box 纯随机性检验 有时我们需要检验所有 ACF 是否均为零, 但这是困难的. 我们可以检验时间序列是否直到 $m$ 阶 ACF 为零.

$$H_0: \rho _1 = \cdots = \rho _m = 0, \qquad H_1: \rho _i \neq 0, \exists i \leq m$$

考虑 Ljung-Box 纯随机性检验

$$Q = n(n + 2) \sum _{i=1}^m \frac{\hat \rho _i^2}{n - i} \mathop{\dot \sim} \chi^2(m)$$

  $m$ 的选择不应过大. 一方面若时间序列短期不自相关, 长期就更不会自相关. 另一方面考虑延迟期数太长反而可能淹没短期自相关性.

3 ARMA 模型的性质

3.1  Wold 分解定理

  时间序列分析的全部理论基础依赖于 Wold 分解定理.

Wold 分解定理 任一离散平稳时间序列都可以分解为两个不相关平稳过程之和, 一个是确定性的 (deterministic), 一个是随机性的 (stochastic). 即

$$X_t = V_t + \xi _t$$

确定性时间序列 确定性时间序列可以表示为历史序列值的线性组合. 即

$$V_t = \varphi _1 X_{t-1} + \varphi _2 X_{t-2} + \cdots$$

其中 $(\varphi _1, \varphi _2, \dots)$ 是待估参数. 它实际上就是自回归 (AR, auto-regressive) 模型, 由 Yule 于 1927 年提出.

随机时间序列 随机时间序列可以表达为白噪音的线性组合. 即

$$\xi _t = \varepsilon _t - \theta _1 \varepsilon _{t-1} - \theta _2 \varepsilon _{t-2} - \cdots$$

其中 $\varepsilon _t$ 是时刻 $t$ 对应的白噪音值, $(\theta _1, \theta _2, \dots)$ 是待估参数. $\{\varepsilon _t\}$ 称为新息过程 (innovation process), 是每个时期加入的新随机信息. 它实际上就是移动平均 (MA, moving average) 模型, 由 Walker 于 1931 年提出.

一般的平稳时间序列 将可预测时间序列与不可预测时间序列叠加, 将 $V_t$ 和 $\xi _t$ 的方程代入 Wold 分解定理, 可以得到

$$X_t - \varphi _1 X_{t-1} - \varphi _2 X_{t-2} - \cdots = \varepsilon _t - \theta _1 \varepsilon _{t-1} - \theta _2 \varepsilon _{t-2} - \cdots$$

延迟算子 可以引入延迟算子 $\mathrm B$ 以化简 $\mathrm B^k X_t := X_{t-k}$ 和 $\mathrm B^k \varepsilon _t := \varepsilon _{t-k}$, 于是上式可以简记作

$$(\underbrace{1 - \varphi _1 \mathrm B - \varphi _2 \mathrm B^2 - \cdots} _{\Phi(\mathrm B)}) X_t = (\underbrace{1 - \theta _1 \mathrm B - \theta _2 \mathrm B^2 - \cdots} _{\Theta(\mathrm B)}) \varepsilon _t$$

或形式上

$$\Phi(\mathrm B) X_t = \Theta(\mathrm B) \varepsilon _t, \qquad X_t = \frac{\Phi(\mathrm B)}{\Theta(\mathrm B)} \varepsilon _t$$

根据 Wold 分解定理, 任一平稳时间序列都可以写成 $X_t=\frac{\Theta(B)}{\Phi(B)}\varepsilon _t$ 的形式.

3.2 AR 模型

3.2.1 AR 模型的定义

  $p$ 阶 AR 模型具有如下结构:

$$\left\{ \begin{aligned} & X_t = \varphi _0 + \varphi _1 X_{t-1} + \cdots + \varphi _p X_{t-p} + \varepsilon _t, \quad \varphi _p \neq 0\\ & \varepsilon _t \sim \mathrm{WN}(0, \sigma _\varepsilon ^2), \quad X_s \perp \varepsilon _t, \forall s < t \end{aligned} \right.$$

AR 模型的中心化 考虑中心化 $X_t \gets X_t - \varphi _0 / (1 - \varphi _1 - \cdots - \varphi _p)$ 就能使 $\varphi _0 = 0$. 以下分析序列值之间相关关系时, 一般简化为分析中心化模型.

3.2.2 AR 模型的平稳性判别

特征根判别 一个 $\mathrm{AR}(p)$ 模型

$$X_t - \varphi _1 X_{t-1} - \cdots - \varphi _p X_{t-p} = \varphi _0 + \varepsilon _t$$

对应的特征方程是

$$\lambda^p - \varphi _1 \lambda^{p-1} - \cdots - \varphi _p = 0$$

该模型平稳当且仅当它特征方程的 $p$ 个根都在单位圆内.

  它也可以用延迟算子写成

$$(\underbrace{1 - \varphi _1 \mathrm B - \varphi _2 \mathrm B^2 - \cdots} _{\Phi(\mathrm B)}) X_t = \varphi _0 + \varepsilon _t$$

其中

$$\Phi(\lambda) = 1 - \varphi \lambda - \cdots - \varphi _p \lambda^p$$

是其系数多项式. 该模型平稳也当且仅当它系数多项式的 $p$ 个根都在单位圆外. 注意特征方程的根与系数多项式的根互为倒数.

平稳域判别 从特征根判别法可以反推各 $\varphi$ 的取值范围. 例如 $\mathrm{AR}(1)$ 模型的平稳域是 $-1 < \varphi _1 < 1$; $\mathrm{AR}(2)$ 模型的平稳域是参数 $(\varphi _1, \varphi _2)$ 位于点 $\{(0, 1), (2, -1), (-2, -1)\}$ 构成的三角区域中.

3.2.3 平稳 AR 模型的统计性质

均值 将 AR 模型两边取均值即可解得

$$\mu = \frac{\varphi _0}{1 - \varphi _1 - \cdots - \varphi _p}$$

$\mathrm{AR}(1)$ 模型可以直观理解. 在 $\mathrm{AR}(1)$ 模型中,

$$X_t = \varphi _0 + \varphi _1 X_{t-1} + \varepsilon _t$$

可以重写为

$$X_t - X_{t-1} = -(1 - \varphi _1)(X_{t-1} - \mu) + \varepsilon _t$$

注意到 $1 - \varphi _1 < 0$, 所以该式可以解释为“本期与上期差值”与“上期值至均值的距离”负相关.

• 若上期值高于均值, 则本期值有向下的趋势.
• 若上期值低于均值, 则本期值有向上的趋势.

总而言之, 本期值总是有“被拉回均值”的趋势, 即该序列是均值回归的. 该趋势的高低由“上期值偏离均值的距离”和“$\varphi _1$ 的值”共同决定.

• 若 $\varphi _1 > 0$, 则本期值“只会拉回一点点”.
• 若 $\varphi _1 = 0$, 则本期值“会拉到恰好均值的位置”, 从而成为随机模型 $X_t = \varphi _0 + \varepsilon _t$.
• 若 $\varphi _1 < 0$, 则本期值“会拉到均值的另一侧”.

Green 函数 $\mathrm{AR}(p)$ 模型可以写成 $\mathrm{MA}(\infty)$ 模型的形式. 即

$$X_t = \varphi _1 X_{t-1} + \cdots + \varphi _p X_{t-p} + \varepsilon _t$$

可以迭代地完全展开成 $\{\varepsilon _t\}$ 的线性组合的形式. 考虑 Green 函数 $G_{(\cdot)}$ 是线性组合的系数

$$X_t = G_0 \varepsilon _t + G_1 \varepsilon _{t-1} + \cdots + G_{t-1} \varepsilon _1$$

Green 函数之间的递推公式为

$$G_k = \begin{cases} 1, \quad & k = 0\\ \varphi _1 G_{k-1} + \cdots + \varphi _k G_0, \quad & k = 1, \dots, p\\ \varphi _1 G_{k-1} + \cdots + \varphi _p G_{k-p}, \quad & k = p+1, \dots\\ \end{cases}$$

例 考虑平稳中心化 $\mathrm{AR}(1)$ 模型 $X_t = \varphi _1 X_{t-1} + \varepsilon _t$. 我们假设小于 $1$ 时刻的序列值不存在, 即 $X_0 = 0$, 则可以迭代地展开

$$\begin{aligned} X_t & = \varepsilon _t + \varphi _1 X_{t-1} = \varepsilon _t + \varphi _1 (\varphi _1 X_{t-2} + \varepsilon _{t-1})\\ & = \varepsilon _t + \varphi _1 \varepsilon _{t-1} + \varphi _1^2 X_{t-2} = \cdots\\ & = \varepsilon _t + \varphi _1 \varepsilon _{t-1} + \varphi _1^2 \varepsilon _{t-2} + \cdots + \varphi _1^{t-1} X_1 \end{aligned}$$

比对可以得到 Green 函数的值

$$G_k = \varphi _1 ^k$$

例 尝试求解平稳 $\mathrm{AR}(2)$ 模型 $X_t = \varphi _1 X_{t-1} + \varphi _2 X_{t-2} + \varepsilon _t$ 的 Green 函数. 递推公式为

$$G_0 = 1, \qquad G_1 = \varphi _1, \qquad G_k = \varphi _1 G_{k-1} + \varphi _2 G_{k-2}, \forall k \geq 2$$

Green 函数的特征方程是

$$\lambda^2 = \varphi _1 \lambda - \varphi _2$$

它的根为 $\lambda _{1, 2} = (\varphi _1 \pm \sqrt{\varphi _1^2 - 4 \varphi _2})/2$. 考虑限定递推数列解的结构和初值, 可以得到 Green 函数为

$$G_k = \frac 12 \left(\frac{\varphi _1 + \sqrt{\varphi _1^2 - 4 \varphi _2}}{2}\right) ^k + \frac 12 \left(\frac{\varphi _1 - \sqrt{\varphi _1^2 - 4 \varphi _2}}{2}\right) ^k$$

方差 对时间序列进行 Green 函数展开后两边取方差, 可以得到

$$\sigma ^2 = (G_0^2 + G_1^2 + \cdots) \sigma _\varepsilon ^2$$

例 计算平稳 $\mathrm{AR}(1)$ 模型 $X_t = \varphi _1 X_{t-1} + \varepsilon _t$ 的方差. 使用平凡方法, 两边取方差可以得到

$$\sigma ^2 = \varphi _1^2 \sigma ^2 + \sigma _\varepsilon ^2 \implies \sigma ^2 = \frac{\sigma _\varepsilon ^2}{1 - \varphi _1 ^2}$$

也可以直接使用 Green 函数

$$\sigma ^2 = (1 + \varphi _1^2 + \varphi _1^4 + \cdots) \sigma _\varepsilon ^2 = \frac{\sigma _\varepsilon ^2}{1 - \varphi _1 ^2}$$

例 尝试求解平稳 $\mathrm{AR}(2)$ 模型 $X_t = \varphi _1 X_{t-1} + \varphi _2 X_{t-2} + \varepsilon _t$ 的方差. 无需求解 Green 函数的具体数值. 记 $A = \sum _{k=0} ^\infty G_k^2$, $B = \sum _{k=0} ^\infty G_k G_{k+1}$. 分别展开

$$\begin{aligned} A = \sum _{k=0} ^\infty G_k^2 & = 1 + \varphi _1^2 + \sum _{k=2} ^\infty (\varphi _1 G_{k-1} + \varphi _2 G_{k-2})^2\\ & = 1 + \varphi _1^2 + \varphi _1^2 \sum _{k=2} ^\infty G_{k-1}^2 + \varphi _2^2 \sum _{k=2} ^\infty G_{k-2}^2 + 2\varphi _1\varphi _2 \sum _{k=2} ^\infty G_{k-1} G_{k-2}\\ & = 1 + \varphi _1^2 \sum _{k=0} ^\infty G_k^2 + \varphi _2^2 \sum _{k=0} ^\infty G_k^2 + 2\varphi _1\varphi _2 \sum _{k=0} ^\infty G_k G_{k+1}\\ & = 1 + (\varphi _1^2 + \varphi _2^2) A + 2\varphi _1\varphi _2 B\\ \end{aligned}$$

以及

$$\begin{aligned} B = \sum _{k=0} ^\infty G_k G_{k+1} & = G_0G_1 + \sum _{k=1} ^\infty G_k (\varphi _1 G_k + \varphi _2 G_{k-1})\\ & = \varphi _1 + \varphi _1 \sum _{k=1} ^\infty G_k^2 + \varphi _2 \sum _{k=1} ^\infty G_{k-1} G_k\\ & = \varphi _1 \sum _{k=0} ^\infty G_k^2 + \varphi _2 \sum _{k=0} ^\infty G_k G_{k+1} = \varphi _1 A + \varphi _2 B \end{aligned}$$

这样就得到了一对关于 $A$ 和 $B$ 的二元一次方程组. 可以解得

$$A = \frac{1 - \varphi _2}{(1 + \varphi _2)(1 - \varphi _1 - \varphi _2)(1 + \varphi _1 - \varphi _2)}$$

而 $\mathrm{AR}(2)$ 的方差正是 $\sigma ^2 = \sum _{k=0} ^\infty G_k^2 \sigma _\varepsilon ^2 = A \sigma _\varepsilon ^2$.

ACVF 对平稳 $\mathrm{AR}(p)$ 模型两边同乘 $X_{t-k}$ 然后取期望, 可以得到

$$\mathrm EX_tX_{t-k} = \varphi _1 \mathrm EX_{t-1}X_{t-k} + \cdots + \varphi _p \mathrm EX_{t-p}X_{t-k} + \varepsilon _t$$

所以 ACVF 有递推式

$$\gamma _k = \varphi _1 \gamma _{k-1} + \cdots + \varphi _p \gamma _{k-p}$$

例 计算平稳 $\mathrm{AR}(1)$ 模型的 ACVF. 使用平凡方法

$$\gamma _k = \mathrm{Cov}(X_t, X_{t+k}) = \mathrm{Cov}(X_t, \varphi _1 X_{t+k-1} + \varepsilon _{t+k+1}) = \varphi _1 \gamma _{k-1}$$

也可以得到递推式

$$\gamma _k = \varphi _1 \gamma _{k-1} = \varphi _1^2 \gamma _{k-2} = \cdots = \varphi _1^k \gamma _0 = \frac{\varphi _1^k \sigma _\varepsilon ^2}{1 - \varphi _1 ^2}$$

例 尝试求解平稳 $\mathrm{AR}(2)$ 模型的 ACVF. 考虑递推式

$$\gamma _k = \varphi _1 \gamma _{k-1} + \varphi _2 \gamma _{k-2}$$

特殊地取 $k=1$ 时有 $\gamma _1 = \varphi _1 \gamma _0 + \varphi _2 \gamma _1$ 所以 $\mathrm{AR}(2)$ 的 ACVF 有递推式

$$\gamma _0 = \sigma ^2, \qquad \gamma _1 = \frac{\varphi _1 \sigma ^2}{1 - \varphi _2}, \qquad \gamma _k = \varphi _1 \gamma _{k-1} + \varphi _2 \gamma _{k-2}$$

ACF ACF 有与 ACVF 相同的递推式

$$\rho _k = \varphi _1 \rho _{k-1} + \cdots + \varphi _p \rho _{k-p}$$

ACF 有两个显著性质, 一是拖尾性, 二是呈指数衰减.

例 平稳 $\mathrm{AR}(1)$ 模型的 ACF 是 $\rho _k = \varphi _1^k$, 平稳 $\mathrm{AR}(2)$ 模型 ACF 的递推式是

$$\rho _0 = 1, \qquad \rho _1 = \frac{\varphi _1}{1 - \varphi _2}, \qquad \rho _k = \varphi _1 \rho _{k-1} + \varphi _2 \rho _{k-2}$$

PACF PACF 可以使用 Yule-Walker 方程组求解.

$$\begin{pmatrix} 1 & \rho _1 & \cdots & \rho _{k-1}\\ \rho _1 & 1 & \cdots & \rho _{k-2}\\ \vdots & \vdots & \ddots & \vdots\\ \rho _{k-1} & \rho _{k-2} & \cdots & 1 \end{pmatrix} \begin{pmatrix} \varphi _{k1}\\ \varphi _{k2}\\ \vdots\\ \varphi _{kk} \end{pmatrix} = \begin{pmatrix} \rho _1\\ \rho _2\\ \vdots\\ \rho _k \end{pmatrix}$$

PACF 有 $p$ 阶截尾性: 从 $p+1$ 阶开始的 PACF 均为零. 这是因为 Yule-Walker 方程组对 $\varphi _{kk}$ 使用 Cramer 法则求解时的分子行列式为零.

例 在 Yule-Walker 方程组中取 $k=1$ 和 $k=2$ 可以得到

$$\varphi _{11} = \rho _1, \qquad \varphi _{22} = \frac{\rho _2 - \rho _1^2}{1 - \rho _1^2}$$

所以平稳 $\mathrm{AR}(1)$ 模型的 PACF 是

$$\varphi _{11} = \varphi _1, \qquad \varphi _{kk} = 0, \forall k \geq 2$$

平稳 $\mathrm{AR}(2)$ 模型的 PACF 是

$$\varphi _{11} = \frac{\varphi _1}{1 - \varphi _2}, \qquad \varphi _{22} = \varphi _2, \qquad \varphi _{kk} = 0, \forall k \geq 3$$

  PACF 可以从递推式直观理解. $\mathrm{AR}(1)$ 的递推式是

$$X_t = \varphi _0 + \varphi _1 X_{t-1} + \sigma _\varepsilon ^2$$

考虑一阶 PACF, $X_t$ 和 $X_{t-1}$ 之间没有序列项, 所以一阶 PACF 直接是 $\varphi _1$. 考虑二阶 PACF, 在 $X_{t-1}$ 给定后, $X_t$ 也固定, 与 $X_{t-2}$ 的值无关, 所以二阶 PACF 为零.

  $\mathrm{AR}(2)$ 的递推式是

$$X_t = \varphi _0 + \varphi _1 X_{t-1} + \varphi _2 X_{t-2} + \sigma _\varepsilon ^2$$

考虑二阶 PACF

$$\begin{aligned} \varphi _{22} & = \mathrm{Corr}(X_t, X_{t-2} \mid X_{t-1})\\ & = \mathrm{Corr}(\varphi _0 + \varphi _1 X_{t-1} + \varphi _2 X_{t-2}, X_{t-2} \mid X_{t-1})\\ & = \mathrm{Corr}(\varphi _2 X_{t-2}, X_{t-2} \mid X_{t-1}) = \varphi _2 \end{aligned}$$

考虑一阶 PACF. 在给定 $X_{t-2}$ 后, 由于 $X_{t-1}$ 与 $X_{t-2}$ 仍有联系, 所以 $X_{t-1}$ 的该部分实际已被固定, 但仍有其自由部分. 一阶 PACF 衡量的是其自由部分与 $X_t$ 的相关性.

3.3 MA 模型

3.3.1 MA 模型的定义

  $q$ 阶 MA 模型具有如下结构:

$$\left\{ \begin{aligned} & X_t = \mu + \varepsilon _t - \theta _1 \varepsilon _{t-1} - \cdots - \theta _q \varepsilon _{t-q}, \quad \theta _q \neq 0\\ & \varepsilon _t \sim \mathrm{WN}(0, \sigma _\varepsilon ^2) \end{aligned} \right.$$

MA 模型的中心化 考虑中心化 $X_t \gets X_t - \mu$ 就能使 $\mu = 0$. 以下分析序列值之间相关关系时, 一般简化为分析中心化模型.

3.3.2 MA 模型的统计性质

均值 均值为常数 $\mathrm EX_t = \mu$.

方差 方差为常数 $\mathrm DX_t = (1 + \theta _1^2 + \cdots + \theta _q^2) \sigma _\varepsilon ^2 =: \sigma ^2$.

ACVF ACVF 仅与时间间隔有关, 且 $q$ 阶截尾

$$\gamma _k = \begin{cases} (1 + \theta _1^2 + \cdots + \theta _q^2) \sigma _\varepsilon ^2, \quad & k = 0\\ (-\theta _k + \theta _1\theta _{k+1} + \theta _2\theta _{k+2} + \cdots + \theta _{q-k}\theta _q) \sigma _\varepsilon ^2, \quad & k = 1, \dots, q\\ 0, \quad & k = q+1, \dots \end{cases}$$

ACF ACF 仅与时间间隔有关, 且 $q$ 阶截尾

$$\rho _k = \begin{cases} 1, \quad & k = 0\\ \dfrac{-\theta _k + \theta _1\theta _{k+1} + \theta _2\theta _{k+2} + \cdots + \theta _{q-k}\theta _q}{1 + \theta _1^2 + \cdots + \theta _q^2}, \quad & k = 1, \dots, q\\ 0, \quad & k = q+1, \dots \end{cases}$$

例 $\mathrm{MA}(1)$ 模型的 ACF 为 $\rho _1 = -\theta _1 / (1 + \theta _1^2)$, $\mathrm{MA}(2)$ 模型的 ACF 为

$$\rho _1 = \frac{-\theta _1 + \theta _1 \theta _2}{1 + \theta _1^2 + \theta _2^2}, \qquad \rho _2 = \frac{-\theta _2}{1 + \theta _1^2 + \theta _2^2}$$

3.3.3 MA 模型的可逆性

  为了保证一组给定的 ACF $(\rho _1, \dots, \rho _q)$ 只对应唯一的 $\mathrm{MA}(q)$ 模型, 我们约束 $\mathrm{MA}(q)$ 必须具备可逆性 (invertibility).

可逆性与逆函数 $\mathrm{MA}(q)$ 模型可以写成 $\mathrm{AR}(\infty)$ 模型的形式. 即

$$X_t = \varepsilon _t - \theta _1 \varepsilon _{t-1} - \cdots - \theta _q \varepsilon _{t-q}$$

可以合并成 $\{X_t\}$ 的线性组合的形式. 考虑逆函数 $I_{(\cdot)}$ 是线性组合的系数

$$\varepsilon _t = X_t + I_1 X_{t-1} + I_2 X_{t-2} + \cdots + I_{t-1} X_1$$

若该 AR 模型是收敛的, 则称原 MA 模型是可逆的. MA 模型的逆函数与 AR 模型的 Gauss 函数有完全相同的递推公式

$$I_k = \begin{cases} 1, \quad & k = 0\\ \theta _1 I_{k-1} + \cdots + \theta _k I_0, \quad & k = 1, \dots, q\\ \theta _1 I_{k-1} + \cdots + \theta _q I_{k-q}, \quad & k = q+1, \dots\\ \end{cases}$$

特征根判别 $\mathrm{MA}(q)$ 模型的特征方程是

$$\lambda _q - \theta _1 \lambda _{q-1} - \cdots - \theta _q = 0$$

该模型可逆当且仅当它特征方程的 $q$ 个特征根都在单位圆内.

平稳域判别 $\mathrm{MA}(1)$ 的平稳域是 $-1 < \theta _1 < 1$; $\mathrm{MA}(2)$ 的平稳域是点 $\{(0, 1), (2, -1), (-2, -1)\}$ 构成的三角区域.

3.3.4 MA 模型的 PACF

  $\mathrm{AR}(p)$ 模型 PACF $p$ 阶截尾. 因为 $\mathrm{MA}(q)$ 模型等价于 $\mathrm{AR}(\infty)$ 模型, 所以 MA 模型 PACF 拖尾. PACF 可用 Yule-Walker 方程组求解.

例 计算 $\mathrm{MA}(1)$ 模型的 PACF. 计算可得

$$\varphi _{11} = \rho _1 = \frac{-\theta _1}{1 + \theta _1^2}, \qquad \varphi _{22} = \frac{\rho _2 - \rho _1^2}{1 - \rho _1^2} = \frac{-\theta _1^2}{1 + \theta _1^2 + \theta _1^4}$$

以此类推可以得到 $\mathrm{MA}(1)$ 模型 PACF 的通解

$$\varphi _{kk} = \frac{-\theta _1^k}{1 + \theta _1^2 + \cdots + \theta _1^{2k}}$$

3.4 ARMA 模型

3.4.1 ARMA 模型的定义

  $\mathrm{ARMA}(p, q)$ 模型具有如下结构:

$$\left\{ \begin{aligned} & X_t = \varphi _0 + \varphi _1 X_{t-1} + \cdots + \varphi _p X_{t-p} + \varepsilon _t - \theta _1 \varepsilon _{t-1} - \cdots - \theta _q \varepsilon _{t-q}\\ & \varphi _p \neq 0, \quad \theta _q \neq 0\\ & \varepsilon _t \sim \mathrm{WN}(0, \sigma _\varepsilon ^2), \quad X_s \perp \varepsilon _t, \forall s < t \end{aligned} \right.$$

3.4.2 ARMA 模型的平稳性与可逆性

平稳条件 $\mathrm{ARMA}(p, q)$ 模型的平稳性完全由它的 AR 部分决定. $\mathrm{ARMA}(p, q)$ 模型平稳等价于它 AR 部分特征方程的 $p$ 个特征根都在单位圆内.

可逆条件 $\mathrm{ARMA}(p, q)$ 模型的可逆性完全由它的 MA 部分决定. $\mathrm{ARMA}(p, q)$ 模型可逆等价于它 MA 部分特征方程的 $q$ 个特征根都在单位圆内.

传递形式 $\mathrm{ARMA}(p, q)$ 模型可以写成 $\mathrm{MA}(\infty)$ 模型的形式, 即

$$X_t = G_0 \varepsilon _t + G_1 \varepsilon _{t-1} + \cdots + G_{t-1} \varepsilon _1$$

其中 Green 函数

$$G_k = \begin{cases} 1, \quad & k = 0\\ \varphi _1 G_{k-1} + \cdots + \varphi _k G_0 - \theta _k, \quad & k = 1, \dots, p\\ \varphi _1 G_{k-1} + \cdots + \varphi _p G_{k-p} - \theta _k, \quad & k = p+1, \dots\\ \end{cases}$$

这里定义 $k>q$ 的 $\theta _k$ 为零.

例 计算 $\mathrm{ARMA}(1, 1)$ 模型的 Green 函数. 它的 Green 函数有递推式

$$G_k = \begin{cases} 1, \quad & k = 0\\ \varphi _1 - \theta _1, \quad & k = 1\\ \varphi _1 G_{k-1}, \quad & k = 2, \dots\\ \end{cases}$$

可以迭代地解出它的 Green 函数

$$G_0 = 1, \qquad G_k = (\varphi _1 - \theta _1) \varphi _1^{k-1}$$

逆转形式 $\mathrm{ARMA}(p, q)$ 模型可以写成 $\mathrm{AR}(\infty)$ 模型的形式, 即

$$\varepsilon _t = X_t + I_1 X_{t-1} + I_2 X_{t-2} + \cdots + I_{t-1} X_1$$

其中逆函数

$$I_k = \begin{cases} 1, \quad & k = 0\\ \theta _1 I_{k-1} + \cdots + \theta _k I_0 - \varphi _k, \quad & k = 1, \dots, q\\ \theta _1 I_{k-1} + \cdots + \theta _q I_{k-q} - \varphi _k, \quad & k = q+1, \dots\\ \end{cases}$$

这里定义 $k>p$ 的 $\varphi _k$ 为零.

3.4.3 ARMA 模型的统计性质

均值 $\mu = \varphi _0/(1 - \varphi _1 - \cdots - \varphi _p)$.

方差 $\sigma ^2 = (G_0^2 + G_1^2 + \cdots) \sigma _\varepsilon ^2$.

例 计算 $\mathrm{ARMA}(1, 1)$ 模型的方差.

$$\begin{aligned} \sigma ^2 & = (G_0^2 + G_1^2 + \cdots) \sigma _\varepsilon ^2\\ & = (1 + (\varphi _1 - \theta _1)^2 (1 + \varphi _1^2 + \varphi _1^4 + \cdots)) \sigma _\varepsilon ^2\\ & = \frac{1 + \theta _1^2 - 2\varphi _1 \theta _1}{1 - \varphi _1^2} \sigma _\varepsilon ^2 \end{aligned}$$

ACVF $\gamma _k = (G_0G_k + G_1G_{k+1} + \cdots) \sigma _\varepsilon ^2$.

例 计算 $\mathrm{ARMA}(1, 1)$ 模型的 ACVF ($k \geq 1$).

$$\begin{aligned} \gamma _k & = (G_0G_k + G_1G_{k+1} + \cdots) \sigma _\varepsilon ^2\\ & = ((\varphi _1 - \theta _1) \varphi _1^{k-1} + (\varphi _1 - \theta _1)^2 (\varphi _1^k + \varphi _1^{k+2} + \varphi _1^{k+4} + \cdots)) \sigma _\varepsilon ^2\\ & = (\varphi _1 - \theta _1) \varphi _1^{k-1}\left( 1 + \frac{(\varphi _1 - \theta _1)\varphi _1}{1 - \varphi _1^2} \right) \sigma _\varepsilon ^2\\ & = \frac{(\varphi _1 - \theta _1) (1 - \varphi _1 \theta _1)}{1 - \varphi _1^2} \varphi _1^{k-1} \sigma _\varepsilon ^2 \end{aligned}$$

ACF $\rho _k = \gamma _k / \sigma ^2$.

例 计算 $\mathrm{ARMA}(1, 1)$ 模型的 ACF ($k \geq 1$).

$$\rho _k = \frac{\gamma _k}{\sigma ^2} = \frac{(\varphi _1 - \theta _1) (1 - \varphi _1 \theta _1)}{1 + \theta _1^2 - 2\varphi _1 \theta _1} \varphi _1^{k-1}$$

本系列的参考文献

[1] 王燕. 应用时间序列分析[M]. 第 6 版. 北京:中国人民大学出版社, 2022.

[2] University of South Carolina. Chapter 6: Model Specification for Time Series. https://people.stat.sc.edu/hitchcock/stat520ch6slides.pdf.

附录 A 常系数线性差分方程和递推数列

A.1 常系数线性差分方程

  $p$ 阶齐次常系数线性差分方程具有结构

$$x_t + a_1 x_{t-1} + \cdots + a_p x_{t-p} = 0$$

将其中的 $x_k$ 换成 $\lambda ^k$ 然后约分即得它的特征方程

$$\lambda ^p + a_1 \lambda ^{p-1} + \cdots + a_p = 0$$

它有 $p$ 个根, 称为特征根.

解的结构 差分方程的解是 $p$ 个小项的任意线性组合:

• 若 $\lambda$ 为实单根, 则它贡献 $C \lambda ^t$ 一个小项.
• 若 $\lambda$ 为实 $m$-重根, 则它贡献 $(C_0 + C_1t + \cdots + C_{m-1}t^{m-1})\lambda ^t$ 共 $m$ 个小项.
• 若 $\alpha \pm \beta \mathrm i$ 为一对复单根, 则它贡献 $e^{\alpha t}(A\cos \beta t + B\sin \beta t)$ 两个小项.
• 若 $\alpha \pm \beta \mathrm i$ 为一对复单根, 则它贡献 $e^{\alpha t}((A_0 + A_1t + \cdots + A_{m-1}t^{m-1})\cos \beta t + (B_0 + B_1t + \cdots + B_{m-1}t^{m-1})\sin \beta t)$ 共 $2m$ 个小项.

差分方程的通解是所有小项的线性组合, 它有 $p$ 个自由实变量.

A.2 常系数线性递推数列

  一个常系数线性递推式

$$x_t = a_1 x_{t-1} + a_2 x_{t-2} + \cdots + a_p x_{t-p}$$

的特征方程是把 $x_{(\cdot)}$ 换成 $\lambda ^{(\cdot)}$ 后约分的结果

$$\lambda _p = a_1 \lambda _{p-1} + a_2 \lambda _{p} + \cdots + a_p$$

它有 $p$ 个根, 称为特征根. 常系数线性递推数列的解 (通项公式) 的结构与常系数线性差分方程是完全相同的.

例 求解 Fibonacci 数列

$$\left\{ \begin{aligned} F_t & = F_{t-1} + F_{t-2}\\ F_1 & = F_2 = 1 \end{aligned} \right.$$

的通项公式. 它的特征方程是

$$x^2 = x + 1$$

它的解是黄金分割 $\varphi, \psi$

$$\varphi = \frac{1 + \sqrt 5}{2}, \qquad \psi = \frac{1 - \sqrt 5}{2}$$

所以它的通解有形式

$$F_t = C_1 \varphi ^t + C_2 \psi ^t$$

考虑初值条件 $F_1 = F_2 = 1$, 可以解得 $C_1 = 1/\sqrt 5$ 和 $C_2 = -1/\sqrt 5$.