ARモデルの誤差分析について

tmtk

2019.3.7

Topics

はじめに
[latex]y_{N+1}[/latex]の誤差分析
一般の場合（[latex]y_t \quad (t > N)[/latex]）の誤差分析
まとめ
参考文献

こんにちは。データサイエンスチームもtmtkです。
この記事では、ARモデルの誤差分析について説明します。

はじめに

前の3回の記事にわたって、時系列解析の入門としてARモデルについて紹介し、AICによるARモデルのモデル選択について解説し、ARモデルの表現能力について議論しました。
ARモデルをつかうと過去の時系列データから未来のデータの値を予測することができます。実際に予測を行う場合には、その予測の信頼区間も知りたいことが多いと思います。つまり、予測がどれくらいずれうるのかまでを知りたいということです。
この記事では、ARモデルで未来のデータを予測するとき、予測の誤差について考察します。

$y_{N+1}$ の誤差分析

ARモデルは、式

$y_t = \sum_{i = 1}^m a_iy_{t - i} + v_t$
で表され、誤差項 $v_t \sim N(0, \sigma^2)$ が誤差をつかさどっているのでした。
そのため、いま、過去のデータ $y_1, \ldots, y_N$ とARモデル $y_t = \sum_{i = 1}^m a_iy_{t - i} + v_t$ が与えられているとき、 $y_{N+1}$ とそのARモデルからの推定値 $\hat y_{N+1} = \sum_{i = 1}^m a_iy_{N + 1 - i}$ の差は、 $v_{N+1}\sim N(0, \sigma^2)$ になります。よって、 $y_{N+1}$ に関する信頼係数95%の信頼区間は、

$\hat y_{N+1} - 1.96\sigma \leq y_{N+1} \leq \hat y_{N+1} + 1.96\sigma$ と計算できます。
データ分析を実際にする状況では、誤差項 $v_t$ のしたがう確率分布の母分散 $\sigma^2$ は知ることができません。そのため、最尤推定による推定値 $\hat\sigma ^2 =\frac{\sum_{t=m+1}^N\left(y_t - \sum_{i=1}^m a_i y_{t - i}\right)^2}{N - m}$ を母分散 $\sigma^2$ の近似値として使わざるをえません。この場合、 $\sigma^2$ と $\hat\sigma^2$ の間にも誤差があるため、正規分布ではなくt分布を持ち出して議論する必要があります。
ただし、この記事では、今後の計算を簡単にするため、以下では $\sigma^2 = \hat \sigma^2$ を仮定します。つまり、最尤推定による母分散の推定値が真の母数に等しいとみなして計算を進めることにします。あるいは、母分散 $\sigma^2$ が既知であると仮定していると考えてもいいです。

一般の場合（ $y_t \quad (t > N)$ ）の誤差分析

時刻 $t$ での $\{y_t\}_t$ の予測値を表す数列を、 $\{\hat y_t\}_t$ とおきます。いま、過去のデータ $\{y_t\}_{t=1}^N$ が与えられているとします。すると、 $1 \leq t \leq N$ の範囲では観測値 $y_t$ が与えられているため、予測値 $\hat y_t$ は $\hat y_t = y_t$ とおくことができます。
未来の時刻 $t > N$ に対しては、ARモデルとそれまでの推定値 $y_{t'} \, (t' < t)$ から $\hat y_t = \sum_{i = 1}^m a_i \hat y_{t - i}$ と計算することができます。
未来の時刻 $t > N$ に対して、予測誤差 $y_t - \hat y_t$ のしたがう分布を考えてみましょう。前の議論から、 $t = N + 1$ のときは $y_{N+1} - \hat y_{N+1} = v_{N+1} \sim N(0, \sigma^2)$ に従うのでした。次に $t = N + 2$ の場合を考えます。すると、

$\begin{aligned}y_{N+2} - \hat y_{N+2} &= (\sum_{i=1}^m a_iy_{t-i} + v_{N+2}) - (\sum_{i=1}^ma_i\hat y_{t-i}) \\ &= (\sum_{i=1}^m a_i y_{t - i} + v_{N+2}) - (\sum_{i=1}^m a_i y_{t-i} - a_1 v_{N+1}) \\ &= v_{N+2} + a_1 v_{N+1}\end{aligned}$ と計算されます。したがって、

$y_{N+2} - \hat y_{N+2} = v_{N+2} + a_1 v_{N+1} \sim N(0, \sigma^2 + a_1^2\sigma^2)$ となります。
これまで時刻 $t = N + 1, N + 2$ の場合について考察しました。時刻 $t$ が一般の場合を考えましょう。誤差の確率変数の列 $\{\varepsilon_t\}_t$ を $\varepsilon_t = y_t - \hat y_{t}\, (t=1, 2, \ldots)$ と定義すれば、

$\begin{aligned} \varepsilon_t &= y_t - \hat y_t \\ &= \left(\sum_{i=1}^m a_i y_{t-i} + v_t\right) - \left(\sum_{i=1}^m a_i \hat y_{t-i}\right) \\ &= \left(\sum_{i=1}^m a_i y_{t-i} + v_t\right) - \left(\sum_{i=1}^m a_i y_{t-i} - \sum_{i=1}^m a_i \varepsilon_{t-i} \right) \\ &= v_t + \sum_{i=1}^m a_i \varepsilon_{t - i}\end{aligned}$ となります。定義より $\varepsilon_t = 0 \, (t \leq N)$ であることに注意すると、 $\varepsilon_t \,(t > N)$ は平均 $0$ の正規分布に従い、その分散 $\sigma^2_t$ は

$\sigma^2_t = \left\{\begin{array}{ll}\sigma^2 + \sum_{i=1}^m a_i^2 \sigma^2_{t-i} & (t = N + 1, N + 2, \ldots)\\ 0 & (t = 1, \ldots, N)\end{array}\right.$ で計算されることがわかります。
以上より、 $y_t$ に関する95%信頼区間は、上で定義した $\sigma_t$ を使って、