ARモデルの表現能力を考察する
2019.3.1
Topics
こんにちは。データサイエンスチームのtmtkです。
この記事では、ARモデルの表現能力について考察します。
はじめに
前回までの記事では、時系列解析の入門としてARモデルについて紹介し、AICによるARモデルのモデル選択について解説しました。
この記事では、ARモデルの表現能力について考察します。
ニューラルネットワークの理論では、Universal Approximation Thorem(普遍近似定理)が有名です。これは、「任意の連続写像は、隠れ層が1層のニューラルネットワークで任意の精度で近似できる(隠れ層のユニットを十分多くすれば)」という内容の定理です。標語的にいえば、隠れ層が1層のニューラルネットワークモデルは無限の表現能力(Representational capacity)をもつ、といえると思います。この定理のおかげで、機械学習モデルを作りたいとき、ほしいモデルは隠れ層が1層のニューラルネットワークで表現できることがわかります。隠れ層が1層のニューラルネットワークを訓練して思うような性能が出ない場合、隠れ層のユニット数が足りないか、最適化に失敗しているかのどちらかだという考察ができます。普遍近似定理が与える洞察によって、問題の切り分けができるわけです。
そこで、ARモデルの場合にも、モデルの表現能力について考察します。
ARモデルの表現能力
ARモデルは、式
結論
結論からいってしまうと、漸化式を満たす数列
の空間についてはよく知られており、以下のようになります。漸化式の特性方程式
例:次数
の場合
ここからは具体例を見ていきます。
次数の場合は、漸化式は
例:次数
の場合
もう少し複雑な例として、次数がの場合について考察します。この場合、漸化式は
以上から、ARモデルは、多項式関数、指数関数、三角関数を掛け合わせたり足し合わせたりしたようなデータを表現するのに向いている、ということがいえそうです。
まとめ
この記事では、ARモデルの表現能力をみるため、ARモデルから誤差項をとりのぞいた漸化式の解空間について考察しました。
以上から、ARモデルは、多項式関数、指数関数、三角関数を掛け合わせたり足し合わせたりしたようなデータを表現するのに向いている、ということがいえそうです。
参考文献
データ分析と機械学習とソフトウェア開発をしています。 アルゴリズムとデータ構造が好きです。
Recommends
こちらもおすすめ
-
ARモデルの誤差分析について
2019.3.7
-
画像分類の機械学習モデルを作成する(1)ゼロからCNN
2018.4.17
-
畳み込みニューラルネットワークの畳み込み層の重みを可視化する方法
2018.7.10
-
BigQuery ML で単語をクラスタリングしてみる
2020.3.12
Special Topics
注目記事はこちら

AWSの料金が 8 %割引になる!
『AWSの請求代行リセールサービス』
2023.01.15

アクセス集中でのサービス停止を回避!AWSを活用した障害への対処法
2023.1.31