状態空間モデル

KFAS（カルマンフィルタ＆スムーザ）での状態空間モデルについてのメモ。 まとめておきたかったが、ずっと手を付けられず。。 分かっていない部分も多いのであくまで個人備忘録として。 個人的に野村先生の書籍が大変参考になった。 【目次】 状態空間モデル（State Space Model） KFASでの実装 状態空間モデルで扱われるトレンド成分モデル 参考 ARIMA関連は以下の記事 【統計】時系列分析（AR、MA、ARMA、ARIMA、SARIMA、ARIMAXモデル） - こちにぃるの日記 【統計】時系列分析（ARIMA、SARIMA、SARIMAXをRで実行する） - こちにぃるの日記 【統…

マルコフモデル 系列データが与えられているとします。 このような系列データを扱う確率モデルとして、マルコフモデルを考えます。 マルコフモデルは以下の式で表せます。 一次マルコフ連鎖 式の右辺の条件付分布のもの者が最も近い観測値以外の全ての過去の観測値から独立であると仮定すると、 一次マルコフ連鎖を得ます。 この一次マルコフ連鎖は次のグラフィックモデルで表せます。 図1 一次マルコフ連鎖の下で個の観測系列の同時分布は以下のようになります。図1において、からへの経路は、を通り、そこでhead-to-tailであるため、 であり、以下の式が成り立ちます。また、式は次のように示すこともできます。 まず…

データアナリストの小林です。 当社では様々な媒体で、クライアント・アライアンス様の販売促進・CRMの支援をさせていただいております。 その中で、「マーケティング施策の効果検証」は欠かせないテーマの一つです。 当社がもつ7000万人のシングルID情報と実購買データによって、例えば介入・統制群を分けたRCT（ランダム化比較試験）やA/Bテストを実施し、介入効果の客観的な測定に努めています。 ところで、上記RCTやA/Bテストのような比較対象を用意できる施策であれば、効果検証は容易かと思いますが、定常的なマス広告や全店値下げキャンペーンなど、適切な比較対象を用意できない・前後比較ができないケースでは…

はじめに この記事では、Pythonで状態空間時系列モデリングを行う方法を、Rによる実行例の「翻訳」を通して解説します。 題材として季節変動のある時系列データを用います。 状態空間時系列モデルでは、季節性やトレンドといった時系列背後の構造を反映させて直感的にわかりやすいモデリングを行うことができます。 しかし、Pythonで状態空間時系列モデリングを行おうことは、簡単ではありません。 Pythonで統計モデリング全般を実行する場合、ライブラリの選択肢はほぼstatsmodels1一択となります。しかし、このライブラリはインターフェイスが複雑で使いづらいうえにドキュメントも読みにくいのが現状です…

状態空間モデルとは、時系列データにおいて、見えない状態を推定し、その推定した状態から観測値を求めるモデルのことです。状態を介して観測値を予測することにより自由度の高いモデルとなっています。状態の表現力の高さは凄まじく、トレンドや季節成分、更には自己回帰モデルを表すこともできるのです。そんな願ったりかなったりなモデルですが、自由度が高いことの代償として、学習の難易度も高くなっているかと思います。 自由度の高さに加えて、定常・非定常の両方を扱えるという利点もあります。自己回帰モデルでは定常的な時系列データしか扱えなかったため、かなりの進歩です。 この記事では、状態空間モデルってどんな感じなのかを数…

はじめに 概要 この記事は、状態空間時系列モデリングを解説する全5本の記事の第2弾です。 前回の記事では、状態空間モデルの概要について紹介しました。 状態空間モデルでは、トレンドや季節性といった時系列の特徴をマルコフ過程に従う「状態」として仮定し、観測データをもとに状態の予測・推定を行います。 tatamiya-practice.hatenablog.com 今回は状態推定方法のうち逐次推定法と呼ばれるものの概要から入り、カルマンフィルタについて解説を行います。 状態推定・予測の方法には、大きく分けて逐次推定法とMarkov Chain Monte Carlo法(MCMC)の2種類があります。…

はじめに 内容 状態空間時系列モデルの概要 状態空間モデルとは何か？ 典型的なモデルの紹介 今後の記事の執筆方針 本記事あわせて全5本で構想中 背景 状態空間モデルは時系列分析でよく用いられる手法の一つ Pythonユーザーにとっては情報が少なくややとっつきにくい Rと比べて書籍が圧倒的に少ない ライブラリもRほど充実していない ネットの情報も少ない 理論の紹介 → Rでの実装例 → Pythonへの翻訳のステップを踏むことで、Pythonでも理論を理解したうえで状態空間モデリングを行えるようにしたい。 そのためにまずは、そもそも状態空間モデルとはどのようなもので、どのような実装方法があるかの…