統計的因果推論と言えばすっかり統計学分野ではお馴染みのアプローチになった感があり、また機械学習分野でも扱うテーマが複雑化するにつれて注目が高まり続けているトピックスという印象があります。 このブログでも2016年ぐらいから因果推論に関する記事をちらほら書くようになり、僕個人にとってもまた因果推論と言えば馴染み深い概念になってきたという感があります。 一方で、ビジネス実務の現場においても「因果推論」という言葉は使われないにせよ、かなりはっきりと「因果」についての知見もしくは説明…

もう9年も前のことですが、沖本本をベースとした計量時系列分析のシリーズ記事を書いていたことがあります。その中で、密かに今でも自分が読み返すことがあるのがVAR（ベクトル自己回帰）モデル関連の記事です。 なのですが、仕事なり趣味なりでVARモデルを触っていると「あれ、これってどうなってたんだっけ」という事項が幾つか出てきて、しかも上記の自分のブログの過去記事を当たっても出てこないケースがちらほらあるんですね。 ということで、今回の記事ではネタ切れで新しく書くことが思い付かないの…

「新型コロナウイルス感染症における治療の進展（令和2年10月29日に開催された第13回新型コロナウイルス感染症対策分科会事務局提出資料を基に内閣官房・内閣府作成）」という資料が世間で物議を醸しているようです。ただ、これを見ていて僕が個人的に気になったのは、その議論の内容や結論ではなく、「グレンジャー(Granger)因果」が使われているという点でした。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)作者:竜義, 沖本発売日: 2010/02/01メディア: 単…

先日書いたこの記事ですが、「トイデータとは言え乱数シードを一つに決めて発生させたランダムウォークに対して実験をしているので、乱数シードを複数通りに変えてみたら結果は変わってくる（再現しない）のではないか？」という指摘を何人かの友人知人から貰いました。正直言って多項式フィッティングには何の思い入れもないのですが、再現性があるかどうかについては単純に気になるところです。 ちなみに、以前沖本本で勉強した際にあった「ランダムウォークには平均回帰性がなく時間と共に不確実性が増すため事実…

この記事は、以下の@icoxfog417さんによる問題提起に合わせたちょっとした実験をまとめたものです。時系列予測の問題において、機械学習のモデルより既存の統計モデル(ARMAモデルなど)の方が予測精度において優良な結果が出るという研究。データへの適合=予測精度の向上ではないことも実験で示している。機械学習の研究では統計モデルとの比較も入れるべきという提言をしている。 https://t.co/jboGhYSX6E— piqcy (@icoxfog417) September…

こういうメタ分析系の記事を書く時というのは大抵ネタ切れの時なんですが（汗）、最近になってこの辺のポイントでつまずいて困っているビジネスデータ分析の現場の話を聞くことがまた増えてきたので自分向けの備忘録も兼ねて記事としてまとめておきます。 そうそう、時系列分析の話って厳密にやり始めるとキリがないので、例えば単位根過程まわり（特に共和分のあたりを含めた複数時系列間の関係性の話とか）は「トレンドに注意せよ」という大きなくくりにまとめて、厳密な議論は割愛して出来る限り実務面で押さえる…

気が付いたら僕がデータ分析業界に身を置くようになってそろそろ5年近くになるんですね*1。この5年間の間に色々勉強したり業界内で見聞してきた経験をもとに、「実務の現場においてモデリングを行う上での注意点」についてだらだらと書いてみようと思います。 と言うのも、色々な現場で様々なモデリング（統計学的にせよ機械学習的にせよ）が行われていることが伝わってくるようになった一方で、ともすれば「え？こんな基礎的なポイントも守ってないの？」みたいなとんでもないモデリングがまかり通る現場がある…

…事が沢山あるので（「Rで計量時系列分析」シリーズ）、そちらも是非お読みくださいー。 そしてラスボスが出ました、Stanでベイジアンモデリング。これは上記の通りどうしても載せたくて、関係各方面の先生方に引用の許可をいただいてまで書いたのでしたｗ これはもう頑張って{inline} + {Rcpp} + {rstan}をインストールして、実際に階層ベイズの計算を走らせるところまで一旦体験してもらえればそれで十分だと思います。 最後に 基本的には初心者の方々向けに書いたつもりの本な…

…うことができます。「Rで計量時系列分析」シリーズ記事で見てきたように、これまた最尤法で推定しているのでもちろんStanでバッチリやれるというわけです。 ARモデル タイムラグの分だけ差分を取って、正規分布normal(mu,sigma)でモデリングすればOKです。なお発展としてARCHモデルも推定できますが、GARCHモデルの説明が詳しいのでここでは割愛。 ＜例：AR(1)モデル＞ data { int<lower=0> N; real y[N]; } parameters …

…お話したのでした。 Rで計量時系列分析～CRANパッケージ総ざらい～ from Takashi J Ozaki この会のTokyo.Rでも色々な方々と初めてお会いできて、大変有意義でした。そう言えばこの時に「研究者だった頃の研究テーマの話も聞きたい」というリクエストを頂いたんですが、未だにやってませんね。。。（汗）。 9～10月以降はまさに秋風が吹いて飽きられる勢い こんな感じで9月半ばぐらいまでは猛烈にデータサイエンティストはバズり続けてたんですが、10月ぐらいになると一気…

Rで計量時系列分析シリーズでだいぶ時系列データの話をしてきたわけですが、最近個人的に季節変動のあるデータを扱うケースが増えてきたので、備忘録的にまとめてみようかなと。 一般に、webデータサイエンスの領域で季節変動というと業種や領域にもよるものの、おおむね 週次*1 月次*2 四半期ごと*3 年次or12ヶ月ごと*4 辺りが多いと理解してます（もちろん必ずしもこればかりではないので念のため）。ちなみにこの辺の大ざっぱなまとめが「季節調整」のWikipedia項目に書かれている…

…(3件) を見る 「Rで計量時系列分析」シリーズ記事で大変お世話になった沖本本です。Hamiltonの大著"Time Series Analysis"のエッセンスが、その4分の1ぐらいの薄さにコンパクトにまとめてあり、非常に分かりやすいです。本格的な時系列モデリングの入門書として最適。 東大出版会シリーズは赤本と青本のみ残しました*2。新たに入ったのが久保先生の緑本です。また、計量時系列分析＆状態空間モデルは現在それほど広く普及しているとは言い難いので入れるかどうか迷ったんで…

…加してみたいと思っていたTokyoRですが、ついに昨日の第33回に参加してきました。ちなみに初登壇のおまけつき。 Rで計量時系列分析～CRANパッケージ総ざらい～ from Takashi J Ozaki 正直言って詰め込み過ぎた感ありありなんですが、Rで計量時系列分析をやるというのはこんな感じですよー、というのが伝わったなら良かったかなと思います。 今回語り尽くせなかった分は、「Rで計量時系列分析」シリーズ記事で細かく書いてますので、興味のある方はそちらもお読みくださいー。

前回の記事までは多変量時系列モデルとしてのVARモデルを扱ってきました。今回は一旦このシリーズの最終回ということで、元の単変量時系列モデルに戻って「状態変化を伴うモデル」を扱ってみようと思います。 ということでもはや毎回恒例になってますが、使用テキストはいつもの沖本本です。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人 クリック: 101回この商品を含むブ…

前回の記事ではVARモデルに基づく様々な計量時系列分析手法を取り上げました。今回はいよいよ現実世界の時系列データを扱う上では避けて通れない、単位根過程とそれにまつわる様々な問題とその解決策について触れてみようと思います。 ということでもはや毎回恒例になってますが、使用テキストはいつもの沖本本です。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人 クリック: …

前回の記事ではVARモデルの基礎までを取り上げました。ということで、今回はVARモデルに基づいて異なる時系列同士の因果関係を推定する3つの手法について取り上げてみようと思います。 ということで毎回毎回しつこいですが、使用テキストはいつもの沖本本です。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)作者:竜義, 沖本朝倉書店Amazon 以下タイトルにのっとってRで各モデルの挙動を見ながらやっていきます。

前回の記事では単変量の時系列までを扱いました。今回は多変量（ベクトル）時系列を記述するVARモデルとその周辺のポイントを取り上げます。 ということでしつこいですが、使用テキストはいつもの沖本本です。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人 クリック: 101回この商品を含むブログ (6件) を見る 以下タイトルにのっとってRで各モデルの挙動を見ながら…

前回の記事では計量時系列分析とは何ぞや？みたいなところをやりましたので、今回はいろはのイともいえるARIMAまわりから始めていこうと思います。 ということで改めて、使用テキストはいつものこちらです。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人 クリック: 101回この商品を含むブログ (6件) を見る 以下タイトルにのっとってRで各モデルの挙動を見ながら…

機械学習は全然専門ではない僕が知ったかぶりをするのも何なので*1、もっともっと以前からそこそこやっている*2計量時系列分析の話でもしてお茶を濁してみることにします（笑）。 *1:新職場には正真正銘の機械学習の研究者から転じた先任のQuantitative Engineer & Researcherの人がいるので、僕なんぞが無理してやらなくても良いという構図 *2:っても実はVARとGranger因果周りが大半だったりする

…、とすればきちんと異常値とステータス変化を同時にモデリングすることが可能です。 ただ、それができるかどうか？というのは今のところ完全に経験（暗黙知）に依存している部分が大きいです。この辺はまた改めてマルコフ状態転換モデルについて書くときに、きちんと論じましょうということで。。。 *1:1万回でも10万回でも書きますが、アフィリエイトの類はやってませんよー *2:また改めて「Rで計量時系列分析」シリーズと称して詳しく書く予定です *3:何故か「ずーっと平坦」という推定結果になる