六本木で働くデータサイエンティストのブログ

元祖「銀座で働くデータサイエンティスト」です / 道玄坂→銀座→東京→六本木

Rで計量時系列分析 の検索結果:

一般的な時系列のモデリング&予測に、機械学習系の手法よりも古典的な計量時系列分析の方が向いている理由を考えてみた(追記あり)

この記事は、以下の@icoxfog417さんによる問題提起に合わせたちょっとした実験をまとめたものです。時系列予測の問題において、機械学習のモデルより既存の統計モデル(ARMAモデルなど)の方が予測精度において優良な結果が出るという研究。データへの適合=予測精度の向上ではないことも実験で示している。機械学習の研究では統計モデルとの比較も入れるべきという提言をしている。 https://t.co/jboGhYSX6E— piqcy (@icoxfog417) September…

実務の現場に多い時系列データ分析の際に注意しておきたい点を列挙してみる

こういうメタ分析系の記事を書く時というのは大抵ネタ切れの時なんですが(汗)、最近になってこの辺のポイントでつまずいて困っているビジネスデータ分析の現場の話を聞くことがまた増えてきたので自分向けの備忘録も兼ねて記事としてまとめておきます。 そうそう、時系列分析の話って厳密にやり始めるとキリがないので、例えば単位根過程まわり(特に共和分のあたりを含めた複数時系列間の関係性の話とか)は「トレンドに注意せよ」という大きなくくりにまとめて、厳密な議論は割愛して出来る限り実務面で押さえる…

実務の現場においてモデリング(統計学的・機械学習的問わず)を行う上での注意点を挙げてみる

気が付いたら僕がデータ分析業界に身を置くようになってそろそろ5年近くになるんですね*1。この5年間の間に色々勉強したり業界内で見聞してきた経験をもとに、「実務の現場においてモデリングを行う上での注意点」についてだらだらと書いてみようと思います。 と言うのも、色々な現場で様々なモデリング(統計学的にせよ機械学習的にせよ)が行われていることが伝わってくるようになった一方で、ともすれば「え?こんな基礎的なポイントも守ってないの?」みたいなとんでもないモデリングがまかり通る現場がある…

『手を動かしながら学ぶ ビジネスに活かすデータマイニング』(技術評論社)を書くに当たって気を付けたこと&補足など(追記あり)

…事が沢山あるので(「Rで計量時系列分析」シリーズ)、そちらも是非お読みくださいー。 そしてラスボスが出ました、Stanでベイジアンモデリング。これは上記の通りどうしても載せたくて、関係各方面の先生方に引用の許可をいただいてまで書いたのでしたw これはもう頑張って{inline} + {Rcpp} + {rstan}をインストールして、実際に階層ベイズの計算を走らせるところまで一旦体験してもらえればそれで十分だと思います。 最後に 基本的には初心者の方々向けに書いたつもりの本な…

Stanで統計モデリングを学ぶ(3): ざっと「Stanで何ができるか」を眺めてみる

…うことができます。「Rで計量時系列分析」シリーズ記事で見てきたように、これまた最尤法で推定しているのでもちろんStanでバッチリやれるというわけです。 ARモデル タイムラグの分だけ差分を取って、正規分布normal(mu,sigma)でモデリングすればOKです。なお発展としてARCHモデルも推定できますが、GARCHモデルの説明が詳しいのでここでは割愛。 <例:AR(1)モデル> data { int<lower=0> N; real y[N]; } parameters …

2013年の「データサイエンティスト」狂想曲と個人的なあれこれとを振り返る

…お話したのでした。 Rで計量時系列分析~CRANパッケージ総ざらい~ from Takashi J Ozaki この会のTokyo.Rでも色々な方々と初めてお会いできて、大変有意義でした。そう言えばこの時に「研究者だった頃の研究テーマの話も聞きたい」というリクエストを頂いたんですが、未だにやってませんね。。。(汗)。 9~10月以降はまさに秋風が吹いて飽きられる勢い こんな感じで9月半ばぐらいまでは猛烈にデータサイエンティストはバズり続けてたんですが、10月ぐらいになると一気…

Rで季節変動のある時系列データを扱ってみる

Rで計量時系列分析シリーズでだいぶ時系列データの話をしてきたわけですが、最近個人的に季節変動のあるデータを扱うケースが増えてきたので、備忘録的にまとめてみようかなと。 一般に、webデータサイエンスの領域で季節変動というと業種や領域にもよるものの、おおむね 週次*1 月次*2 四半期ごと*3 年次or12ヶ月ごと*4 辺りが多いと理解してます(もちろん必ずしもこればかりではないので念のため)。ちなみにこの辺の大ざっぱなまとめが「季節調整」のWikipedia項目に書かれている…

2013年秋版:データサイエンティストを目指すなら揃えておくべき10冊

…(3件) を見る 「Rで計量時系列分析」シリーズ記事で大変お世話になった沖本本です。Hamiltonの大著"Time Series Analysis"のエッセンスが、その4分の1ぐらいの薄さにコンパクトにまとめてあり、非常に分かりやすいです。本格的な時系列モデリングの入門書として最適。 東大出版会シリーズは赤本と青本のみ残しました*2。新たに入ったのが久保先生の緑本です。また、計量時系列分析&状態空間モデルは現在それほど広く普及しているとは言い難いので入れるかどうか迷ったんで…

第33回TokyoRでトークしてきました

…加してみたいと思っていたTokyoRですが、ついに昨日の第33回に参加してきました。ちなみに初登壇のおまけつき。 Rで計量時系列分析~CRANパッケージ総ざらい~ from Takashi J Ozaki 正直言って詰め込み過ぎた感ありありなんですが、Rで計量時系列分析をやるというのはこんな感じですよー、というのが伝わったなら良かったかなと思います。 今回語り尽くせなかった分は、「Rで計量時系列分析」シリーズ記事で細かく書いてますので、興味のある方はそちらもお読みくださいー。

Rで計量時系列分析:状態変化を伴うモデル(閾値モデル、平滑推移モデル、マルコフ転換モデル)

前回の記事までは多変量時系列モデルとしてのVARモデルを扱ってきました。今回は一旦このシリーズの最終回ということで、元の単変量時系列モデルに戻って「状態変化を伴うモデル」を扱ってみようと思います。 ということでもはや毎回恒例になってますが、使用テキストはいつもの沖本本です。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人 クリック: 101回この商品を含むブ…

Rで計量時系列分析:単位根過程、見せかけの回帰、共和分、ベクトル誤差修正モデル

前回の記事ではVARモデルに基づく様々な計量時系列分析手法を取り上げました。今回はいよいよ現実世界の時系列データを扱う上では避けて通れない、単位根過程とそれにまつわる様々な問題とその解決策について触れてみようと思います。 ということでもはや毎回恒例になってますが、使用テキストはいつもの沖本本です。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人 クリック: …

Rで計量時系列分析:VARモデルから個々の時系列データ間の因果関係を推定する

前回の記事ではVARモデルの基礎までを取り上げました。ということで、今回はVARモデルに基づいて異なる時系列同士の因果関係を推定する3つの手法について取り上げてみようと思います。 ということで毎回毎回しつこいですが、使用テキストはいつもの沖本本です。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人 クリック: 101回この商品を含むブログ (6件) を見る …

Rで計量時系列分析:VARモデルの基礎(多変量時系列モデル)

前回の記事では単変量の時系列までを扱いました。今回は多変量(ベクトル)時系列を記述するVARモデルとその周辺のポイントを取り上げます。 ということでしつこいですが、使用テキストはいつもの沖本本です。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人 クリック: 101回この商品を含むブログ (6件) を見る 以下タイトルにのっとってRで各モデルの挙動を見ながら…

Rで計量時系列分析:AR, MA, ARMA, ARIMAモデル, 予測

前回の記事では計量時系列分析とは何ぞや?みたいなところをやりましたので、今回はいろはのイともいえるARIMAまわりから始めていこうと思います。 ということで改めて、使用テキストはいつものこちらです。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人 クリック: 101回この商品を含むブログ (6件) を見る 以下タイトルにのっとってRで各モデルの挙動を見ながら…

Rで計量時系列分析:はじめに覚えておきたいこと

機械学習は全然専門ではない僕が知ったかぶりをするのも何なので*1、もっともっと以前からそこそこやっている*2計量時系列分析の話でもしてお茶を濁してみることにします(笑)。 *1:新職場には正真正銘の機械学習の研究者から転じた先任のQuantitative Engineer & Researcherの人がいるので、僕なんぞが無理してやらなくても良いという構図 *2:っても実はVARとGranger因果周りが大半だったりする

マルコフ状態転換モデルのRパッケージ{MSwM}の使い方(異常値検出・ステータス変化検出などに有用)

…、とすればきちんと異常値とステータス変化を同時にモデリングすることが可能です。 ただ、それができるかどうか?というのは今のところ完全に経験(暗黙知)に依存している部分が大きいです。この辺はまた改めてマルコフ状態転換モデルについて書くときに、きちんと論じましょうということで。。。 *1:1万回でも10万回でも書きますが、アフィリエイトの類はやってませんよー *2:また改めて「Rで計量時系列分析」シリーズと称して詳しく書く予定です *3:何故か「ずーっと平坦」という推定結果になる