初めてこのブログに来た方へ

これは初めてこのブログに来た方々向けのトップ固定記事です。最新記事の更新状況に応じて随時更新されます。

id:TJOとは何者なのか

データサイエンティスト・機械学習（人工知能）エンジニアとは何か

データ分析を仕事にしたければ読むべき本は何か

『RとStanではじめるベイズ統計モデリングによるデータ分析入門』は「みどりぼん」に取って替わる次世代の統計モデリング＋ベイジアン入門書

ここ2ヶ月ぐらいに渡って多くの方々からご著書をご恵贈たまわっているのですが、そのうちの一冊がこちら。かつて計量時系列分析を学んでいた頃に僕も大変お世話になった、Logics of Blueブログの馬場さんの手による『RとStanではじめるベイズ統計モデリングによるデータ分析入門』です。

実践Data Scienceシリーズ RとStanではじめる ベイズ統計モデリングによるデータ分析入門

以前はベイズ統計モデリングの入門書というと「みどりぼん」こと『データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)』一択でしたが、皆さんもご存知のように既にメンテされていないWinBUGSを使っているなどout-of-dateな要素が多く、近年はこれに替わる良書はないものかといつも頭を悩ませていました。今回の馬場さんのご著書は、まさにこれに取って替わる現時点でベストの一冊ではないかと個人的には考えています。

ということで、いつも通り本書全体の構成を一通り紹介した上で注目ポイントを挙げていこうと思います。そしてこれまたいつもながらの話ですが、僕自身の知識不足などにより誤読している部分があるかもしれませんので、お気付きの方はどしどしご指摘くださいm(_ _)m

Undersampling + baggingで不均衡データに対処した際の予測確率のバイアスを補正して、その結果を可視化してみる

この記事は以下の検証記事の続きです。

先日、Twitterでこんなお話を見かけました。

分類問題で不均衡データを扱う際、ダウンサンプリングして学習すると予測確率にバイアスが生じるので、calibrationしようという話を書きましたhttps://t.co/qujK29crNY

— 岸本ばなな (@unpuy_tw) July 22, 2019

その記事がこちらです。

そう言えば、上記の検証記事の中でもコメントしたのですが「undersampling + baggingで不均衡データを補正するとfalse positiveは物凄く多くなる」んですよね。これは僕も結構気になっていて、もう少し巧みに正例の領域にだけ限局して決定境界を引けないものか？と思っていました。この方法を使えばそれが実現できるのかどうか、実際に試してみようと思います。

なお、前回の記事同様面倒なのでRでランダムフォレストのみ、baggingも100に固定します。またRスクリプト自体も対して汎用性高く書いていませんので、お手元でより汎用的に書きたいという方は適宜ご自身でパラメータのところは調整してください。

『仕事の説明書』はこれから仕事で独り立ちしたい若い人たちにこそ読んで欲しい「仕事というゲームの攻略本」

以前SQL黒魔術本をご恵贈いただいた旧友の田宮さんから、ちょっと異色な本をご恵贈いただきました。その名も『仕事の説明書』。副題に「あたなは今どんなゲームをしているのか？」とあるように、世の中の仕事をある種の「ゲーム」とみなして、これをどう攻略していくか？と説く意欲作です。元々彼とは前々職時代にアナリストとして一緒に働いたこともあるのですが、本書の中にもデータを分析していかにアクションに繋げるかという話題がふんだんに含まれています。

仕事の説明書〜あなたは今どんなゲームをしているのか〜

実は、こちらの一冊に関してはまだゲラの段階で田宮さんから「こんな本を出してみようと思っている」という相談を直に受けたことがあり、そのご縁で今回ご恵贈いただいたという経緯があったりします。というCOIを皆さんにご理解いただいた上で、相応の贔屓目もあるかもしれませんが簡単に書評をさせていただこうかと思います。なおKindle Unlimitedでも読める模様です。