NN研究における再現性にまつわるエトセトラ

Deep Learning 機械学習再現性問題論文

先日、ふとしたきっかけでしましま先生*1がこちらの論文について触れられているのを見かけたのでした。これは推薦システム分野におけるNN研究の再現性について検証した2019年の論文で、近年のトップ会議*2に採択されたNN手法18個に対して再現を試みたところ…

2023-01-27

K-meansのクラスタ数を決めるのにエルボー法を使うのはやめよう、という論文

機械学習論文

クラスタリングに用いられるK-meansのクラスタ数決定方法については長く議論されてきた歴史があり、このブログでも以前ちょろっと取り上げたことがあります。で、Twitterを眺めていたらタイムラインに面白い論文が流れてきました。それがこちらです。タイト…

2022-06-09

NN時代のモダンな不均衡データ補正：undersamplingしたデータから得られたモデルを全データでfine-tuningする（論文紹介・ただし再現に失敗）

論文機械学習 R DeepLearning実践シリーズ Deep Learning

何だか不均衡データ補正の話題は毎回tmaeharaさんからネタを頂戴している気がしますが（笑）、今回も興味深いネタを拝見したので試してみようと思います。深層学習時代の class imbalance 対応が面白い。適当にバランシングしたデータセットで十分学習した後…

2022-01-25

羅生門効果：マーケティングモデルを蝕む本質的な「曖昧さ」

統計学機械学習論文

前回の記事でも触れましたが、ここ最近いわゆる需要予測系のマーケティングモデル（特にMedia Mix Modeling: MMM）を手掛けることが増えています。この手の統計モデルは経済学で言うところの「実証分析」に当たると思われ、一般には「予測」よりも「説明」に…

2019-12-19

機械学習の説明可能性（解釈性）という迷宮

機械学習雑感論文 Deep Learning

ちょっと前に、しょうもないことを某所で放言したら思いの外拡散されてしまいました。機械学習の説明可能性（解釈性）、大半のケースで求められているのは厳密な分類・回帰根拠ではなく受け手の「納得感」なので、特に実ビジネス上は説明可能性に長けたモデ…

2018-10-23

NNが心理学と生理学から離れていった瞬間：Back propagationに関するNature論文(1986)の意義を考える

論文機械学習 Deep Learning

(Fig. 1 from Rumelhart, Hinton & Williams, Nature, 1986)これはちょっとした小ネタです。僕自身はニューラルネットワーク (Neural Network, NN)の学術的専門家でもなければ況してやNNの研究史家でもないので、たかだか僕自身がかつて脳の研究者だった頃に…

2018-03-23

ニューラルGranger因果という論文が出たらしい（追記あり）

機械学習統計的因果推論時系列分析論文

3年前に因果フェスというイベントでGranger因果について専門家でもないのに講演させられるという稀有な経験をしたわけですが。その時のイベント報告記事で、会場でのディスカッションの内容を踏まえて僕はこんなことを書いたのでした。非線形Granger因果性…

2018-01-04

NIPS2017チュートリアルによるDeep Learningの現状まとめ

機械学習研究論文

Deep Learning_ Practice and Trends - final.pdf - Google ドライブ明けましておめでとうございます、本年もよろしくお願いいたします。新年一発目の記事はただの備忘録です。

2017-05-06

論文メモ：Empirical assessment of published effect sizes and power in the recent cognitive neuroscience and psychology literature (Szucs & Ioannidis, PLoS Biol, 2017)

統計学論文再現性問題

以下のメタアナリシス論文がしばらく前に話題になっていました。このようなメタアナリシスを紐解くことで検定力・効果量がどういうものかという理解も進むのではないかと思われますので、以前の機械学習系論文の輪読まとめと同様に全引用or全訳にならない程…

2015-12-18

"Gradient Boosted Feature Selection" (Xu et al., KDD 2014) メモランダム

機械学習論文

本日の輪読会で僕が担当した論文のメモランダムということで、置いときます。概要 Gradient Boosted Feature Selection (Xu, Huang, Weinberger and Zheng, KDD 2014)タイトルが示すように特徴量選択をやりたいというのが第一のモチベーションで、これをgra…

2015-09-04

"A Safe Screening Rule for Sparse Logistic Regression" (Wang et al., NIPS2014) メモランダム

論文機械学習

今日のうちのチームの輪読会で"A Safe Screening Rule for Sparse Logistic Regression" (Wang et al., NIPS2014)を読んできた*1ので、その時の資料をついでにこちらにもupしておきます。なお、この論文の筆者のGitHubとかに実装上がってないかなーと思って…

2015-04-22

"Online Chinese Restaurant Process" (Liu et al., KDD 2014) メモランダム

機械学習論文カンファレンス

先週のうちのチームの論文輪読会でこの論文を読んだので、その時用いた資料を一部改訂して上げておきます。いつも通り炎上ラーニング大歓迎*1なので、おかしなところがあったらどんどん突っ込んで下さると有難いです。 Online chinese restaurant process - …

2015-01-15

「21世紀の相関」HSICの原論文"Measuring Statistical Dependence with Hilbert-Schmidt Norms" (Gretton et al., Algorithmic Learning Theory, 2005)メモランダム

論文統計学

相変わらずうちのチームでは論文輪読会をやってまして、先日僕が担当したのが「21世紀の相関の本命」HSIC (Hilbert-Schmidt Independence Criteria)の原論文たるこいつ↓でした。 Measuring Statistical Dependence with Hilbert-Schmidt Norms (Gretton et a…