ということで、タイトルの通りで先月の12月第1週～2週にかけて僕はこちらのカンファレンスに参加しておりました。
研究者だった時分に僕が根城にしていたのは実験系主体のSFNだったもので、ぶっちゃけアウェー感満載のカンファレンスだったんですが、それでも乏しい知識をフル動員して色々情報を仕入れてきました。
ちなみに今回は例の教授氏と一緒だったので、新参者としては色々教わりながら発表を聞いてました。やっぱりこういう時に解説してくれる人がそばにいてくれると有難いものですねぇ。。。また今回は会場でお馴染みピー社の@slaさんやhivemallの@myuiさん、Yahoo! Labsの@myamada0さん、そしてその他機械学習まわりの研究開発をされている企業or大学の方々とお会いできて有意義でした。
ということでザッとレビューしていこうかと思ったんですが、全部挙げていくときりがない＆そんな論文を隅々まで読んで理解できるほど前提知識豊富ではないので、数をしぼった上で*1ある程度プレゼンを聞いて＆論文をザッと読んで僕が理解した範囲でのコメントを書いていきます。内容が不正確なのは全て僕の不勉強のせいなので、何卒ご容赦をというかおかしな点があれば是非ご指摘ください。。。
- Scalable Influence Estimation in Continuous-Time Diffusion Networks: 今回個人的に一番面白かったのはこれかなぁと。Oral Session 1より。連続時間拡散ネットワークで疾患やweb上の口コミが広がっていくモデルを立てて、ある時間が経過した後にどれくらい個数のノードが影響を受けたことになり、また個々のノードがどれくらいその「拡散」に寄与しているか？を推定するアルゴリズムを提案してます。要は多ノードに対して同時に隣接ノード計算でやっていくんですが、ここにNP困難な最適化問題が入るのでこれを色々拘束条件をつけて解けるようにしたという話をトークでは強調していました。
- Optimizing Instructional Policies: Oral Session 5より。心理実験での刺激教示をベイジアンで最適化しましょうというお話。
- A Kernel Test for Three-Variable Interactions: Oral Session 6より。みんな大好き再生核ヒルベルト空間にぶち込んで、非線形相関の一環として3変数間の交互作用を定量化しましょうというお話。HSICを連想させる流れですが、ここではV-structureという3変数間のグラフィカルモデルを想定しています。
- Latent Structured Active Learning: Poster Session (Thu)より。そもそも教師あり学習の学習データが莫大だった場合にラベルを全部つけていくこと自体がとてつもなく手間なので、これを10%以下の少量の学習データに対してだけラベル付けすれば十分な分類精度が出せるようにしたというactive learningネタ。エントロピーに基づいて？学習データをランダムに選んでいるとか何とか。
- Adaptive Market Making via Online Learning: Poster Session (Sat)より。株式トレードの自動化をspread-based / "regret"-basedのモデルでonline learningさせて、適応的にやってみましょうというお話のようです。この前後のポスターは計量経済学系の研究が多かったですね。
- A simple example of Dirichlet process mixture inconsistency for the number of components: Oral Session 4より。ディリクレ混合過程(DPM)の奇妙な振る舞いについて調べたもの。端的に言えばごくごく小さなクラスタが全体のクラスタリングに悪影響を与えてしまい、DPMの最大の売りである「クラスタ数そのものも推定できる」というそのクラスタ数の推定結果を狂わせてしまうということなんですが、これが系統的に発生するという理論的背景を示しています。
- Understanding Dropout: Oral Session 4より。Deep LearningのDropoutを近似するモデルを考察し、Dropoutそのものに理論的説明を与えようという発表。うちの教授氏のコメントは「L1ノルムによるスパース化とL2ノルムによるパラメータ増大抑制をバランスさせたかのような近似結果」とのことで、今までひたすらheuristicな雰囲気のあったDeep Learningに新たな光を当てることになりそうだね、だそうです。
ところで、このDropoutの発表での質疑の際のやり取りがギャグでした（笑）。
観客1: complementary neural networkでdropoutが上手くいかないんだけど。A: 知らない。観客2は答えた「俺は上手く動いたぞ」
— myui (@myui) 2013, 12月 7ちなみに白状してしまうと、実は僕は識別モデルまわりしか知識がないので、こういうガチなところに来ると役に立たない系だったりするというｗ いやいや、こういうカンファレンスでも使い物になるように、もうちょっと今年も勉強していきます。。。
全体としては、聞いていたよりも企業＆実務まわりのトーク＆オーラルが結構多くて、特に朝一番のトークにビジネスの話が何度も入っていたのが非常に印象的でした。コッテコテの機械学習アルゴリズムのカンファレンスだというイメージにしては、想像以上にビジネスの雰囲気が強くてびっくりしたというのが本音です。
あと、やたらactive learningまわりの話題が多かったのが気になりました（教授はonline learningも多かったねと言ってましたが）。だいぶポスターでも見かけましたが、やっぱりいわゆるビッグデータを扱わなければいけない状況が増えてきている中にあっては、できるだけデータ量に左右されずスケールし得るような学習方式を探っていかなければならないってことなんでしょう。
そして今回のNIPS2013では、僕と教授氏が一足早くLake Tahoeを発った後に開かれたワークショップにサプライズがあったのでした。何と、あのMark ZuckerbergがFacebookの人工知能研究所のキックオフの宣伝と人材募集のために来場してたんですね。
Mark Zuckerberg announcing the new Facebook AI lab at #NIPS2013 pic.twitter.com/jijq4iXJoL
— Reza Zadeh (@Reza_Zadeh) 2013, 12月 9Yoshua Bengio et al at #NIPS2013... pic.twitter.com/4gqLbVuhTq
— Gunnar Rätsch (@gxr) 2013, 12月 9チェッ、こんなんだったらワークショップ登録しときゃ良かったー。というのは嘘ですごめんなさい（笑）*2。やっぱりNIPSは機械学習の研究者をリクルートするにはうってつけの場なんでしょうね。会期中も、あちこちの企業が会場ホテルの最上階のレストランを貸し切ってmorning loungeとかinvited dinnerとかやってるのを何度か見かけましたし、ベイエリアのビッグデータ関連企業の多くが勧誘をやってるのも目の当たりにしました。
そうそう、Amazonのブースには例のドローンが展示されてました。すぐ脇にはドローンに搭載された「玄関（？）画像識別モデル」の説明もあります。こういうPRも優秀な人材を集めるためには必要なんでしょうね。
ということで、多分来年のNIPSには行きません（笑）。願わくば今年のKDD 2014（ニューヨーク！）に行きたいんですが、まぁ今の現場の予算次第ということで。。。
