渋谷駅前で働くデータサイエンティストのブログ

元祖「六本木で働くデータサイエンティスト」です / 道玄坂→銀座→東京→六本木→渋谷駅前

NN時代のモダンな不均衡データ補正:undersamplingしたデータから得られたモデルを全データでfine-tuningする(論文紹介・ただし再現に失敗)

何だか不均衡データ補正の話題は毎回tmaeharaさんからネタを頂戴している気がしますが(笑)、今回も興味深いネタを拝見したので試してみようと思います。深層学習時代の class imbalance 対応が面白い。適当にバランシングしたデータセットで十分学習した後…

企業で働くデータサイエンティストになって10年が経ちました

TL;DR 10年前の落ちこぼれポスドクが今は立派なデータサイエンティストになれたっぽいので、ポエムを書きました。業界事情の振り返りと、仕事の話、知名度が上がることの良し悪し、キャリアの話などを綴っています。 時が経つのは早いもので、落ちこぼれポス…

私論:メトリクスで評価される研究をむしろ「質的」に評価してみてはどうか

(Image by Arek Socha from Pixabay)江添さんがこんな記事を書かれていました。個人的な感想ですが、面白い観点だなと思った次第です。この記事では、江添さんが取り上げた論文についての直接の議論はあえて避けます*1。が、江添さんが提起した問題をより一…

備忘録:R版Kerasで自前のモデルをfine-tuningする方法

この記事は、別にちょっとした理由があってR版Kerasで自前のDNNモデルをfine-tuningしたいと思ったので、調べて得られた知識をただまとめただけの備忘録です。既にやり方をご存知の方や、興味がないという方はお読みにならなくても大丈夫です。ただし「この…

SVMは復権し得るか?

Kaggleはすっかりただの野次馬の一人になって久しいんですが、しばらく前に行われたPetFinder.my - Pawpularity Contestというコンペで優勝者がSVR(サポートベクター回帰)を使ったことが話題になっていたというのを聞いて、NN全盛のこのご時世に意外だなと…

深部静脈血栓症(DVT)に罹りました

(Image by MasterTux from Pixabay)あまりこういう私事はブログでは書いてこなかったのですが、今後の備忘録も兼ねて記事として書き留めておこうと思います。Twitterなどでは既に書いている話ですが、タイミング悪く実家の親父が危篤になった時期に並行して…

依然として高まり続ける「データサイエンティスト」への関心と、それを追う「データエンジニア」と

今回の記事はいつものようにネタが見つからなくて困ったので窮余の一策としての与太話です。話題はこのブログで時々やっている「データサイエンティスト&関連職に関するGoogle Trendsを用いた意識調査」です。 ちなみに、某協会が学生向けのアンケートで意…

分析結果が有意にならなくて困っている人々のためのハウツー本を書きました

近年様々な議論もあるようですが、依然として「統計的仮説検定」を初めとする統計分析においては「p そこで、そんな人々のためになるようなハウツー本的な書籍をこの度上梓しました。題して『今日からはじめる達人p値ハッキング』ということで、p-hacking及…

『計量経済学』(末石本)はエコノメトリクスのエッセンスを「オールインクルーシブ」で簡潔にまとめた必読の一冊

計量経済学 ミクロデータ分析へのいざない作者:末石 直也日本評論社Amazonデータ分析業界の友人から「読んでみたら物凄く良かった」と勧められて買ったのが、こちらの一冊。同名の書籍は沢山あるので、ここでは著者の末石先生のお名前を取って「末石本」と呼…

蔓延防止等重点措置(まん防)の効果検証を「あえて」DID+TSclustによる時系列クラスタリング+CausalImpactでやってみた

少し前の話ですが、現在COVID-19の感染が拡大している地域で実施される「蔓延防止等重点措置(まん防)」に効果があったかどうかについて、計量経済学的な観点に基づいた政策評価レポートが公開されて話題になっていました。 追記本日午前中に元のレポート自…

データサイエンティスト(及び他のデータ関連職)のスキル要件(2022年版)

(Image by mohamed_hassan from Pixabay)この記事は毎年恒例のスキル要件記事の2022年版です。昨年版は以下のリンクからご覧ください。最初に正直に書いておくと、スキル要件自体は昨年版までとほぼ一緒で、大きなアップデートはありません。今回はまず最初…

2022年版:実務の現場で働くデータサイエンティスト向け推薦書籍リスト(初級5冊+中級8冊+テーマ別14冊)

(Image by ElasticComputeFarm from Pixabay)今年も恒例の推薦書籍リストの季節がやって参りました。……なのですが、相変わらず続くCOVID-19の影響*1でデータ分析業界及び隣接分野の新刊書を読む機会が減ったままにつき、例年とほぼ同じラインナップになって…

羅生門効果:マーケティングモデルを蝕む本質的な「曖昧さ」

前回の記事でも触れましたが、ここ最近いわゆる需要予測系のマーケティングモデル(特にMedia Mix Modeling: MMM)を手掛けることが増えています。この手の統計モデルは経済学で言うところの「実証分析」に当たると思われ、一般には「予測」よりも「説明」に…

生活者ターゲティングの時代は終わり、エコノメトリクスによるマーケティングが台頭する

(Image by Mediamodifier from Pixabay)実はもう1年以上前のことなのですが、LinkedInで以下の記事を見かけて「おー、ようやくこういう意見が公の場に出てくるようになったんだな」と思ったのでした。原文は英語ですが、短い文章なので英語が不得手な方でも…

犬は狼にはなれないが、狼は犬にもなれる

(Image by qimono from Pixabay)年月が過ぎるのは早いもので、2021年もあっという間にわずかな日数を残すのみとなってしまいました。ということで、恒例の1年の振り返りとともにちょっとした年末の気付きをポエムにまとめてみようと思います。

『ディープラーニング 学習する機械』は一人称で語られる壮大な物語にして、「AIの過去・現在・未来」の解説書

ディープラーニング 学習する機械 ヤン・ルカン、人工知能を語る (KS科学一般書)作者:ヤン・ルカン講談社Amazon11月に入って勤務先のオフィスが本格的に再開されてから、久しぶりに会社のメールルームを覗きに行ったところ、届いていた(つまりご恵贈いた…

「実務者としてのデータサイエンティスト」になるということ

(Image by katielwhite91 from Pixabay)先日のことですが、大変に面白い記事を読みました。この記事では「データサイエンティスト職のインターンに応募してくる若いエンジニアや学生向け」の話題として語られていますが、全体として読むとそもそも論としての…

『「誤差」「大間違い」「ウソ」を見分ける統計学』は既に統計学を学んだ人がさらなる理解の深みと多様さを求めて読むべき「副読本」

「誤差」「大間違い」「ウソ」を見分ける統計学作者:デイヴィッド・サルツブルグ共立出版Amazonしばらく前に共立出版様からご恵贈いただいたのがこちらの『「誤差」「大間違い」「ウソ」を見分ける統計学』。お気付きの方もいらっしゃるかもしれませんが、原…

VIF (Variance Inflation Factor)を計算する関数を書いてみた(備忘録)

多重共線性(multicolinearity)の代表的指標として頻繁に用いられるVIF (Variance Inflation Factor)というと、Rでは普通に{car}とか{usdm}とかのパッケージに実装された関数があるのでそれらを利用すれば良いのですが、ちょっと訳あって自分で実装してみるこ…

何故「データ『サイエンティスト』」と呼ばれるのか?という問いへの端的な答え

第一次データサイエンティスト・ブームから8年以上が経つわけですが、結構不思議なのが今でも「何故データ『サイエンティスト』という名前なのか?彼らは研究者ではないのだからおかしい」という議論が定期的に沸き起こる点です。 その理由は色々ありそうで…

「あえて精度勝負をしない機械学習」という選択肢

少し前のことですが、こんな話題がありました。自分がこれまで現職で手がけた機械学習ソリューションでは1. そもそも「予測」ではなく「説明(解釈)」をアウトプットにする2. クラス分類確率の高いものだけアウトプットし、低いものは「未定」扱いにして捨…

シンプソンのパラドックスのはなし

今月はモデルナワクチンの2回目接種*1やら仕事でも負荷の高い分析業務やら、はたまた執筆*2やらでネタ切れなのもあってあまりブログ記事を書けていなかったので、最近話題になった件について簡単に論じてみようかと思います。元ネタはこちらです。 これはイ…

戦力になるレベルのデータサイエンティストを育成することの難しさ

(Image by Pexels from Pixabay)僕自身がデータサイエンティストという肩書きを与えられて働くようになった9年前から、一貫して問題意識を持ち続けてきたのが「データサイエンティストをどう育成すべきか」についてでした。その後、この9年の間に質の良し悪…

95%信頼区間の「95%」の意味

ふと思い立ってこんなアンケートを取ってみたのでした。頻度主義統計学における「95%信頼区間」の95%というのは、以下のどちらだと思いますか— TJO (@TJO_datasci) 2021年7月16日 結果は物の見事に真っ二つで、95%信頼区間の「95%」を「確率」だと認識してい…

温故知新:古典的名著『回帰分析』(佐和隆光)を読む

回帰分析(新装版) (統計ライブラリー)作者:隆光, 佐和朝倉書店Amazonタイトルに「古典的名著」とうたっておきながら、実は米倉さんのツイートで紹介されるまで浅学にして全然存じ上げなかったんですが、いざ読んでみたらあまりにも素晴らしい内容だったので…

データドリブンの「文化」を組織に定着させる方法とは

(Image by Gerd Altmann from Pixabay)ハーバード・ビジネス・レビュー本誌に昨年3月に掲載された大御所ダベンポートの記事が、昨年末に日本語版の方に翻訳されて出ていました。今年初めに目は通していたのですが、ちょうどネタ切れで記事に困っていたので昨…

非劣性検定(等価検定)をRで試してみる

この記事は、以前『統計学のセンス』を読んだ時から気になっていたことを思い出したので、単にRで試してみたという備忘録です。非劣性検定(等価検定)の話題は、本書の最後にある8.3節「非劣性の検証とは?」であくまでも付録扱いとして登場します。ここで…

『マスターアルゴリズム』は全ての人々を機械学習(人工知能)の世界へといざなう「冒険物語」

しましま先生(@shima__shima)こと神嶌敏弘先生から、訳書『マスターアルゴリズム』をご恵贈いただきました。マスターアルゴリズム 世界を再構築する「究極の機械学習」作者:ペドロ・ドミンゴス講談社Amazon本書はビル・ゲイツが「AIを知るための本」と絶賛し…

何故データサイエンティストになりたかったら、きちんと体系立てて学ばなければならないのか

先日、Quora日本語版でこんなやり取りがありました。基本的にはここで述べた通りの話なのですが、折角なのでブログの方でも記事としてちょっとまとめておこうと思います。題して「何故データサイエンティストになりたかったら、きちんと体系立てて学ばなけれ…

RでK-meansの最適なクラスタ数をAIC / BICに基づいて求める

これはただの備忘録です。既知の話題ばかりが並べられているので、特に新鮮味のない内容である点予めご容赦ください。クラスタリング手法として広く知られるK-meansは、その簡便さから非常に広汎に使われていますが、一方で「クラスタ数を恣意的に決め打ちせ…