渋谷駅前で働くデータサイエンティストのブログ

元祖「六本木で働くデータサイエンティスト」です / 道玄坂→銀座→東京→六本木→渋谷駅前

『効果検証入門』はマーケティング実験&分析に関わる全ての人にお薦めの統計的因果推論の入門書

このブログを普段からお読みになっている皆さんはご存知かと思いますが、僕は割と口を酸っぱくして「マーケティングに携わるならきちんと実験して効果検証せよ、その介入がピュアな施策だろうと機械学習システムによるものだろうと変わらない」ということを折々に触れ言い続けています。


一方で、その効果検証の方法については純粋なRCT(ランダム化比較対照試験)でない限りは往々にして統計的因果推論が必要とされることが多く、その辺のマーケティングの現場で行われている「実験」と称するものを見ていると「それどう見ても交絡まみれやん」と言いたくなるケースが珍しくない、というのが現状のように見受けられます。しかし実務を意識した統計的因果推論の解説書はほぼ皆無に近い状態で、今年の恒例推薦書籍リスト記事を書きながら「相変わらず良い本がないなぁ」と思っていたのでした。


効果検証入門〜正しい比較のための因果推論/計量経済学の基礎

効果検証入門〜正しい比較のための因果推論/計量経済学の基礎

ところが、前々職時代の後輩の安井君が株式会社ホクソエムと組んで素晴らしい本を上梓したと知って「これは逃せない」と慌てて購入。読んでみたら実際に期待に違わず素晴らしい内容だったので、推薦書籍リスト記事を出す前にサクッとレビューしてみようと思います。ちなみに、同時にうちのチームの若い人たちにも読むよう薦めたので、少しは売り上げに貢献したかもしれません(笑)。

本書の内容


いつもながらですが、まずは大まかな本書の内容全体を概観します。僕個人の理解に基づいて適当にまとめたり端折ったりしている点についてはご容赦くださいということで。本書の雰囲気をご紹介するために、本文から各章を代表すると思われる図を引用して載せてあります。

嘘っぱちの効果とそれを見抜けないデータ分析(※序章)


f:id:TJO:20200120215130p:plain

まず序章ということで、大前提としての「バイアスとは何ぞや」という話題と、それに対抗する方法論としての統計的因果推論そして計量経済学についての概説がなされています。ここで提示されている図0.2の方法論の分岐が分かりやすいなと個人的には思いました。この先の本文で取り上げられている各種因果推論手法は個別に学ぶとなかなか互いの関連性がピンとこないこともあったりしますが、このようにフローチャート的なツリーで関係性をまとめると良く分かるように感じられます。

1章 セレクションバイアスとRCT


f:id:TJO:20200121000944p:plain

ここから本編です。まずセレクションバイアスの概念についての説明から入り、そこから理想論としての「そもそもセレクションバイアスによる影響を排するために介入を無作為化した実験」即ちRCTの説明へと入っていきます。正直言って、現実の世界で医学疫学における治験などを除いて本物のRCTを実践できる機会は限られるので*1、ここではあくまでも先述のように「理想論として」知っておくに留めても良いのかなとは思いました。ちなみにこの章で因果推論における効果の大きさの指標としてよく用いられるATE(Average Treatment Effect: 平均処置効果)の概念の説明や、t検定を例として統計的仮説検定の解説もなされています。


また、この章からRコードによる実践例が付されています。ここではMineThatDataというブログで紹介されているRCTのオープンデータを用いて、一連の介入効果の検証手順をなぞっています。

2章 介入効果を測るための回帰分析


f:id:TJO:20200121001158p:plain

段々と因果推論の領域へと入っていきます。まず介入効果のreasoningとしての回帰分析による係数の算出の話題から入り、その後脱落変数バイアス(OVB)を経て交絡因子の概念、そしてCIA (Conditional Independece Assumption)以下の因果推論に直結する概念の説明が続くという内容です。個人的にはここでバックドア基準とか入ってくるのかな?と思ったんですが、そうでもなかったようです(単なる個人的な関心です)。

3章 傾向スコアを用いた分析


f:id:TJO:20200121001259p:plain

いよいよ因果推論の本丸に入ってきます。この章ではRubin流因果推論の根幹とも言える傾向スコアとその推定法及び適用法についてRコードを交えながら実践的に学んでいきます。ATE / ATT (Average Treatment effect on Treated)といった因果効果の概念、また因果効果推定の方法論としてのIPW(逆確率重み付き推定)についてもサンプルデータをもとに説明がなされています。

4章 差分の差分法(DID)とCausalImpact


f:id:TJO:20200120190845p:plain

個人的に一押ししたいのがこの章。時系列に沿った適切な実験計画により因果関係を正しく推定するDIDと、これに時系列モデリングを活用した反実仮想(counterfactual)予測を軸に据えたCausalImpactとを挙げ、両者の関連性及び後者の実践例を取り上げています。


ただ流石は本書で、単にCausalImpactの有用さを紹介するだけでなく、これが使えないシチュエーションについてもサブセクションを割いて紹介しています。Activity Biasと呼ばれる「複数の介入を同じタイミングで行ってしまうことで個々の介入単一の効果を推定できない」ことによるバイアスで、これはそもそもの実験計画上の問題として留意されるべきものだと僕も思いました。

5章 回帰不連続デザイン(RDD


f:id:TJO:20200121001406p:plain

実は僕自身が最も注目したのがこの章。回帰不連続デザインは数多の計量経済学の書籍で必ず取り上げられる因果推論手法の一つなのですが、意外とRなどのコーディングによる実践例が紹介されることは殆どないのです。DID & CausalImpactとは異なり、時系列の形で因果関係を定義できないクロスセクションデータに対して因果推論を行う際に有用なのが回帰不連続デザインです。


f:id:TJO:20200124164204p:plain
こちらのRコードを試すだけで、過去の様々な計量経済学や因果推論の書籍に載っていた、あのノンパラメトリック回帰不連続デザインの結果プロットを表示させることが出来ます。これが個人的には本書の中で一番嬉しかったポイントの一つです。


個人的に注目したポイント


各々の章についての寸評は大体書いてしまいましたので、本書全体を通じて僕が個人的に注目したポイントを以下に挙げておきます。なお以下のポイントを買ったからこそ、うちのチームの若い人たちに是非読むよう薦めたという側面もあったりします。

そもそも論としての実験計画法についてきちんと触れられている


RCTにせよDIDにせよ、分析手法もさることながら最重要なのはその実験デザイン(実験計画)です。ここが疎かだとそもそも統計的因果推論に基づく分析そのものが成り立ちません。


本書ではその「そもそも論」に当たる実験計画のところから、丁寧に解説しています。ぶっちゃけ、コードが苦手で各章の後半の実践部分は分からないという人であっても、それぞれの前半の実験計画のところだけでも読む価値があると思います。

コーディング(Rによる)例を豊富に付した統計的因果推論の専門書は稀有


上記リンク先の通り、本書で用いられたRコードは全てGitHubに上がっていて誰でも気軽に試すことが出来ます。これ、実は今までの統計的因果推論に関する書籍の中では僅かに岩波DS3のみが(しかも一部だけ)やっていて、寡聞にして国内の他書では見たことがありません*2。大半の書籍がそのコンセプトや理論的な側面の解説には熱心なものの、実践方法については殆ど取り上げずじまいというものが多かったという印象です。おかげさまで、例えば回帰不連続デザインは概念は知っていてもこれまで一度も試したことがなかったのでした。


一般に、因果推論のような「様々な準備や計算を順番通りに実行することで結果が得られる」タイプの分析では、完全な形でのコード例があった方が助かると個人的には思っていて、その点では本書はまさにそれを満たす良書だと言えると思います。ちなみに本書は流石ホクソエムプロジェクトでもあるだけに、tidyverseに拠ったモダンなRコードを提供してくれているので、僕のようなtidyverseに疎い老害でも分かりやすく実践することが出来ます(汗)。

CausalImpactについて解説した邦書はおそらくこれが初めて


そしてもう一点。個人的には「介入実験が出来る環境ではDID & CausalImpactが因果効果を測定する上では一番の早道」だと思っているのですが、意外にも邦書でCausalImpactを解説したものってこれまで見たことがなかったのでした。その点で、ようやく人に薦められる良書が出てきたと言って良いと思います。


僕が主戦場とするデジタルマーケティングの世界でも、年々「適切なマーケティング実験を行う必要性」についての意識が高まっているという印象があり、その中にあってDID & CausalImpactというフレームワークは割と気軽に実践できて尚且つ強力な効果検証手段にもなり得るという代物です。にもかかわらず、これまでは日本語のまとまった良い資料がなかったせいで人に教えづらいという側面があったのも事実です。本書の登場で、DID & CausalImpactを「布教」するのがより楽になった気がします。


コメントなど


野心的な本書ですが、一つ気になったのがサンプルデータのバリエーションが過去の資料に比べてあまり豊富でなかった点。そもそも統計的因果推論を使うべき場面というのは多いようで意外と少なく、自ずと該当するオープンデータも少ないため、本書でも例えばLaLondeのような使い古されたデータが登場していたりします*3。この点についてはむしろ因果推論コミュニティ*4の努力に期待したいところです。


一方、これは僕がこのブログでも頻繁にやっている上に自著でもやらかしたことなので他の人のことを言えた義理ではないのですが、ちょっとしたツッコミ的なところを脚注に回すと、Kindle版で読むと毎回章末に飛んでいってしまうので結構読みにくいんですよね(汗)。いや、これは次回僕が何かしら執筆する際に気をつけるべきことなのかもしれませんが。。。


ともあれ、これまで決定版のなかった因果推論の書籍についにエース格が現れたということで、今後は実務の世界にもどんどん因果推論の考え方が広まっていくのかなと期待しております。そして、当然本書は今年の推薦書籍リスト記事にも登場する予定ですので、そちらの方も是非楽しみにお待ちいただければと思います。

*1:ただしcookie splitで事実上の無作為割付を行った上でRCTをやるみたいな方法論はあり得る

*2:もっとも皆無だとも思いませんが

*3:もっともここを突っ込むならIris使っている本にも突っ込むべきかもですが

*4:そんなものがあるのか知りませんが