「最後の統計学界の大御所」の一人で、2013年に亡くなったGeorge E. P. Box*1が残した格言 "All models are wrong; but some are useful"（全てのモデルは間違っている、だが中には役立つものもある）ですが、このブログでは過去に何度も紹介しているのでお馴染みという方も多いかと思います。
実際、5年前にもBoxの格言については独立した記事として取り上げており、ちょっとしたシミュレーションと共に「厳密ではないが有用なモデル」の話題を展開しています。ただ、今回の記事で僕が改めてBoxの格言を取り上げようと思った背景はまた別にあります。それが、広告マーケティング業界で最近ルネサンス的な脚光を浴びているMMM (Media/Marketing Mix Models)の扱われ方という問題です。
MMMというと経営学のマーケティングの教科書にも載っているくらい古くからありふれたマーケティング分析のアプローチの一つですが、いわゆる需要予測モデルなどと同列の位置付けにあるせいか、僕個人の広告マーケティング業界における観測範囲では「悉皆的にこの地上の森羅万象を網羅した完璧なモデルたらしめたい」という願望のもとに使われがちなようです。実際にそのような「完璧さ」を目指したMMM手法の提案は古来から数多あり、特に近年のエコノメトリックマーケティング分析への回帰傾向*2の中ではその動きはますます強まるばかりのように見えます。
しかし、MMMといえども基本的には単なる統計的学習モデルであり、その本質はBoxの格言で喝破された通りのものでしかないと僕は思うのです。そこで今回の記事では、特にMMMという分析手法にフォーカスしながら改めてBoxの格言が何故当てはまるかという理由を紐解き、その上で我々広告マーケティング業界の人間としてはどうすべきかを考察してみようと思います。なおいつもながらですが、記事中に誤りや理解不足の点などがあればご指摘くだされば幸いです。
「全てのモデルは間違っている」
以前の記事でも取り上げましたが、Boxの格言の初出は1978年の論文だとされています。以下にその重要な箇所を引用すると、
Now it would be very remarkable if any system existing in the real world could be exactly represented by any simple model. However, cunningly chosen parsimonious models often do provide remarkably useful approximations. For example, the law PV = nRT relating pressure P, volume V and temperature T of an "ideal" gas via a constant R is not exactly true for any real gas, but it frequently provides a useful approximation and furthermore its structure is informative since it springs from a physical view of the behavior of gas molecules. For such a model there is no need to ask the question "Is the model true?". If "truth" is to be the "whole truth" the answer must be "No". The only question of interest is "Is the model illuminating and useful?".
（さて、どんな現実世界に存在するシステムであれ単純なモデルで正確に表現できるならば、それは非常に注目に値する。しかしながら、巧妙に選ばれた倹約的なモデルは、非常に有用な近似値を提供することが往々にしてある。たとえば、定数 R を介して「理想的な」気体の圧力 P、体積 V、温度 T を関連付ける法則 PV = nRT は、実際の気体には正確には当てはまらないが、有用な近似が得られることが多く、しかもそれは気体分子の振る舞いの物理的な観点からもたされており、そのモデル構造は分かりやすい。このようなモデルに対して「そのモデルは正しいのか（真実なのか）？」という質問をする必要はない。仮に 「真実」が「完全な真実」であるならば、答えは「否」でなければならない。ここにおいて唯一の関心ある質問は、「そのモデルは分かりやすく、尚且つ役に立つか？」ということである。）
と言っています。ここでBoxは理想気体の状態方程式というありふれた例を挙げて、
- 有用なモデルは、厳密に正しい必要はないし、そもそも厳密に真のモデルなどあり得ない
- 有用なモデルとは、有用な近似値を返し、直感的に解釈しやすいものである
と指摘しているんですね。これは非常に分かりやすい例ですし、実際に高校や大学教養課程などで理想気体の状態方程式を確かめる実験をやったことのある人なら尚更実感できる話ではないかと思います。
ところが、広告マーケティング業界におけるMMMの文脈ではとかく「正しいモデル」だの「精緻なモデル」だのといった文言が飛び交い、どういうわけか「精緻なMMM無くして精緻な広告マーケティング戦略の意思決定はあり得ない」というような過激な主張までもが平然と開陳されていたりするんですね。一応僕も業界人の端くれなので、そう主張したい人の気持ちは分からなくもありません。何千万円、何億円という巨額の広告マーケティング予算を「間違いなく」適切な施策に振り分けることは至難の業であり、なればこそその意思決定に使われるMMMは可能な限り正確でこの社会の真実を表すモデルであって欲しい、という願いは理解できます。
しかしながら、過去に様々なマーケティングサイエンス研究で指摘されているように、全てのマーケティング分析においてバイアスのない分析結果などというものは、事実上あり得ません。MMMについても、常識的なサンプルサイズであれば不偏推定量は得られないという指摘も繰り返しなされています。
特にMMMのような「実社会に対して広告マーケティングによる影響を与え、返ってきた反応をretrospectiveにモデリングする」タイプの分析で一番問題になるのが、統計的因果推論そして欠落変数バイアスです。
欠落変数バイアスについてはRユーザー界隈では著名な矢内さんが公開されている資料が最も分かりやすいかと思います。要は、広告メディアなどMMMを回す側から簡単に観測される変数の裏側に、仮に観測されていない（もしくは認識されていない）交絡因子が潜んでいて、それがMMMに説明変数として加えられていない場合は、大きなバイアスを生じさせてしまうという問題です。実際にリンク先の矢内さんのRによるシミュレーション例を見ると、欠落変数バイアスによって回帰係数が誤って2倍以上にインフレしてしまう現象が起きています。
MMMは一般には個々の広告メディアのROI（費用対効果：即ち回帰係数もしくはそれに準じる推定値）を求めるものですが、それが欠落変数バイアスによって2倍以上のずれが生じてしまったら、とんでもない一大事になりかねません。当然ながら、そのバイアスを受けたROIの組み合わせに基づいて予算配分など行おうものなら、本来そこまで効果がないはずのメディアに莫大な予算が投じられたり、逆にもっと効果があったはずのメディアの予算が削られたりすることになり、深刻な広告マーケティング戦略の失敗に繋がることが危惧されます。
一方で、MMMという「実社会からのレスポンス全体をまるっと相手にする」モデルにおいては、事業を展開する側からも分析する側からも観測されないような、隠れた交絡因子が往々にして紛れ込みがちです。最も壮大にして厄介なものを挙げるならば「ブランド認知」がまさにそうでしょう。口コミなどによって増加するSNSシェアや検索行動などもありがちです。勿論、広告メディア同士の相乗効果もあります（TVCM→動画サービスもしくはTVCM→検索など）。また最近マーケティングサイエンス界隈で指摘されているのを見かけましたが、「マーケティング施策を打ったら売り上げが上がったのでさらに施策を強化する」ことによって起きがちな内生性の問題もあります。この場合はそもそものMMMのモデル自体の識別可能性に影響が出てしまいます。
この図は過去にも因果フェスなどで大変お世話になった林さんの資料*3からの引用ですが、そういった「実社会の中に埋もれて見えない因果構造があったとしても何とかする」アプローチが例えばPearl流の因果推論にはあったりします。ある程度以上この辺の因果推論的問題を意識していれば、上記のような問題を緩和することは可能でしょう。
にもかかわらず、少なくとも僕が業界の中で観察している範囲では、多くのMMM関係者が「どのような数理的なモデル構造が正しいか」「どのようなモデルパラメータ推定方法が良いか」といったモデルそのものに関わるトピックスに拘泥しており、肝心の「MMMに紛れ込みがちな解決困難なバイアスをどう補正し、どのようにして有用な知見を得るか」に腐心している人は少ないように見えます。残念ながら。
なお余談ながら、MMMを万能モデルとみなす界隈においては「それぞれの広告マーケティング施策の絶対不変のROI」*4を追求する動きもあるようですが、こちらについても個人的には非現実的だと思います。理由は簡単で、目的変数を何にするかによっても変わりますし、どの業界・分野を選ぶかによっても変わりますし、社会全体の景況やその時々の社会における流行り廃りといった要因によっても変わってしまうというのがROIというものです。言い換えると、社会全体の共変量シフトに左右されやすいのがMMMという代物なので、ごく一部の短期間にまとめて集中的にメタアナリシスとして実施するもの以外では、MMMで普遍的なROIを得ようとするのは不可能だと考えます。
「だが中には役立つものもある」ようにするには何をすべきか
既に述べたように、基本的には実社会からのレスポンスを対象に推定するMMMは事実上バイアスから逃れることはできない、と思った方が良いと僕は考えています。近年様々なバイアス補正のアプローチが提案されていますが、観測されない交絡因子によるバイアスまでをも完全に補正できるかというと個人的には疑問です。
故にこれはあくまでも妥協案なのですが、MMM単体で結論を出そうとするのではなく、MMMをあくまでも前段とみなし、その上で交差検証としてのA/Bテスト（マーケティング実験）を行うことでより確かな知見を得るべきだ、というのが僕の提案です。重要なことはここで積極的な介入実験を行うことで、各種広告マーケティング施策のROIをダイレクトに求められるということ。これにより、MMMで得られた「傾向」をもっと具体的な「数値」として捉えることができるようになるはずです。
しかしながら、それ以上に重要なのはMMMを「あくまでも前段とみなす」即ち数値的な厳密さではなく大まかな傾向を掴むためのものだと捉える、ということなのではないでしょうか。これはMMMを万能モデルとして扱いたい界隈からは煙たがられる意見かもしれませんが、これまでに見てきたようにMMMには数多くの補正困難なバイアスがつきまとうため、どうしても「厳密な真実」を得ようとするのは無理があります。けれども、有用な近似値を包括的に得ることはできるというのがMMMであり、その近似値の傾向をA/Bテストでダメ押しして検証すれば良いというわけです。これこそが、Boxの格言のMMMに対する適切な当てはめ方であろうと考える次第です。
なお広告マーケティング戦略立案という軸から見ると、MMMについては先述したような「絶対不変の真実」が得られるなどという幻想は捨て去るべきで、その代わり「ある検証期間中におけるMMM＋A/Bテスト」という組み合わせの1セットを通じて「ある一定期間内のスナップショット」が得られる、という受け取り方をするのが妥当なのかなと思います。
そこで得られた「ある一定期間内のデータに基づく広告マーケティング戦略の改善」案を、その後また一定期間にわたって実際に行ってみて、データが貯まったところでまたMMMを回し、そこで得られた傾向に基づいてA/Bテストを実施し、そこで出た結論に基づいて改善した戦略を実行し……というサイクルを回すことこそが、本来MMMのような包括的なマーケティング分析手法の適切な使い方であろうと、僕は思うのです。
*1:Box-Cox変換考案の際の逸話で有名
*2:生活者ターゲティングの時代は終わり、エコノメトリクスによるマーケティングが台頭する - 渋谷駅前で働くデータサイエンティストのブログ
*3:“因果推論駅”の奥の方を探訪しながら考える：われわれの諸研究は内的に/外的にどのような繋がりを持っているのか - Speaker Deck
*4:即ち「TVCM◯万円＝売り上げ×万円」という普遍的法則があったら良いなという動き
