既に記事タイトルが雄弁に物語っていますが、「マーケティング分野におけるデータ分析でいかにして成果を挙げるか」というのはある意味永遠の課題であると言えると思います。誇張でも何でもなく、この地球上の全てのマーケティングに関わるデータ分析組織ではこの課題について毎日議論を戦わせていると言っても過言ではないでしょう。
より具体的に言えば、「マーケティング戦略立案のためにデータ分析を実施しても改善提案がなかなか事業側から採用してもらえない」「マーケティングデータ分析の結果を事業側としてはどこまで信頼して良いのか分からない」という悩みは、それこそ僕がデータサイエンス業界にやってきた10年以上前からそこかしこで聞かれ続けてきたものです。しかし、個人的にはここ5年くらいである程度そこを突破するためのスキームが整備されてきたという感想を持っています。
特に現在僕が働いているチームでは、ここ4年ほどに渡って「MMMなどの統計分析＋DIDベースのA/Bテスト（＆CausalImpactによる効果検証）」というコンビネーションを実践し続けており、ある程度以上の成果が挙がっているという実感があります。中には公開事例として記事化されているものもあり*1、もしかしたらご存知の方もいらっしゃるかもしれません。
そこで、だいぶ今更という感がある上に手前味噌的な話題ではありますが、今一度改めて「統計分析＋A/Bテスト」のコンビネーションが、いかに現代のマーケティングにおいても有用なアプローチであるかについてちょっとまとめてみようと思います。
大前提としての、「生活者ターゲティング」から「エコノメトリクス」への回帰
この話題は昨年に一度このブログでも論じたことがあります。端的に言えば、GDPRを初めとする世界各国・各地域における個人情報保護法制による規制強化で、いわゆるone-to-one marketingは今後難しくなるものと考えられているという話です。
そこで、古いマスマーケティング全盛の時代に盛んに行われていたエコノメトリクス（計量経済学）ベースの、各種要約統計量に基づいたマーケティング分析への回帰傾向が強まっていると言われており、これは実際に僕自身も広告マーケティング業界の中にあって日に日にその比重が増しているという感想を持っています。
勿論、実際にユーザー行動の1st partyデータを持っている現場では今後もターゲティング系の分析が行われ続けるだろうと考えられますが、上記リンクの過去記事にもあるように「意外とone-to-one marketingで有用なアクチュエータがない」*2という問題があり、業界全体としてはやはりエコノメトリクスベースのマスマーケティングへの回帰が進んでいるように見受けられます。
マーケティング戦略立案のためのMMMなどの統計分析
ではエコノメトリクスベースのマーケティング分析をやるとして、何をどう分析したものでしょうか？ これには色々な戦略や考え方があり得て、全ての現場に普遍共通の方針が立てられるわけではないのですが、ある程度以上の規模のビジネスとデータを扱う現場ではいわゆる需要予測モデル分析を行うことが多いのではないかと思われます。これが広告メディア・マーケティング施策を主たる分析対象となる場合は、一般にMMM (Marketing / Media Mix Models)と呼ばれます。
MMMというと世の中には様々なレベル感のものがあり、中にはExcelで重回帰しているだけとかいう代物もあるようですが、分析の性質上「必ず時系列データを対象とする」ことから一般には回帰つき時系列モデル（動的線形モデル系）を用いることが多いようです。巷には色々な実装があり、以前の記事で紹介したLightweight MMM (LMMM)もその一つです。
いずれのモデルであっても、目指しているのは「マーケティング施策・広告などの効果を定量化すること」であり、特に具体的な費用対効果(ROI / ROAS)を算出して、例えば施策A, B, C...とで比較して「どの施策がより効果的か」を決めるというのは良くあるやり方です。時には、それらの費用対効果の値をズラリと並べて数理最適化手法を用いて、リソース配分を最適化するというアプローチも取られたりします。ともあれ、これらMMMなどの統計分析によって「次のマーケティング戦略の立案」がなされるわけです。即ち「施策Aは予算を増やす / 施策Bは減らす」というような戦略ですね。
交差検証としての介入実験
ところが、世の中の多くの現場ではMMMなどの統計分析結果に基づく「次のマーケティング戦略案」がすんなりとステークホルダーに受け入れられることはない、というように見受けられます。その際の決まり文句が「過去データだけ見ていても未来のことは分からない」だというのは良くある話だと思われます。
そこでお薦めしたいのが、一定の単位に区切った地域ごとに広告やマーケティング施策のON/OFFを切り替えるA/Bテスト、いわゆる「地域テスト」の実施です。これによって統計分析結果から予想される「効果的な施策」が実際に効果をもたらし得るかどうかを検証することができます。先述したようにマーケティングデータは時系列データであることが多く、特にseasonalityに由来するバイアスに左右されやすいので、DID（差分の差分法）による実験計画に拠ることを僕は推奨しています。その実験データ分析はCausalImpactで行う、という流れです。
また、ユーザーレベルではなく地域レベルでA/B群に割り振ることで、個々のユーザーの情報やデータを得る必要もないですし、個人情報保護という点からも理にかなっています。
と言うと「何故MMMを回した後にわざわざ追加でA/Bテストをするのか」と訝る声が挙がることが少なくないのですが、これは機械学習における「交差検証」と同じ考え方だと思ってもらえれば良いと考えています。即ち、漫然と過去データに対するMMMなどの統計分析だけ行なっていても、もしかしたら過学習しているかもしれないわけです*3。それを危惧してこそ上述の「過去データだけ見ていても未来のことは分からない」という決まり文句が出てくるわけで、ならば交差検証することでダメ押ししようというのは自然な考え方だと思います。
その交差検証を「既にあるデータをsplitする」か「新たにデータを取得して適用してみる」かのどちらで行うかという点が異なるだけであることを鑑みれば、「事後にA/Bテストを行ってトドメを刺す」というのは十分過ぎるぐらい理想的な姿ではないでしょうか。
実験は「努力を積み重ねて出来るようにしておく」べきもの
一方で「とてもじゃないが介入実験なんか出来るわけがない、機会損失が大きかったら怖いし、お客さんからサービスに差があったとクレームを入れられても困るし、そんなことはやりたくない」という声が、特にビジネス側から挙がることは世の中非常に多いようです。確かに、直前のMMMで効果が高いと判明した施策であるにもかかわらず、A/Bテストのコントロールグループでは「あえて打たない」ことになるわけで、それはコントロールグループの規模次第では結構な機会損失になり得ます。
しかし、世の中には「リアル店舗A/Bテスト」を日常的に敢行して大きなマーケティング成果を挙げている企業があります。それが、「すごいデータ活用」で名高いワークマン社です。
この「リアル店舗A/Bテスト」という取り組みには、「より効率的な経営のためには一時の機会損失も辞さない」という経営陣の覚悟もあるのでしょうが、それ以上に優れていると思われるのが「全取引データが電子化済みである」点でしょう。売り上げデータはPOSで当然管理できるわけですが、仕入れに関してもかなり早い時期から電子化されていたというのは驚異的です。
全てがデジタル化されているからこそ、リアル店舗A/Bテストを敢行しても直ちに実験データが収集＆集約され、お馴染みの「社員全員Excel経営」のもと細かな分析が行われた上で早急に経営陣の手に委ねられる、というわけです。その果断さとスピード感たるや、まさに「ワークマンのすごいデータ活用」と言って良いかと思います。
その意味では、常日頃から「いつでも新たにA/Bテストが出来るようにマーケティング体制を整備しておく」ことも極めて重要だと考える次第です。それは経営陣や現場の実験に臨む姿勢に限らず、それを可能にするデータ収集・集約基盤を持つということにも及ぶというのは上記で見てきた通りです。
最後に
……ということで、特にデジタルマーケティング界隈では釈迦に説法もいいというレベルの議論をしてきたわけですが、世の中を見渡す限りでは「MMMなどの統計分析＋A/Bテスト」を実行するだけでも意外とままならないんですよね。それは本質的には「普段から効果検証を行うつもりがあるかどうか」という一点に尽きるかと思うのです。
例えば、MMMなどの時系列データに対する回帰分析だと「ある程度広告やマーケティング施策などのタイミングがばらけている」（多重共線性が低い状態になっている）ことが求められるわけですが、上記の過去記事でも引き合いに出したように「全ての施策が一斉に打たれて一斉に終わる」完全タイミング連動的なキャンペーンを漫然と打っている現場は少なくないようです。これでは当然ですが分析なんかやりようがありません。故に、普段からある程度意図的に広告やマーケティング施策の強弱の時系列はばらけさせておく必要があります。
また、A/Bテストに関しても何かしらのキャンペーンを実施する際に合わせて行おうとすると「大事な〇〇商品のキャンペーンなのだから機会損失になるような行為はまかりならん」ということで、最悪の場合既にA/Bテストを開始した後になってからコントロール群にも分析対象となる施策を勝手に打ってしまうという現場もあるようです。これはこれでIntention-to-Treat (ITT)と見做せなくはありませんが、それには事前の準備が必要なわけで、大抵の場合はA/Bテスト不成立になって手間も労力もリソースも無駄になるだけです。A/Bテストをやるからには、条件統制を確実に遵守することが必須なのです。
これらの問題は、大抵の場合は個々の現場のカルチャーであったり、時にはステークホルダーというか意思決定者*4のマインドに依存するように見受けられます。よって、「MMMなどの統計分析＋A/Bテスト」のコンビネーションを各現場に根付かせるには、そういったカルチャーやマインドの涵養が必要だというのが僕の個人的な経験則であり、それこそがまさにこの記事を書いた理由でもあります（笑）。この記事によって、少しでもマーケティングデータ分析が成果を挙げやすい現場が増えることを願っております。
*1:例えば https://www.thinkwithgoogle.com/intl/ja-jp/marketing-strategies/data-and-measurement/shopping-title-optimization/ など
*2:例えばプッシュ通知やDMメールのような方法ではユーザーは動いてくれないといった話
*3:勿論MMM自体でもある程度の交差検証は出来ますが
*4:往々にして役員会
