渋谷駅前で働くデータサイエンティストのブログ

元祖「六本木で働くデータサイエンティスト」です / 道玄坂→銀座→東京→六本木→渋谷駅前

「施策を打ったらKPIが上がった!」だけで満足するのは危険

ソーシャル(特にソシャゲ)界隈の業界では未だによく聞こえてくる話が、


「毎日毎週施策を打つたびにしっかりKPIが上がってるのは見えてるのに、半年後とかの数字見るとなーんか芳しくないんだよね。何でだろう?」


という不思議な愚痴。このブログを初期の頃から読んでいる人なら知っての通り、それを聞くなり「平均への回帰」とか「見せかけの回帰」とかにやられてるよなー、と僕なんかは思うわけですが。最近またそういう話を業界内で見聞きする機会が増えてきたので、改めてまとめてみます。


何でこうなってしまうのか?


ここでは一つありがちなパターンを見てみましょう。例えばDAUか何かのKPIを想像してみます。施策をA, B, Cと3種類ぐらい持っていて、コストや工数を考えながら投入していく感じです。


f:id:TJO:20130617142904p:plain


施策A1、施策A2を打てばそれなりにDAUが上がって、ここで有効期間の長い施策B1を打ってみたら右肩上がりに上がった!…ように見えますよね。


でも、こういうパターンの場合この後しばらく経過すると、↓こうなることが結構多いみたいです。


f:id:TJO:20130617143031p:plain


要するに、結論から言うと↓右肩下がりというわけです。こうなってしまうと、もう処置なしですね。気が付けばどんどんDAUが減っていって、ビジネスを維持するかどうかの瀬戸際に追い込まれるというわけです。


f:id:TJO:20130617182032p:plain


「上がった!→元に戻った」の繰り返しは「平均への回帰」の同類でNG


ちょっと考えて欲しいんですが、そもそもこの3つの施策って本当に効果があったんでしょうか?


f:id:TJO:20130617144137p:plain


施策を打った前後で見比べてみると、確かに施策を打った後はDAUが上がってます。でも、ある程度時間が経つとすぐDAUは元のレベルに戻っちゃってますよね。これでは、施策をいくら打ったところで焼け石に水です。


このように、何か操作を加えたとしてもまた元の水準に戻ってしまうような変動パターンを「平均への回帰」と呼ぶということは以前の記事でグサグサ刺しながら書いたわけですが*1、もうこれを完全に地で行ってる話です。具体的にイメージとして描くのは難しいですが、自己認識の問題として見れば同様に「見せかけの回帰」も起こり得ます。


効いてない施策による「平均への回帰」を繰り返しているうちに起きることは、もはや施策とは何の関係もない、ユーザーからの「飽き」「魅力の喪失」「疲れ」。これらは、「平均への回帰」に伴うばらつきよりも規模が大きいケースが少なくありません。そうなると、どんどんベースとしては下がっていってしまう。。。これが、悪い方向に相乗効果をもたらすと、一気にKPIを右肩下がりモードに突入させてしまう、というわけです。


上げるなら「ベースラインを上げろ」


では、そのような問題を回避する上で注目すべきポイントは?というと、実はものすごく簡単。「平均に回帰しなければ良い」のです。つまり、先ほどのように施策を打つたびに元のレベルに戻ってしまうのではなく、


f:id:TJO:20130617150834p:plain


このように毎回「ベースラインをきちんと押し上げられる」ものだけが、効果があったとみなすべきだと僕は考えます。もし、そういう施策だけをベストプラクティスとして選別して、できるだけそういう施策を多く繰り返すようにすれば、


f:id:TJO:20130617152301p:plain


こんな感じでDAUは推移するでしょう。もちろん、これは大ざっぱに近似直線を引けば分かりますが


f:id:TJO:20130617152323p:plain


綺麗な右肩上がりの成長を見せることになります。さすがにこれほど綺麗な成長トレンドを見せるサービスは決して多くありませんが、これが理想形だということはもっと徹底されても良いと僕は思うのです。


そんなわけでまとめると、

  • 施策を打ったらKPIが「上がったかどうか」だけではなく、「ベースラインまで押し上げたかどうか」(高止まりしているか)を見る
  • 施策を打つごとに上記ポイントを確認して、出来る限りこれに当てはまる施策を選別して打っていく

というのが、施策に効果があったかどうかを見極め、KPIを可能な限り右肩上がり成長させるための、地道ながらも堅実な戦略だと思います。もちろん、個々のKPIの定め方であったり、施策の性質との相性*2だったりという要素はあると思いますが、あくまでも全体戦略としてこういう方がいいですよ、というsuggestionです。


本当にこんな単純な罠にはまるなんてあり得る話なのか?


もしこれがそんなに珍しい話だったら、「平均への回帰」「見せかけの回帰」の記事300ブクマとか1万ヒットとか叩き出すとは考えにくい話で、おそらく世の中には結構少なくない問題なのでしょう。


その記事でも書きましたが、こういう大局的なトレンドとかベースラインの問題というのは、目の前の数字に一喜一憂しながら躍起になって「絶対上げてやる!」と毎日何も考えずに遮二無二やってしまうと、いつの間にか起きてしまう問題であるとも言えます。


これが開発の現場の話であれば誰も責めるわけにはいかないと思いますが、例えばマーケテイングやコンサルティングの担当者がそれを犯してしまってはどうにもなりません。そういう、舵取りを決める立場の人にとっては、特に肝に銘じるべきポイントだと僕は考えています。

*1:より正確には「ある水準を中心にただばらつくだけの数値変動」で、なおかつ「ばらつき方が外部からの操作とは無関係であること」なので、亜種とも言えます

*2:特にソシャゲのイベントやフリーコイン配布とかだとベースラインを押し上げようがないケースもなくはない