渋谷駅前で働くデータサイエンティストのブログ

元祖「六本木で働くデータサイエンティスト」です / 道玄坂→銀座→東京→六本木→渋谷駅前

「ビッグデータ」「データサイエンティスト」後のデータ分析業界はどうなっていくのか

先日の合同企業説明会でご来場いただいた就活生の皆さんにこの話題をだいぶ話したので、続きの意も込めてちょっと書いてみようと思います。実はその時お話した内容について、後日データ分析者同士の飲み会を開いた時に色々議論になったもので(笑)、そのフィードバックも兼ねるかなぁという。


そうそう、この記事でも引き合いに出しますが「アルゴリズム実装系」「アドホック分析系」というデータサイエンティストの分類については、以下のslideshareをお読みあれ。



そして予めお断りしておきますが、今回の記事も基本的には僕の個人的なデータ分析業界での経験と見聞に基づいて独断を並べているだけで、言ってみればただのポジショントークです。何かしら客観的な数値的根拠とかそういうものがあるわけではないので、悪しからず。。。


バズワードは消え去る


少なくとも確実に言えるのが、「バズワードは消える」ということ。特に「データサイエンティスト」は間違いないかと。もちろんエンジニアコミュニティやデータ分析コミュニティでの評判が極めて悪いというのもあるんですが*1、やっぱり大手メディアを初めとして当事者ではない人たちが煽り過ぎたというのが大きいでしょう。また、依然としてスキル定義がほぼ不可能という問題もあります。定義のできないものを漫然と増やすのは難しいし、そんなものを得々と増やしている巷の企業を見て胡散臭さを感じる人も少なくないでしょう。以前僕も指摘したように、事例集を集めるところから始めるのが筋なんですが。


さらに現実問題としていうと、データ分析業務をやっていて実際にかなり高度な手法を用いて取り組んでいるような人であっても「データサイエンティストとは呼ばれたくない」と漏らすことが多いので、「データサイエンティスト」という肩書き自体はなくなっていくのではないかと思っています*2


同様に「ビッグデータ」も今後は実体のないバズワードとして使われなくなるのではないかなと。理由は簡単で、"3V"のようなあいまいでキャッチーな定義はあっても、厳密な定義はやはり定まらないままです。先日高く評価した以下の書籍なんかはビッグデータとは何ぞやについて非常に分かりやすく説明していますが、やはり事例集を編むのが限界なんじゃないかと思ってます。


ビッグデータの使い方・活かし方―マーケティングにおける活用事例

ビッグデータの使い方・活かし方―マーケティングにおける活用事例


その意味で言えば、「ビッグデータ」というバズワードもまたメディア上からはともかく、ビジネスの現場からは消えていくのではないかというのが僕の予想です*3。もっと穏当に、ただ「データ」と呼ばれるだけに戻るのではないでしょうか。


せっかく「ビッグデータ」の名前を冠した雑誌が創刊されたりしてますが、これまたバズワードとして消え去っていくのではないかと個人的には感じています。


だがその「中身」としてのデータ分析は依然として残るどころか、むしろこれからも拡大し続ける


しかーし。バズワードが消え去ったからと言って、その中身までもが消え去るわけではありません。大手メディアがバズワード全開で騒いでいる裏側では、着々とデータ分析体制を構築している企業が増え続けていると、業界内では聞きます。


理由はいくつかあって、一つはコンサル系(もしくはアウトソース系)のデータ分析案件が増え続けているらしいということ。これはあくまでもコンサル系勤務の知人友人から漏れ聞こえてくる範囲での話ですが、データ分析案件の依頼はどんどん増えていくばかりなんだそうで。もちろんガチで全社レベルのデータ分析システムを構築するみたいなでかい案件から、スポットで経営コンサルも兼ねて取引データをちょっと分析してもらうみたいなライトな案件までピンキリらしいんですが、依頼が増えているのは事実のようです。


ここからは僕の勝手な憶測ですが、確かに「ビッグデータ」「データサイエンティスト」といったバズワードが時代のあだ花になりつつあるのは間違いありません。けれども、それらバズワードが爆発的に広まったことで、純粋にデータ分析の必要性を認識した人々・現場・企業が増えていったのではないでしょうか?


そういう意味では、昨年夏の過熱したブームは「ビッグデータ」「データサイエンティスト」の定着には貢献しなかったものの、ビジネスの現場にデータ分析カルチャーを定着させることには貢献したのではないかな、と個人的には見ています。


実際、僕のところに相変わらず舞い込んでくるヘッドハンティングのオファーを見ていても、「データサイエンティストの募集」は減ったものの、一方で「データ分析担当(アナリスト・データマイニングエンジニア・コンサルタント)の募集」はじわじわと増えてきています。過熱したブームが終焉を迎える中、より堅実なデータ分析体制の構築を目指す企業は少しずつですが増えてきているように感じます。


実態」を伴うデータ分析体制を維持し続ける企業や組織が、競争で優位に立っていくようになる


言い換えると、これまで「実態なき空虚なビッグデータ&データサイエンティスト」が加熱したブームのもとで求められていたのが終わりを告げ、これからは「実態を伴った堅実なデータ分析体制」が地道に各企業から求められるようになるのだろう、というのが僕の今後の予想です。


その点で読んでいて面白かったのが、このITproの記事でした。もしかしたら、今までの僕個人の予想とは逆の展開で、加熱したブームが過ぎ去った後はビジネスデータ分析の内製化が急速に進んでいくかもしれません。


データ分析カルチャーはブームの過熱で急激に広まり、そして幻滅を生んでしまいましたが、上でも書いたように地道に分析カルチャーを浸透させてデータ分析マインドを強め続けている企業もあるわけです。で、ポイントとしては、そういうところほどデータ分析を自前で確保し内製化することの意義を知っているんですね*4


今のままの過熱したブームが続けば、コンサル系がどんどん伸長してインハウスは頭打ちになると思ってたんですが、急激なブームの終焉とデータ分析体制導入企業の固定化が進んでいる現在、むしろインハウスへの移行が促進されるかも、と何となくですが*5思ってます。そして、そういう企業が地道にデータ分析カルチャーを経営改善へと生かしていき、競争力をつけるようになっていく。。。もちろんこれは単なる僕の願望と言っても差し支えませんが、そういう未来予想図が描けそうです。


ところで、具体的にはやはりアドテクノロジー分野の急速な伸長が大きく影響しそうだと思ってます。今や多くのアドテク企業が勃興し、株式市場もそういったスタートアップのIPOに注目しているという報道が出ています。またこれまでweb広告制作を手掛けてきた企業のうち、アドテク分野に参入してくるところも相次いでいます。そういうところではシステムも分析プロジェクトも内製化し、市場での競争を優位に進めようというのが自然な流れだったりします。


そういった観点から見ても、今後データ分析カルチャーは堅実な形で浸透し、全体としては内製化に向かっていくのだろうと思ってます。


データ分析プロジェクト全体を設計でき、なおかつ分析の細部まで把握した「上級データ分析者」が今後は必要になる


一方で、今後はデータ分析のシステム化がどんどん進んでいくはずです。実際、アドテクは高度な広告配信ロジックの自動化が必須であり、そこには「アルゴリズム実装系データサイエンティスト」のような機械学習の専門家が欠かせませんが、そういう専門家がいなくても機械学習アルゴリズムを走らせられるようなフレームワークの開発が色々なところで進んでます*6


また、これを好機と見てアドホック分析についても様々なベンダーが高級BIツールもしくはフレームワークとして提供を始めており、こちらでも「アドホック分析系データサイエンティスト」の仕事を代替するような動きが出始めています。


このような流れが続けば、昨年夏の過熱したブームで持てはやされていたような「統計学and/or機械学習ができる」という意味でのデータサイエンティスト(データ分析者)の存在意義は、じわじわと減じていくことでしょう。


しかしながら、多くの企業がデータ分析体制の構築に向かう中、最も大事なのは実は「データ分析体制・プロジェクト全体を俯瞰できてなおかつ細部に至るまで細かく監督できる」言わば上級データ分析者の存在ではないか、と僕は考えています。


データ分析体制の構築は、やってみれば分かりますが結構大変です。データ測定の末端部から始まり、事業サイドのDBから分析サイドのDBへと投げるところのデザイン、分析サイドDB自体の設計、そこからデータを抽出して統計分析・機械学習フレームワークに投げるところの調整と、その結果をレポーティングもしくは(例えば)web広告配信エンジンへのチューニングに反映させるという、それぞれに高度なスキルを要する領域を一元的に管理する必要があります。


そうなった時に、全てをある程度きちんと把握した上で、さらに全体のバランスを取るように指揮することもできる。そういう人材は、どれほど様々なフレームワークが自動化して人手が不要になったとしても、いつまででも必要とされ続けるはずです。まさに「非定型な仕事のできる人材」というわけです。


・・・先日の合同企業説明会の席で言いたかったのは、まぁ大体こんな感じのことだったのでした。これからデータ分析の仕事を志す皆さんの参考になればうれしいです。

*1:なので僕もあえてそんな周囲からの反感を買ってまで「データサイエンティスト」という語を広めようという気にはならない

*2:自分の名刺に「データサイエンティスト」と刷ってあるのにこんなことを言うのも何ですが

*3:もっとも弊グループ某社にはビッグデータグループという大変有名な部署がありますが

*4:機密保護などの側面もあるわけで

*5:つまり定量的根拠はないw

*6:Jubatusとかが好例ですね