このブログでも何度か引用しているこちらの記事で、「データサイエンティストという職業は10年以内に消える」という趣旨の議論がされていたのがちょうど10年前の2013年でした。ちなみにこの記事はついているブックマーク数に比して当時は結構注目を集めたという記憶があり、割と業界内では「確かにこんな中途半端な職業が10年後もあるわけないよね」と言われていたのを思い出します。
実際には皆さんもご存知のように、2023年になってもデータサイエンティストという職業はついに消えることなく、現在に至るまで残り続けています。その経緯がどんなものであったかは、業界10年史記事でもある程度触れた通りです。
しかし、同時に現在では「生成AIの普及でデータサイエンティストの仕事がなくなる」という風説も出回っており、改めてデータサイエンティストという職業の将来性に不透明感が漂いつつあるのもまた事実です。そこで、今回の記事では僕自身の業界内での体験や見聞をもとに、データサイエンティストという職業が10年以上に渡って陰に陽に消えることなくいかにして続いてきたかを改めて振り返り、その上で今後の趨勢についても考察を加えてみようと思います。
- 「舶来の珍奇な職業」から「時代の寵児」へと移り変わった10年
- DXブームが「データの専門家」たるデータサイエンティストの需要を定着させた
- 生成AIは「作業」を自動化してくれるもの、それがプラスになるかマイナスになるかは個々人次第
- 今後の展望：さらなる分化と淘汰の可能性
「舶来の珍奇な職業」から「時代の寵児」へと移り変わった10年
このブログではそれこそ何十回も引用しているので皆さんにはすっかりお馴染みかと思いますが、「データサイエンティスト」という職業が初めて世間に広く知られるようになったのは、上掲の2012年に公開されたDavenportによる『データサイエンティストは21世紀で最もセクシーな職業である』HBR総説だと見て間違いないでしょう。この記事の日本語版がリリースされたのはさらにその翌2013年初頭のことで、以後日本でもデータサイエンティストという職業が注目を集めることになります。
それは、その直前の2010年前後にピークを迎えていた「ビッグデータ」ブームが加速させた側面も大きいのでしょう。インターネット上で電子的に展開されるビジネスが急増したことにより、「全てのビジネス上のやり取りが電子データとして記録される」状況がいわゆるビッグデータを生み出したわけです。そこにHadoopを中心としたビッグデータ基盤技術が登場し、ある意味「無限に」データを貯め込める仕組みが整ったことで、その莫大なデータを何とかして活用したいというニーズが生まれ、それこそがデータサイエンティストという職業の勃興に繋がったのでしょう。特にwebサービス系の業界*1においてそれは非常に顕著でした。
業界10年史記事でも概観したように、コロナ禍までの8年ほどの間に2回ほどデータサイエンティストはブームとなっています。第1次ブームは最初期の2013-14年頃で、当時は何といってもその「珍奇さ」が世間の耳目を集めたものでした。「科学者でもないのにサイエンティスト呼ばわりされるのは何故か」「何故データサイエンティストは『セクシー』なのか」というその職名と世評そのものがもたらす珍奇さもありましたし、何といっても「実態の良く分からない謎の職業」というミステリアスさもあり、2015年ぐらいまではデータサイエンティストとかデータサイエンスといった語がタイトルに入った書籍は何でもアホほど売れたという時期もあったものです。
しかし、第1次ブームはその「実態の不透明さ」さらにはそこに由来する「期待と実像とのギャップ」から主に「データサイエンティストを『雇う』側」の幻滅を招いたことから、急激に萎みます。当時様々なメディアに登場した自称データサイエンティストたちが低レベルなアウトプットで世間からの嘲笑を買うことが頻発したこともあり、しまいにはIT/tech業界を中心に「データサイエンティストと名乗るのは恥だ」とまで言われる始末に。「データサイエンティストは10年以内に消える」という論も、そういった世相を背景にしたものだといえます。
にもかかわらず、2016年のAlphaGoの快進撃とDeep Learning / NN技術の急速な普及をきっかけに機械学習・人工知能ブームが湧き起こると、今度は「機械学習エンジニアとしての」データサイエンティストということでブームが再燃します。これが第2次ブームで、2017年以降ずっと続いた上でさらにシームレスにコロナ禍の最中に拡大した第3次ブームへと続いていきます。
ただし、これは特に技術者としてのデータ分析業界の内部から見た時の見え方であって、恐らく世間的には2019-20年のコロナ禍前夜ぐらいの時期に「データサイエンティストは初任給でいきなり年収1000万円以上」「データサイエンティストは有名大卒にも人気の職業」みたいな煽りニュース記事が大手マスコミを中心に続発したのが、第3次ブーム（そして世間的にはこれが「最初の」ブーム）なのでしょう。これはほぼ同時期にデータサイエンティスト・機械学習エンジニア並びに多くのデータ関連職を抱え、全世界的に好業績を誇っていたシリコンバレーのテクノロジー企業各社への羨望と相俟って、データサイエンティストという職業を「時代の寵児」たらしめる効果があったように思われます。
それは同時に「未経験＆理工系教養ゼロからPythonとSQLを3ヶ月覚えるだけで年収1000万円のデータサイエンティストになれる！」みたいな軽薄なムーブメントや情報商材を蔓延させるという事態も生み出しましたが、僕個人の観測範囲では業界全体の趨勢にはそれほど影響を与えなかったように見受けられます。
結果として、第1次ブームの頃は「どうせ10年も続かず消える」と思われていたデータサイエンティストという職業は、その後様々な別のブームに巻き込まれる形で消えかかるたびに息を吹き返し、第2・3次ブームと命脈を保ち、ついに2023年になるまで消えることなく残ったということのように見受けられます。もっとも、それはもしかしたら割と日本に固有の状況なのかもしれないというのは、2022 Kaggle DS & ML Survey*2の結果から微妙に透けて見えます。
この調査結果からは、2022年まである程度継続してデータサイエンティストとして働く人が増えているのはインドと日本のみであるように読み取れます。これはLinkedInに流れてくる各種フィードやDM*3の傾向を見ていても個人的に体感される傾向で、この2ヶ国では「データサイエンティストになる＝大きなキャリアアップ」という認識が若い世代を中心に定着しているように見受けられます（実態はともかくとして）。その意味では、言い方は悪いですがキャリアアップを夢見る人たちの幻想の対象として、データサイエンティストという職業があり続けているということなのかもしれません。
DXブームが「データの専門家」たるデータサイエンティストの需要を定着させた
一方で、日本国内に固有の事情を勘案するとまた異なる状況が見えてきます。業界10年史記事でも言及した、いわゆる「DXブーム」です。
実は2018年頃から始まりつつあったとされる日本のDXブームですが、本格化したのはやはりコロナ禍以降です。紙や印鑑など物理的な手段（物理的な接触が必要なもの）を置き換える目的でDXの推進が文字通り日本の津々浦々で叫ばれるようになり、大手ITベンダー*4からスタートアップに至るまで多くの企業がDX事業に参入し、2020年代に入ってようやく日本の企業社会のデジタル化が進んできたという感があります。
ここで重要なのが「デジタル化が進むと自然にデータが増える」ということ。正確には「それまで紙や音声で伝えられたり蓄積されてきた情報が電子データになっていく」ということですが、世間というのは面白いもので「そんなに沢山データがあるなら活用しないのは惜しい」と思う人が多いんですよね。結果として、DXブームが広がれば広がるほど「活用しないのは勿体無いデータ」が日本の津々浦々で増えていき、必然的に「データを活用できる人材」が求められるようになったわけです。つまり、これはwebサービス系業界でかつて沸き起こった「ビッグデータブームからのデータサイエンティストブーム」の、いわば一般事業会社版です。
データサイエンティストという職業にとって幸運だったのは、過去2回のブームで陰に陽に「データサイエンティスト＝データの専門家」という社会的受容が広まっていたことでしょう。これにより、事実上データサイエンティストの進出可能範囲が広まったという印象があります。実際、コロナ禍以降のデータサイエンティストの求人情報を見ると以前では考えられなかったような業界の企業が募集しているのを見かけることが増えており、明らかに需要が拡大しているものと思われます。まさに第3次ブームですね。
一つ不安材料を挙げるとすれば、需要過多ではあるものの一般事業会社が想定するデータサイエンティスト像が、後述するデータエンジニアでない場合は依然として旧来の「スーパーマン型」のままであるケースが少なくないようで、これに応えられる人材が市場に殆どいないという点でしょうか。これに対して市場に溢れているのは、ごく一部の実力者を除くと近年各地の大学で開設されたデータサイエンス専攻の卒業生たちもしくは「未経験からイッセンマン」勢であり、「スーパーマン」が務まる人材は僅かです。
よって、データサイエンティストを採用したは良いものの「思ったほど成果が出ない」ということで「やっぱやーめた」となる一般事業会社が今後続発する可能性は全く否定できない、というのが僕の個人的な見立てです。言い換えると「幻滅されて萎んだ第1次ブームの再現」ということですね。とは言え、この第3次ブームによって明らかに日本の企業社会全体におけるデータサイエンティストそしてデータ関連職の需要は飛躍的に増加しており、全体のパイが広がったことによって「条件にこだわらなければどこにでもデータサイエンティストの稼ぎ口はある」状況になりつつあると思われます。
生成AIは「作業」を自動化してくれるもの、それがプラスになるかマイナスになるかは個々人次第
生成AIに関する議論は以前の記事で展開した通りですが、これの台頭が直接データサイエンティストという職業にどのような影響を及ぼすかは正直なところ「まだ良く分からない」というのが偽らざる本音です。
直近だとやはりコード自動生成機能が何かと話題に上っている印象があります。実際に「これでデータサイエンティストは失業する」と喧伝する向きも頻繁に見られますし、確かにそれらのアウトプットはLLMが台頭し始めた頃に比べると格段にクオリティが向上しています。少なくとも、ヒトのデータサイエンティストが手がけたものと遜色がないところに到達しつつあるのは事実でしょう。
ただ、一つ指摘しておきたいのが「生成AIでこなせる範囲のものが最終的なアウトプットであるかどうか」によって、データサイエンティストとして失業するか否かは分かれる、ということ。例えば、上掲した記事に出てくる程度の「データが与えられた状態で前処理して可視化して基礎分析を回してその結果を提示する」のが仕事だという人は、生成AIの普及で失業させられてしまう可能性は否定できないでしょう。
しかしながら、これまでにビジネス上の成果をきちんと挙げてきたデータサイエンティストであれば、その程度の「作業」はむしろ仕事の全工程の中のごく一部に過ぎず、それ以外の部分でバリューを出しているというのが常だと思われます。即ち「何故その分析を行うのか」「どのような分析結果をもってアウトプットとするのか」といった課題設定の部分然り、「分析に際してどのような手法・技法を用いることで課題に即した精度や解釈性を与えられるか」「実際に課題に即した手法・技法を適切に実装できるか」といった非定型な技術的アプローチの仕方然り、さらには「分析結果をどのようにしてステークホルダーに伝えるか」といったコミュニケーション然り、「作業」として生成AIに片付けられないところは数多くあります。
その意味ではむしろ定型の「作業」をどんどん任せられる生成AIが登場したことで、徹底した「作業の省力化」が実現できると喜ぶデータサイエンティストは少なくないのではないでしょうか。というより、生成AIの普及を喜んで受け入れられるような仕事のやり方をしているデータサイエンティストでないと今後生き残るのは難しい、とすら言えるのかもしれません。
今後の展望：さらなる分化と淘汰の可能性
色々論ってきましたが、詰まるところデータサイエンティストという職業は良きにつけ悪しきにつけ2012-13年の黎明期に「データを扱う職業の筆頭」というイメージを世間に植え付けることにマーケティング的に成功してしまったので、それから10年以上が経っても未だに「データを扱う職業＝データサイエンティスト」という先入観をある程度以上人々から得ることができている、ということなのかもしれません。
しかし一方で、実際にはデータサイエンティストという単一の概念から始まったこの職業は、現在ではどう見ても以下のような多彩な職種に分化していっているように見受けられます。
- データサイエンティスト（アナリストの延長）
- 機械学習エンジニア（ソフトウェアエンジニアの延長）
- データアーキテクト（DBエンジニアの延長）
- データエンジニア
- アナリティクスエンジニア
- BIエンジニア
- MLOpsエンジニア
- ……etc.
そして直近では、ここに生成AIベースのソフトウェア・システム開発を担う技術職が加わっていく流れが生じており、一時の「プロンプトエンジニア」ブームほどではないものの、主に機械学習エンジニア・データエンジニア・MLOpsエンジニア辺りの職種に「生成AIアプリケーション開発」ブームが勃興しそうだなという雰囲気を個人的には感じています。
その流れが他職種にどう影響するかは正直全然見通せない感じですが、例えば「我が社は今後生成AIアプリ開発に注力する」となれば他のデータ分析職種を採用する優先度は下がるという事態は起こり得ると考えています。一方で、業界10年史記事でも指摘したように「スーパーマン型への回帰」も強い傾向として見られており、どれか一つの領域にだけ特化した（そして残りの領域は不得手な）データサイエンティストは採用されなくなるor追い出されるという未来予想図もあり得そうです。
いずれにせよ「分化と淘汰が進む」だろうというのが僕個人の見立てですが、先に述べたように業界のパイ全体が広がっているのも事実なので、恐らく今からさらに10年後も何かしらの形でデータサイエンティストという職業は存続しているであろうと考えられます。その答え合わせをまた10年後にやれたら良いな、という願望を述べたところでこの記事もお開きにしたいと思います。
(Top image by Razzmatazz0r from Pixabay)
