DS/AIブームは「ソフトランディング」できるか

旧知の友人でもある、アラヤ創業者・社長の金井さん*1が興味深い記事を書かれて評判になっているようです。

その内容はズバリ「AIブーム終焉」。AIブームが終焉すれば一種の「連れ高」として再燃していたデータサイエンス・データサイエンティスト(DS)ブームも終焉すると予想されるので、これはDS/AIブームの終焉とも言い換えられそうです。

当事者でありながら他人事みたいなことを言うようで気が引けますが、何であれブームというものはいつかは終わりを迎えます。あるもののブームが終わったからといってそのものが滅んでしまうということは一般に多くありませんが、ブームが「ソフトランディング」するかどうかによってその後の状況は変わってくるもの。「浮かれてみんな飛びついていたけれども実は大したことがなかった・金と時間の無駄だった・害悪の方が大きかった」というような感じで反動が強ければ、ブームだったものはその後も定着できずに綺麗さっぱり世の中から消えてしまうこともあります。いわゆる「ハードランディング」です。

そういうハードランディングを避け、DS/AIブームをソフトランディングさせるためにはどうしたら良いかについて、今回の記事では僕個人が見聞したり経験してきたことを下敷きにして、業界レベルでの展望を書いてみようと思います。故に、どうしても適用される範囲が狭くなってしまう点については予め悪しからずご了承ください。

過熱するDS/AIブームに見え始めた「終わりの始まり」

金井さんの記事ではこのように書かれています。

AIブームが終わったというのは、ビジネスでの過剰な期待のことを言っている。AIを事業の中心に据えた企業のビジネス規模が、AIの実現する未来への投資家や市場からの過剰ともいえる期待に追いついていない。この状況が続いてきたことや、コロナ禍での景気後退と相まって、AIはやっぱりバブルだったから、期待値を適切に修正したほうが良いという現実的な見方が生まれてきている。

これは、実際にB2BのAIプロジェクトに陰に陽に関わることの多い僕の立場から見ても、最近強く感じていることです。この辺の話は直近の記事でも少し触れています。

そもそもDS/AIがビジネスにとって直接的に重要でなく単なる皆が飛びつくブームや一種の道楽として捉えられる風潮が強いままなのであれば、新型コロナウイルスのパンデミックのような景気減速状況下では投資が引き上げられても何の不思議もないでしょう。

問題は、それが景気減速の影響のみによって起きていることではなく、純粋にDS/AIブームそのものの失速によって起きつつあるのではないかということです。

この記事によれば、US版Indeedでは新型コロナウイルスのパンデミック以降前年同期比で全業種で21%、tech系で36%もの求人の減少が見られたそうですが、データサイエンティストに限ると何と43%も求人が減少しているそうです。DS/AIブームは、コロナ禍による景気減速よりもさらに急に減速しつつあると言っても、過言ではないのかもしれません。その理由としては現場での経験・伝聞からは色々なものが考えられますが、個人的に強く疑っているのは次に述べる「焼畑農業的」なDS/AIプロジェクトの乱立とその失敗です。

「焼畑農業的」なDS/AIプロジェクトがブームのハードランディングを加速させる

僕が最近過熱するDS/AIブームを批判する時によく使っているのが、「焼畑農業的」*2というキーワードです。即ち「農作物さえ作れればいいんでしょ」とばかりに、森を焼き払って農地を作り、そこに灰として降り積もった肥料に便乗する形で作物を育てて漫然と収穫し、終わった後に残るのは土中の養分も失われて見放された荒地だけが広がる……というのと同様のAI開発が多く行われているという話です。

良くあるパターンとして、「発注元の事業会社から『AIで〇〇したい』と相談される」→「〇〇に関するデータを貰おうとしたがそもそもデータがない」→「代わりにデータのある××をするということで同意を得る」→「××のデータが整備されたDBに入っていないので共有サーバに貯まったExcelファイル数千個を頑張って読み込んでCSVファイルに直す」→「発注元から『セキュリティが心配なのでオンプレでやりたい』と言われるが拝み倒してクラウド上に環境を構築する」→「発注元が『深層学習とかいうものが凄いらしいので是非それでやってくれ』と言うのでPandasとPyTorchでとにかくそれっぽいものを組む」→「実際に回してみたら何とかそれっぽい予測結果とパフォーマンスが出た」→「発注元から『良い性能なのは分かったが、これどうやって今後もメンテするの？××以外の事業には使えないの？そもそもこのシステムの出力どこにつなげばいいんだっけ？』と言われて対応に窮する」→「以後全てが放置されて朽ち果てていく」、というような話があります。

これは決して発注した方も請けた方もいい加減なことをしているわけではなく真面目にやっているはずなのですが、にもかかわらずどう見ても持続可能ではなさそうです。というのも、これは要素分解するだけでも簡単に分かることですが、

• そもそもやりたいことを実現するためのデータがない
• DBが整備されておらずデータの管理自体ができていない
• クラウドのメリットが理解されていない
• AIを試すという話なのに何故か深層学習縛りがかかっていて手法選択の余地がない
• やりたいわけでもないことのためにAIシステムを作ってしまったので、性能は出せたとしてもその後の行き場がない

という多くの問題があります。しかも、良く見れば分かりますが工程のステップがやたら多いわけです*3。これでは時間もマンパワーも食いますし、標準化されたソリューションにならないため横展開もままなりません。

このような「あるあるパターン」を表す言葉として「PoC死」という過激な表現もあり、以前から業界内では問題視されているにもかかわらず、未だにAI開発のメインストリームのままであるように見受けられます。その実態ですが、この記事の指摘が巷のAI開発にも当てはまりかつ非常に鋭いところを突いていると思います。「使えることは確認できた」が「何が解決されるのか分からない」がために、技術そのものへの理解は得られても技術の普及にはつながらないというわけです。

明らかなのは、AI自体を商品とするビジネスをスケールさせるというのは非常に難しいということだ。AIを必要とする仕事は無数にあるのだが、現在の技術だと、その都度作ることになり、根本的にスケールするビジネスとしての展開を設計するのが難しい。

金井さんの記事でもこのように書かれていますが、おそらく同じ文脈なのではないでしょうか。「その都度作る」必要があるがために、上記のあるあるパターンで見たような無駄に多い工程とマンパワーを食われるわけですが、その一方でまともに横展開（スケール）もできないので、仮に性能確認のためのPoCが「本来の目的に沿わない『お試し』」だった場合は、それを本来の目的に供するためにはまた一から作り直しになってしまうので、そこで頓挫……という地獄のマーチとなってしまうのです。まさしく、農作物を作るだけ作ってみて後に残るのは荒地だけ、という喩えそのままの構図です。

こんなことばかり繰り返していては「世の中AIがブームになっているようだが、実際に作ってみたらまともに業務に導入された試しがないし、今後もAI開発を続ける価値があるとは思えない」という不満の声が社会全体に広がっても不思議ではありません。実際、同じことがAIならぬDSでも起きた挙句役員直属DS部門がお取り潰しになったという話を聞いたことがあるので、同様の「AI離れ」が社会のあちこちで起きている可能性は否めないと思います。

ソフトランディングさせるためには「汎用的で持続可能な形に変える」ことが大事

そうなると「持続可能なAI開発」というのが一つの解になると思われます。が、これこそ「言うは易く行うは難し」を地で行く話です。では、どうしたら持続可能な形にできるんでしょうか？

まず、王道を考えるとしたらやはりきちんと根本的なところから変えていく手間を惜しまないということでしょう。「焼畑農業的」でない形というのであれば、農地をきちんと開墾・開拓し、その上できちんと耕作して作物を育て、収穫した後も次の年以降のためにきちんと耕作地を整備する、という営みを連綿と続けていく、ということですね。これをDS/AIプロジェクトに置き換えるなら、

• やりたいことのためのデータを集める仕組みを作る
• DBを整備してデータ基盤を作る
• 必要に応じてクラウド環境を適切に構築する
• ブームに乗った無軌道な手法選択を避けて、堅実な手法選択を行う
• できるだけ共通化・標準化されたソリューション・システムを作り、横展開を可能にする

といった、地道な地ならしと環境整備そして共通化・標準化を念頭に置いたDSソリューション・AIシステム開発を行う、ということだと思います。

ただ、これは当然ながら「焼畑農業的」なやり方と同じくらいか、場合によってはそれ以上の時間とマンパワー及びその他のリソースを食うやり方です。特に「データ収集」と「データ基盤」は鬼門も良いところで、ここでつまずく現場が多いことは経験上も見聞上も肌感覚から言っても確かです。なので、この2箇所に投じるリソースを最優先とするためにも、残りの3箇所はできるだけ省力化する必要があります。

そこで一つの考え方として、「可能な限りリソースを使わずスケーラブルで尚且つ誰でも使える上に細かく試行錯誤できて成果が分かりやすい仕組みを作る」というアプローチがあります。そんなムシの良い話があるわけないだろと怒られそうですが、6月のオンラインイベントでちらっと話した件がそれに該当すると思っています。AutoML技術はその最有力候補として挙げられるでしょう。ひとたびクラウド上にデータが乗りさえすれば、後はAIシステム開発からそのデプロイまで全てクラウド上で完結できるAutoML技術なら、上記の「残り3箇所」の開発の省力化がある程度叶うはずです。さらにBigQueryなどのクラウドDWHを使えば、データ基盤の構築もクラウド上で完結するので、やるべきことは「データ収集のデジタル化」一つに絞られます。ここまで来れば、実現可能性も持続可能性もかなり高くなりますね。

ここまでの議論を踏まえて、ビジネス的な観点を加えて全体の戦略を考えるとこんな感じになるかと思います。

• 「新奇なもの（こと）を作る（する）」より「元からあるものを優れて良くする」
• 開発そのものに限らずデータ基盤に至るまで、スケーラブルな仕組みに仕立てる
• 難しい技術開発は極力少なくして、UIさえ触れれば誰でもメンテできるようにする
• アウトプットをKPIと直結できる形にして、成果の有無を分かりやすくする

途轍もなく当たり前のことばかり並べてしまいましたが、これが「王道」かと。まず、いきなり横展開の難しい新規テーマではなく、従来テーマにDS/AIを当てて改善してそれを横展開することを目指す。次に、全体をスケーラブルな仕組みにする。そして、時間とマンパワーの節約のためにもAutoML的な技術で開発工程を減らす代わりに誰でもUIからメンテできるようにする。最後に、アウトプットの意義をエンジニアでもセールスでも誰にでも分かりやすいようにする。単純な話ですが、これを実現できれば完璧と言っても良いでしょう。

特に最後に挙げた「成果の有無を分かりやすくする」は、ビジネスにおいては最重要と言っても過言ではありません。例えば、DS/AIのアウトプットを売上高の増加に直接つなげるのは難しくとも、「新規購入ユーザーを増やす」というKPIを達成するDS/AIであれば、その成果の有無は車内の誰からも理解されやすくなるでしょう。「何が解決されたか」を理解しやすくすることは何よりも大切なことなのです。

もう一つの視点：「汎用性高く誰にでも使えること」の意味

(By Rezwalker - Own work, CC BY-SA 4.0)

これまで「汎用性高く誰にでも使える」ことがAutoML技術のようなスケーラブルなDS/AIが満たすべき要件だという趣旨のことを書いてきましたが、個人的によく使う喩えが「麻婆豆腐の素」です。ご家庭で一から作ったことのある方ならご存知かと思いますが、麻婆豆腐を作るには例えば豆板醤・甜麺醤を用意し、その他の合わせ調味料とさらに挽き肉・刻みネギも合わせ、豆腐もきちんと水切りする必要があります。これは料理をほとんどやらない人にとっては結構な手間ですし、忙しい人にとってはそこまでやっている余裕もないかもしれません。

しかし、各社から出ている「麻婆豆腐の素」を使えばフライパンに素を入れて軽く炒め煮立たせたら後は豆腐を入れるだけで完成です*4。最近の麻婆豆腐の素は非常に凝った味わいのものが多く、広東風の少し甘めのコクありタイプもあれば、正統派四川風の唐辛子と花椒がよくきいたスパイシーなものもあります。好みの味のものを使えば、様々な本場の麻婆豆腐の味を楽しめるというわけです。ちょっと前までは「こんなものを使うのは邪道だ」という年配層の意見も多かったようですが、最近はそんな声を吹き飛ばすほど普及しているようです。実は我が家でも、結婚当初は豆板醤と甜麺醤を使って作っていましたが、現在は専ら麻婆豆腐の素に頼りっぱなしです。同じことは例えば回鍋肉などでも言えます。

「スケーラブルなDS/AI」も全く同じで、一から丁寧にきちんとデータ収集・データ基盤・DS/AIソリューションを載せるサーバ・デプロイ用のAPIをまるっとスクラッチから整備していたら大変です。しかしながら、クラウド上で動くAutoML技術があれば最低でもデータ収集（食材集め）さえ何とかなれば、残りはオールインワンでクラウド上で完結させることができる、というわけです。その意味では、喩えが若干妙かもしれませんが「麻婆豆腐が食べたい人のための『素』」「回鍋肉が食べたい人のための『素』」というように、〇〇の素的なAutoMLベースのフレームワークを個々のビジネス領域内で汎用的に構築していき、どんな現場でも〇〇に関するDS/AI開発である限りは汎用的に使えるようにすることこそが、今後のDS/AIの社会への定着における最大のカギになりそうな気がしています。

AIブームが終わったとしても、AI技術自体の導入は継続して、様々な場面に浸透していくだろう。だから、AIブームの終焉は、継続的なAIの社会実装の終わりを意味しない。投資のペースが落ちることなどで、浸透の勢いが衰えることはあるだろう。ただ、AIの会社の経営者としての感覚では、世の中にAIで改善されるものは溢れていて、実際に仕事自体はたくさんある。

AIの事業化において問題になるのは、そういった仕事が個別の問題であるため、一つプロダクトを作ったら、それが全てに広まるというスケーラブルな形にするのが難しいところだ。そこで、個別性を取り除いたソリューションを作るということが次善策として浮かんでくる。そこは、AIの技術による差別化ではなく、どれだけ顧客にとって役に立つソリューションを汎化的に提供できるかという、ドメイン特化による差別化になっている。

金井さんの記事でもこのように書かれていますが、僕も全くもって同感です。このような汎用性を高める努力をDS/AIに関わる人々が惜しまないことこそが、DS/AIブームをソフトランディングさせるための最も確実なアプローチであると考えています。

追記

旧知のしょうゆさんから良いご指摘をいただきました。

自分はDSではないので個人的な意見なんですが、次の一つが足りないと思います。すなわち、
「顧客が本当に達成したい事は、DS/AIを使わなければできないことなのか、柔軟に要件を聞き取るプリセールス見たいな人が必要(ただしSIerでないこと)」

上の記事では田植えして収穫するまでの工程が書かれていましたが、まずそもそもその作物を植えることが正しいか相談できる人が必要だと思います。

これには僕も大いに同意です。最初に要件を整理して差配できて発注元に納得してもらえるよう話せる人が必要だというのはまさにその通りで、今はその部分をシニアで経験豊富なDS / MLEが担っているという状況だと思っています。ここが欠落すると途端に「焼畑農業的」になりやすい印象がありますね。

*1:本題からは逸れますが、金井さんは自分と同世代の日本出身者ではトップクラスの認知神経科学の若手研究者で、トップジャーナルに論文を連発するのを拝見しては「ああ、こういう研究者になりたかったなぁ」と嘆息していたものでした

*2:ここであえて「的」と付けたのは、焼畑農業に関するWikipedia記事にもあるように現実の焼畑農業が持続可能性に乏しいとみなされるのはある種の都市伝説であり、適切な方法と時間的サイクルに沿って行われる焼畑農業は持続可能で、あくまでもその他の人為的火災や森林破壊行為が焼畑農業と混同されがちだという点を踏まえています

*3:IT開発なんてどれもこんなものだというツッコミはお控えください、というか静粛に

*4:挽き肉入りのものを使えば肉すら用意する必要がない