深刻な不具合のあるデータ分析は、大抵の場合データも実装コードも見るまでもなくそれと分かってしまう

しばらく前に、こんなことを嘯いたら思いの外反応が伸びたのでした。

「データも見られなければ統計的学習モデルのアルゴリズムも実装コードも見られない」状況で、そのデータ分析のどこにどんな不具合があるかを「分析結果だけを見る」ことで言い当てるのってデータサイエンティスト的には最高に面白いゲームだと思うんだけど、同意してくれる人いますかね

— TJO (@TJO_datasci) 2025年2月7日

日本社会にデータサイエンスが本格的に普及するようになって10年強が経ち、空前のDXブームで猫も杓子もデータ活用を喧伝するようになって5年ほどが経ちますが、それでもなお「専門家から見れば中身を調べるまでもなく深刻な不具合のあるデータ分析」が行われていて、挙げ句の果てにその結果や成果物が大手を振って歩いているというケースはチラホラ散見されます。

そこで今回の記事では、ケーススタディ的にそういった「データも実装コードも見るまでもなく深刻な不具合のあるデータ分析だと分かってしまった」事例を幾つか取り上げてみようと思います。その上で、それらの根底に共通する課題を探ってみることとします。

多重共線性のはなし

どうも昨年末にあちこちで多重共線性についての議論がなされていたようなんですが、些事にかまけていた僕はすっかりそのウェーブに乗り損ねてしまっていたのでした。そこで、今年最初の記事では遅ればせながらそのウェーブに乗る形で、また今までに学んだり調べてきたりしてきたことの備忘録も兼ねて、多重共線性についてまとめてみようと思います。

自己回帰型モデルによる事前学習スキームの限界と、ビジネス実務の場で見える現実と

早いもので、2024年も恒例の年末回顧記事を書く時期になりました。ということで、今回は一年を通じて話題に事欠かなかった生成AIに関する最近の論争と、一方でBtoBのビジネスの現場で感じている現実とを綴ることで、今年の振り返りといたします。