このブログでは、過去何度か統計学の大家George E. P. Box (1919-2013)が遺した有名な警句を取り上げてきました。"All models are wrong; but some are useful"（全てのモデルは間違っている、だが中には役立つものもある）がそれです。
「この世の森羅万象を完璧に表現できるモデルなど神でもなければ作れるわけがない、だからこそ完璧でなくとも合目的性と有用性のあるモデルを追い求めるべき」というのがその含意だと、個人的には理解しています。これは統計学そのものから見るとメタな方法論の話であり、統計哲学のテーマとして捉えることもできると思われます。
こんな当たり前の話は今更大真面目に書くようなことではないと思うんですが*1、最近になって「これはもしかしたら現代だからこそ改めて声高に叫ばれるべきなのでは？」と再認識させられる機会が増えてきたのでした。そのきっかけとなったのが、生成AIの台頭と爆発的な普及です。「わざわざ手間と時間のかかる統計学の勉強をしなくても、生成AIにやらせれば誰でも簡単に幾らでも高度な統計分析がある程度以上それっぽくできるようになった」ことで、統計学「以前」のメタな部分が見落とされ、それが意外にも実課題を解決する上でのネックになってしまう……という事態が、実務データサイエンス界隈、特に広告・マーケティング業界では散見されるようです。
そこで、今回の記事では"All models are wrong; but some are useful"というBoxの警句を改めて紐解いた上で、この警句を踏まえることの現代的な意義を簡単に考察してみようと思います。
- "All models are wrong; but some are useful"
- 生成AIのおかげで、統計学の知識がなくとも「統計学的には妥当な」モデルが作れるようになった
- 「統計学的には妥当な」モデルが、「合目的性が高く役立つ」モデルだとは限らない
- コメントなど
"All models are wrong; but some are useful"
Boxの格言としてあまりにも名高いこのフレーズは、彼の1976年の論文が初出であるとされます。当人はこの表現がいたく気に入ったようで、後年の論文や著書でもたびたび引き合いに出して「統計モデルは絶対的な正しさではなく、その有用性に基づいて評価されるべきだ」と論じ続けたそうです。
なおこの論文はそのタイトル"Science and Statistics"が示す通り、（実験的）科学研究と統計学との関係のあるべき姿について、近代統計学の祖であるFisherの業績を紐解きながら論じた総説です。論文を通じてBoxは「優れた統計学者は数学的技術だけでなく、現実のデータに対する柔軟な洞察力を兼ね備えるべきだ」という趣旨のことを説いており、これまた注目に値するポイントだと思います。
一方で、彼は実社会から切り離された過度な数学至上主義を「マセマティストリ（mathematistry）」と呼び、その危険性にも警鐘を鳴らしています。社会学・心理学・工学などの分野において、実務分析の経験がない数学者や統計学者が考案した不適切な手法が、権威への畏怖から採用されてしまう危険があると指摘しており、その見地の深さには唸らされるばかりです。
生成AIのおかげで、統計学の知識がなくとも「統計学的には妥当な」モデルが作れるようになった
ところで、現代の我々は統計分析を含む知的領域において、何世紀かに一度の大転換期を目の当たりにしています。それは、生成AIの台頭と爆発的な普及です。
つい先日も、Fable 5が87年来の難問だったヤコビアン予想の明らかな反例を提示してみせたというのがニュースになっており、もはやコーディングは言うに及ばず、高度な理論研究もいよいよ生成AIの活躍範囲に収められそうだといっても過言ではないでしょう。
これは実務データサイエンス領域においても同様で、最近は「とりあえず手持ちのデータセットと分析目的を生成AIにインプットして、目的に合った分析手法とその実装コード及び環境のセットアップを提案させる」というのがどこの現場でも常態化していると聞きます。
そして、これまで実務データサイエンス界隈で口を酸っぱくして言われ続けてきた様々な注意点、例えば「過学習」「多重共線性」「交絡」といったポイントも、今や生成AIに任せれば事前にそれらについても考慮した上で、適切な対処法まで提案してくれます*2。その意味では、特に勉強しなくても「統計学的には妥当な」モデルをそれこそ誰でも構築でき、実際の分析に用いることが可能な時代が既に来ているといえると思われます。
「統計学的には妥当な」モデルが、「合目的性が高く役立つ」モデルだとは限らない
しかしながら、そんな現代の優秀な生成AIがせっかくやってくれた、見事なまでのデータ分析を「使いこなせていない」「実務に役立てられていない」「意思決定者から信頼してもらえない」というケースは多いようです。僕も、実際にそういう趣旨の相談を受けることは公私問わず少なくありません。今流行りのMMM (Marketing/Media Mix Modeling)もそうですし、それに限らないもっと一般的なマーケティング分析においても然りです。
で、話を聞いてみると例えば「交差検証精度は良いのだけど……」「変数選択は適切なはずなのだけど……」という感じで、パッと見ではそれほど問題がなさそうなケースが多数派なんですね（勿論中にはゴリゴリに過学習していたり多重共線性が乗っていたりすることもありますが）。実際に生成AIにその分析の妥当性を評価させても「問題はない」という回答が返ってくるので、何が悪いのか分からない、という声も聞かれます。
……なのですが、そういった分析の「中身」*3を広げてみて仔細にチェックしてみると、うまくいっていない理由が結構一目瞭然なんですよね。以下に印象的だったものをリストアップしておきます。
- 「そもそも説明変数の類が多過ぎたり過度に入れ子構造を加えたりしていてゴチャゴチャしたモデルになっている」：一番多いのがこれ。コロナ禍前は過学習の原因の筆頭だったので交差検証精度を見れば一目瞭然だったんですが*4、生成AI台頭以降は「評価指標の見かけ上は大丈夫」なものが増えました。けれども除外変数バイアスなどに弱く、ちょっと変数を入れ替えるだけでモデル推定が不安定になるので「信用できない」とお偉いさんから言われてしまう、など。それはそうですねとしか
- 「入れている変数自体に定性的だが深刻な問題がある」：例で言うと、交差検証データにしか値が入っていない超スパースな変数をモデルに組み込んでいるorその逆、というケースが散見されます。どれほど生成AIがOKだといってもそれでは何を分析して、何を交差検証しているのかが分からないのではないでしょうか
- 「ベイズ統計モデルだが事前分布がガッチガチにハードコードされていて推定結果にバリエーションがない」：主観ベイズは統計哲学の一つであって、作為的な分析結果を得るためのエクスキューズではありません。ちゃんと事前分布を色々変えて感度分析しましょう
- 「複雑な因果推論モデルを導入したらかえって分析結果の解釈が難しくなってしまった」：どの何の交絡を調整したいかという目的意識のない因果推論をやったところで、迷子になるだけです。統計学の側に「正しい因果推論の答え」なるものはないので、まず何故因果推論をしたいのかという目的を明確にしましょう
結局のところ、色々なケースを見ていて感じるのは「汎化性能や交絡調整といった『統計分析の妥当性を測る指標や基準』というのはあくまでも『その分析の有用性を測るための一側面』でしかない」ということで、そこだけ生成AIに任せたところで何かが解決するわけではない、ということなんですよね。それ以外のところに「有用でない」という側面があるからこそ、例えば分析としての使いにくさを皆が覚えたり、いまいちステークホルダーからの信頼が得られない、といった帰結に繋がっているのだろうと思われます。
裏を返すと、そういったケースに欠けているのは「その分析結果を何にどう役立てるか」という意識そのものなんですよね。そこから出発さえしていれば、事によっては高度で複雑怪奇な分析ではなくて、もしかしたらシンプルな介入実験だったり、ひょっとしたらちょっとした集計分析程度でも事足りるかもしれないわけです*5。そこを疎かにして、漫然と生成AIにデータと漠然とした分析目的を丸投げして、それっぽい提案が返ってきたのを見て漫然と回してみても、得られるものは乏しいであろうと思う次第です。
Boxの警句ではありませんが、それは「生成AIがこう言っていたから」と生成AIを専ら権威として頼ってしまうからこそ、「分析として上手くいっていること」にばかり注意が向いてしまい、「その分析が有用であること」が忘れ去られているということなのかもしれません。僕自身も生成AIを分析のプランニングに用いることが多いので、厳に自戒したいと思います。
コメントなど
ということで、久しぶりにBoxの格言を改めて論ってみました。元となった1976年の論文を読んでみて、実はこんな文脈のもとで説かれていたフレーズだったのかと感銘を受けること頻りでした。「権威への畏怖」という指摘は、生成AI時代だからこそ顧みられるべき経過だと思います。
……ここからは余談です。Boxは統計哲学の観点から「完璧さより有用性を重んじよ」と主張していたわけですが、もしかしたら生成AI、特にその基盤モデルの開発競争にも当てはまる（というか既に当てはまってきている）のかなと個人的には思ったのでした。現在でもAGI実現を標榜する生成AI基盤モデルが色々あることを考えると尚更かと。
即ち、AGIを遮二無二目指し続けるより、「何のために用いられる生成AIを目指すのか」によって、基盤モデル研究開発も進められるべきだ、というように解釈できるわけですが、よくよく考えてみたら既にグローバルの生成AI提供元の間でもそのスタンスの違いがはっきり出ているわけで、遅きに失した論点だったなと反省しております（笑）。ただ、「国産生成AI」に賛否両論あるところを見ていると、そこに「有用性」の観点を持ってくることは有意義なんじゃないかと。
おっと、与太話が過ぎました。今回はこの辺でお開きにしたいと思います。
