渋谷駅前で働くデータサイエンティストのブログ

元祖「六本木で働くデータサイエンティスト」です / 道玄坂→銀座→東京→六本木→渋谷駅前

生成AIによる「慣用表現の『乗っ取り』」と、その根底にある別の問題と

LLM AI・人工知能 論文

かなり前から「ChatGPTに学術論文を（英語で）書かせると"delve"のような普段使わないような単語が多く使われるのでバレやすい」という話がSNS以下各所で頻繁に噂されていたんですが*1、最近になってこの件について面白いpreprintが発表されていたのを知りました。それがこちらです。

もう読んで字の如しで「ChatGPTが登場して以来学術論文に使われる単語のレパートリーが劇的に変わってしまった」というのを、実際に具体的なデータに基づいて示した論文です。割と短めの読みやすい論文であることと、先述したようにSNSでは頻繁に噂されていた推測を明確化したということもあり、折角ですのでこのブログで簡単に紹介してみようと思います。

なお、この論文の著者の松井健太郎さんによる端的な解説が既にありますので、僕なんぞが改めて論文を読んでまとめることに何のご利益があるのか分からない感もありますが、僕自身の考えをまとめるという意味でもブログ記事として一渡り書いてみようという次第です。いつもながらですが、内容に誤認識や理解不足の点などあれば何なりとご指摘くださると幸いです。

論文の要点


この論文では主に医学・生命科学分野の学術論文に対するChatGPTの「癖」による影響を定量化するということで、まず検証群としてSNSなどで収集した「ChatGPTが頻繁に使ってくると言われている」英単語を117個選び、さらに対照群として先行研究で提示された「学術論文で一般的に頻用されている」英単語句を75個選んでいます。その上で、PubMedから2000〜2024年4月までに出版された論文（2640万3493報）のテキストデータを取得し、統計処理した上で先述した2群の単語の正規化された出現頻度を統計的スコアとして算出しています。検証群の対照群に対する効果はRの{nlme}パッケージで混合効果モデルを推定して得ています。



今回関心があるのは「ChatGPTが登場して以降本当に検証群の英単語が特異的に増えたかどうか」なのですが、論文中のこの2つの図が端的に結論を表しています。1つ目の図は2024年における検証群・対照群のスコアをプロットしたもので、英単語の冒頭にも挙げた"delve"がぶっちぎりの1位で君臨しており、その他の検証群（ChatGPTが使いがちな単語群）も軒並み上位に並ぶ一方で対照群は下位に沈んでいます。


また2つ目の図は検証群・対照群のスコアの2000〜2024年の経年変化をプロットしたもので、検証群のスコアが2020年辺り（ChatGPT登場以前）から上昇し始めているのに対して、対照群は同じ辺りから下降傾向にあることが分かります。これらの結果から、実際にChatGPTが医学・生命科学分野の学術論文における慣用表現を、良く言えば「塗り替え」て、悪く言えば「乗っ取っ」ているようだということが見て取れます。


論文を読んでの感想


何を隠そう、僕自身がかつて（広義の）生命科学分野でポスドクをしていたことがあり、頻繁に生命科学分野の論文を読んだり書いたりしていたので、今回の論文が示している「単語の使われ方のバイアス」には非常に強く納得できるものがありました。実際、検証群に挙がっている単語で僕が馴染みがあったのは"elucidate"とか"shed light"ぐらいで、"delve"は多分現役当時には論文中で見かけた記憶すらない気がします。その意味では「見慣れない英単語が頻出する学術論文が増えた」という研究者たちの肌感覚が、データに基づいて明瞭に示されたと言って良いと思います。


よって、少なくともこの論文で「ChatGPTが使いがちだ」とデータに基づいて認定された英単語を多用している学術論文やドキュメントに遭遇したら、ChatGPTが生成したコンテンツだと推測することには高い蓋然性がありそうです。実際、暗黙裡にそのような仮定を置いてドキュメント類を排除している査読者やキュレーターは既に増えてきているようで*2、今後そういった動きは加速するのではないかと予想されます。


ところで、実はこの論文で指摘されている事態の裏側にある真相が、既に報道で取り上げられています。それは、ChatGPTのRLHF（ヒトのフィードバックによる強化学習）プロセスの多くが、アウトソースされた（比較的人件費の安い）ナイジェリアのオペレーターたちによって行われた結果である、というものです。そもそも、例えば"delve"という単語はナイジェリア英語ではビジネスフレーズの中では比較的頻繁に用いられるそうで*3、それらのナイジェリア英語によるチューニングの結果がChatGPTの出力に影響している、ということのようです*4。


なお、2020年辺りから検証群の英単語が増えている理由として、僕個人の勝手な憶測ですが英文校閲などの非英語話者向けの学術論文出版支援サービスがナイジェリアで増えていて*5、世界中でその利用者が増えたとかいうこともあるのかなと思いました。もしかしたら、これまたただの憶測ですが、そういうサービスとその担い手がナイジェリアに多かったからこそ、ChatGPTのRLHFもナイジェリアに大規模にアウトソースされたという可能性もあり得るのかもしれません。同様の理由で、ケニアなど英語が公用語のアフリカ諸国への英語圏からの各種業務のアウトソースも増えているようです。


しかし、それらの事情は今後起き得る事態を複雑にしようとしています。リンク先の報道でも指摘されているように、仮に例えば"delve"が多いからという理由で論文をリジェクトしたりドキュメントをゴミ扱いしたりした場合、もしかしたら単に「ナイジェリア英語で書かれたものを機械的に排除している」即ちナイジェリアの人が書いたものは何でも排除する、ということになりかねません。そしてそれは純然たる差別行為（統計的差別）に当たる、と報道記事は警鐘を鳴らしているんですね。


いずれにせよ、これらの一連の問題が「生成AIの学習データに由来する『癖』がこれほどの影響を社会に与え得る」ということがはっきり見て取れる典型例である、ということだけは確実に言える気がしています。


コメントなど


これは去年の時点で生成AIに詳しい人たちの間では言われ始めていたことで、今更大袈裟に書き立てる話でもないと思うのですが……結局のところ「誰もが生成AIにドキュメントを書かせる時代」が到来しつつある中にあって、尚且つ「誰もが使う生成AIに（それまで人々の多数派があまり使ってこなかった）比較的マイナーな表現を含む学習データが大量に使われて」いたら、当然ですが「世の中に溢れるドキュメントは今後どんどん従来はマイナーだったはずの表現で埋め尽くされていく」はずなんですよね。そして、今後開発されるであろう生成AIたちは、新たに生成されたそれらのドキュメントを主体とする学習データによって学習されていくわけです。


その結果起きることは、「生成AIが流行らせた慣用表現を使ったドキュメントが世界中に溢れる」→「その世界中に溢れたドキュメントを使って次の生成AIがまた学習する」→「その生成AIが……」というフィードバックループであり、いずれは生成AIが流行らせた慣用表現で世界中のドキュメントが埋め尽くされる、という事態になっても不思議ではないどころか、ほぼ既定路線なのではないかとすら思われます。


しかし、先述したナイジェリア英語の浸透という一件を見る限りでは、これはどちらかというと「その時々で覇権を握る生成AIの学習データ（RLHF含む）を巡るもう一つの覇権争い」という構図になっていくのかもしれません。もはや空想や妄想の域になりますが、例えば「トップシェアを誇る生成AIの開発プロセスに買収するなどして働きかけて、自分たちが恣意的に世界中に広めたいメッセージをRLHFで仕込んでいく」みたいな揉め事が今後は起こり得るのかなという気がしています*6。


そういう意味では、最近になって注目が集まってきている「AIの安全性」に関する議論の中に、今回のテーマも含められるべきなのでしょう。今後も同様のトピックスには引き続きキャッチアップし続けようと思う次第です。

*1:Paul GrahamのX投稿やRedditでの議論など

*2:冒頭の脚注にあったPaul Grahamの発言がまさしくそれ

*3:ナイジェリア英語はアクセントを含めて独特な要素が多いようで、例えばGoogle Assistantでもナイジェリア英語へのローカライズが個別に行われています

*4:学習データに占める割合は小さいが、最終的なアウトプットのチューニングの部分なので影響が大きいらしい

*5:コロナ禍で全世界的にリモートワークが拡大したのも一因かも

*6:既に起きていたりして