初めてこのブログに来た方へ

これは初めてこのブログに来た方々向けのトップ固定記事です。最新記事の更新状況に応じて随時更新されます。

はじめに

公式のプロフィールはLinkedInに掲載しております。

このブログの内容は個人の意見・見解の表明であり、所属組織の意見・見解を代表しません。またブログ記事の内容の正確性については一切保証いたしません。学術的・技術的コンテンツを求めて来訪された方は、必ず学術書や論文などのオーソライズされた資料を併せてご参照ください。むしろ僕自身の学習のプロセスを記録しているだけの備忘録的記事が多いため、誤りもまた多いはずです。後学のため、誤りを見つけた場合はコメント欄などでお知らせいただけると有難いです。

また、ブログの中で取り上げられているデータ分析事例・データセット・分析上の知見など全ての記述は、いずれも特別に明記されていない限りはいかなる実在する企業・組織・機関の、いかなる個別の事例とも無関係です。ブログ記事内容は予告なく公開後に改変されることがあります。改変した事実は明示されることもあれば明示されないこともあります。

このブログはあくまでも僕自身にとっての備忘録であり、利便を考えてweb上に公開しているだけという位置付けのものです。中にはその見かけとは全く別の真の目的をもって書かれた記事もあります。以上の点をご理解の上、お読み下さると有難いです。

id:TJOとは何者なのか

データサイエンティスト・機械学習（人工知能）エンジニアとは何か

データ分析を仕事にしたければ読むべき本は何か

Googleに勤めて10年が経ちました

光陰矢の如しとは良く言ったもので、今日でGoogleに入社して10年が経ちました。それまでは研究者時代まで含めても5年以上同じところに勤めたことがなかった上に、Googleに入ってからも「5年もいられたら御の字」と思っていたことを考えると、随分と遠いところまでやって来たなぁというのが偽らざる感想です。ということで、主に公開済みの記事・資料類を引きながら、この10年間やってきたことを差し支えない範囲で振り返ってみようと思います。

見た目は全く同じ実験結果なのに、データの取られ方次第で分析結果が変わる統計的仮説検定

各種SNSでたまに統計哲学まわりの議論が出ると必ず話題に上るのが「尤度原理」即ち「尤度（ある結果が生じる確率をモデルのパラメータの関数と見たもので「データがもたらす」ものでもある）が同じ（もしくは関数形が同じで互いに比例関係にあるだけ）であるならば分析結果もまた同じでなければならない」という考え方で、ほぼ確実に頻度論vs.ベイズの文脈で出てくる話です。ところが、周囲を観測した範囲では意外と知らない人が多いようなので、太古の昔から言い古されてきたネタですがこのブログでも取り上げてみようかと思います。

なお、今回のネタは日本語圏の資料に乏しい上に詳説している邦書はほぼ見当たらないという有様でして、色々と調べながら自前でまとめたものですので、理解不足・認識の誤りによる不備などがあり得ます。その際は是非忌憚なくご指摘くだされば幸いです。

LLM/生成AIに帰納的推論と演繹的推論とをバランス良く統合させることは可能か？

今年このブログでは、何度かTransformerなど自己回帰モデルベースのLLM/生成AIには「帰納的推論は出来ても演繹的推論が出来ていないが故の問題がある」という議論を扱ってきました。

例えば7月の記事では「世間で広く知られている複雑な論理パズルと、それと同じパズルの一部を改変した『自明』なパズルとのペアを多数用意して、主要なLLM/生成AIのCoT推論エンジンに回答させたところ、自明なパズルの正答率が一貫して元のパズルの正答率よりも低かった」という論文を紹介しました。この論文では「事前学習データに含まれているであろう論理パズルならどれほど複雑でも解けるのに、そのパズルを改変したらどれほど簡単でも解けなくなる」ことから、「LLM/生成AIのCoT推論は基本的には（事前学習データに対する）パターンマッチングに過ぎず、真の論理的推論とはいえない」と主張しています。

また8月の記事では「厳密に条件統制されたデータセットを用意してそれのみでLLMとそのCoT推論エンジンを事前学習させた上で、事前学習データ（とその推論プロセス）から僅かに改変された推論課題を多数用意して解かせたところ、事前学習データからの逸脱度に応じて正答率が低くなった」という論文を紹介しています。この論文では「CoTの推論能力は真の論理的推論のメカニズムではなく、洗練され構造化されたパターンマッチングの一形態であり、根本的に訓練時に見たデータ分布によって制限される」と指摘しています。

そしてこれらの論文で指摘される前から、Transformerというか「統計的学習」というパラダイムに依存するLLM/生成AIは原理的に「過去のデータや事例から一般的な法則を見出そうとする」帰納的推論に頼りがちで、それと本来対になるべき「所与のルールや法則を実際のデータや事例に当てはめる」演繹的推論が苦手（あるいは出来ない）という議論は長く続けられてきています。つい最近もLLMの算術計算はヒトが演算規則に従って行うそれとは仕組みが大幅に異なるらしいと指摘する研究が出ており（LLMのキモい算術 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ）、この課題点が根強いことが示された格好です。

そこで、僕個人としてはダイレクトに「LLM/生成AIに帰納的推論だけでなく演繹的推論をする能力を与えようという取り組みはないものか」と考えて、色々と調べてみたのでした。それがこちらの2024年に公開された論文（ACL2025に採択）です。

"The Role of Deductive and Inductive Reasoning in Large Language Models"とタイトルは大雑把ですが、LLMに帰納的推論だけでなく積極的に演繹的推論をさせようとしたというものです。その内容が結構面白かったので、今回の記事ではこちらの論文を紹介してみようと思います。