渋谷駅前で働くデータサイエンティストのブログ

元祖「六本木で働くデータサイエンティスト」です / 道玄坂→銀座→東京→六本木→渋谷駅前

AI・人工知能

「推論する生成AI」は事前学習されていない課題を正しく推論することができない(共変量シフトに弱い)

先日の記事で「CoTを用いて『推論』する生成AI」の「推論」能力の限界について、論文2点を挙げて論じたところ思いの外反響が大きくてちょっとびっくりしたのでした。なのですが、最近になって同じテーマに対して「厳密に条件統制されたデータセットを用いてL…

「推論する生成AI」は実際には思考しているわけではなく、丸暗記した結果を返しているに過ぎない

今回のテーマは以前からずっと言われ続けている話題なので特に目新しくも何ともないのですが、たまたま近い時期に2本の似通った内容の論文がarXivに出たので、まとめてダイジェスト的に紹介しようと思います。以下がそれらの論文です。1本目はApple、2本目は…

AI研究者の76%が「現在のAIの延長上にAGIはない」と考えている(AAAI 2025 Presidential Panel Reportより)

各技術系メディアでは既に報じられていますが、今年のAAAI*1で会長名によってリリースされた"AAAI 2025 Presidential Panel on The Future of AI Research"の内容が非常に示唆に富んでいたので、改めてやや仔細に読み解いてみようかと思います。 なお、元の…

LLMには"Super Weights"があるという話と、現実のヒトの脳との関連性を考えてみる

X (Twitter)を眺めていたら、面白そうな論文が流れてきました。それがこちらです。実際に流れてきたのはこちらの紹介記事なんですが、その要約を読んだ限りでもなかなかに興味深い現象であるように思われます。ということで、何番煎じかもはや分かりませんが…

生成AIの推論が高度になればなるほど、使う人間の側にも高度な知識が求められる

先日こんなことを放言したら、思いの外結構伸びてしまったのでした。「生成AIが博士号レベルの高度な課題解決や推論が出来る」ようになったら、その出力が正しいかどうかを判定できるのは同レベルの専門人材だけなので、そういう人材の需要が逆に高まる気が…

AIや機械学習が持て囃されて、統計分析やデータ可視化がいまいち主流になれない理由

先日のことですが、こんなことを放言したら思いの外伸びてしまいました。データ可視化は一時期物凄く流行った割に今はパッとしない印象があるんだけど、それは結局のところデータ可視化が「見る人に『考えさせる』仕組み」だからだと思う。現実の世の中では…

生成AIによる「慣用表現の『乗っ取り』」と、その根底にある別の問題と

かなり前から「ChatGPTに学術論文を(英語で)書かせると"delve"のような普段使わないような単語が多く使われるのでバレやすい」という話がSNS以下各所で頻繁に噂されていたんですが*1、最近になってこの件について面白いpreprintが発表されていたのを知りま…

2024年版:独断と偏見で選ぶ、データ分析職の方々にお薦めしたいホットトピックス&定番の書籍リスト

毎年四の五の言いながら書いている推薦書籍リスト記事ですが、何だかんだで今年も書くことにしました。なお昨年度版の記事を上にリンクしておきましたので、以前のバージョンを読まれたい方はそちらをお読みください。 今回のバージョンでは、趣向をちょっと…

エンジニア・データ分析職の方々にお薦めしたい、LLM時代に不可欠な教養が身に付くテキスト3選

(『IT Text 自然語処理の基礎』より)3ヶ月ほど前に空前のLLMブームについて概観する記事を書きましたが、それ以降も世間のLLMに対する狂騒ぶりは収まるどころかますます拍車がかかるという有様で、あまつさえ僕自身の仕事における日常業務にもじわじわと影…

LLMにデータ分析をさせてみる:テーブルデータの概要解釈

先日こんな記事を書いたのでした。はてブも400近くに達しており、良くも悪くもバズったようです。で、この記事の中で言いたかったことは幾つかあるのですが、その一つに「文書・テキスト要約など『そもそもLLMというかLM自体が得意な仕事』をさせると便利な…

ChatGPTに書かせた基礎統計学の教科書を公開しました

ChatGPT以下各種LLM chatbotが創り出すコンテンツが何かと話題を呼ぶ昨今ですが、僕もその世間の潮流に沿って試してみたことがあります。それが「統計学の教科書の自動執筆」です。 ということで、実際にChatGPTを使って基礎統計学の教科書を書いてみました…

LLM chatbotが人類にもたらすのは、絶望なのか希望なのか

ちょっと前に以下のようなことを放言したら、思いの外反響が多くてちょっとびっくりしたのでした。それだけ、現代のLLM chatbot / generative AIの台頭に期待と不安を抱いている人が多いということの裏返しなのでしょう。既に色々コメントが出ているけど、我…

難局を乗り越えた先に見えるもの

(Stable Diffusion 2.1でこの記事のタイトルをプロンプトとして与えて生成した画像)時が経つのは早いもので、あっという間に今年2022年も恒例の年末振り返り記事の時期が来てしまいました。ということで、例年通り何のオチも学びも技術的内容もない記事で…