渋谷駅前で働くデータサイエンティストのブログ

元祖「六本木で働くデータサイエンティスト」です / 道玄坂→銀座→東京→六本木→渋谷駅前

「推論する生成AI」は事前学習されていない課題を正しく推論することができない(共変量シフトに弱い)

先日の記事で「CoTを用いて『推論』する生成AI」の「推論」能力の限界について、論文2点を挙げて論じたところ思いの外反響が大きくてちょっとびっくりしたのでした。なのですが、最近になって同じテーマに対して「厳密に条件統制されたデータセットを用いてL…

「推論する生成AI」は実際には思考しているわけではなく、丸暗記した結果を返しているに過ぎない

今回のテーマは以前からずっと言われ続けている話題なので特に目新しくも何ともないのですが、たまたま近い時期に2本の似通った内容の論文がarXivに出たので、まとめてダイジェスト的に紹介しようと思います。以下がそれらの論文です。1本目はApple、2本目は…

15年ぶりにハワイ島&8年ぶりにワイキキに行ってきました

タイトルを読んで字の如しですが、6月中〜下旬にかけて7泊9日の日程でハワイ島のマウナ・ラニとワイキキに行ってきました。我が家にとって、ハワイ島は15年前に嫁さんに加えて僕の両親を伴って訪れて以来、ワイキキも8年前にオアフ島のアウラニに泊まったつ…

一般化加法モデル(GAM)のknotsはどう決めるべきか

この記事は、以前MMM (Media/Marketing Mix Modeling)について概説した記事の続きです。今年ローンチされたMMMフレームワークのMeridianでは、従来の様々なMMMフレームワークとは異なり、トレンド・季節調整をモデリングする際に一般化加法モデル(Generalize…

交差検証さえしていれば事足りると思って、多重共線性をスルーしてはいけない

某所でボソッと呟いたら結構反応があったので、折角なので小ネタながら記事として書いてみようと思います。「多重共線性を放置したまま交差検証して汎化性能が確保できたつもりになる」ことの危険性、ブログにまとめたら需要あるんだろうか https://t.co/Dka…

AI研究者の76%が「現在のAIの延長上にAGIはない」と考えている(AAAI 2025 Presidential Panel Reportより)

各技術系メディアでは既に報じられていますが、今年のAAAI*1で会長名によってリリースされた"AAAI 2025 Presidential Panel on The Future of AI Research"の内容が非常に示唆に富んでいたので、改めてやや仔細に読み解いてみようかと思います。 なお、元の…

データサイエンティストがDJに転生した話

『コードとビートの狭間で』 第一章:覚醒 TXOは、自分の人生がこれほどまでに予測不可能になるとは、夢にも思っていなかった。東京大学で博士号を取得し、数年間ポスドクとして最先端の研究に没頭。その後、より実社会に近い分野での活躍を求め、外資系の巨…

深刻な不具合のあるデータ分析は、大抵の場合データも実装コードも見るまでもなくそれと分かってしまう

しばらく前に、こんなことを嘯いたら思いの外反応が伸びたのでした。「データも見られなければ統計的学習モデルのアルゴリズムも実装コードも見られない」状況で、そのデータ分析のどこにどんな不具合があるかを「分析結果だけを見る」ことで言い当てるのっ…

2025年版:独断と偏見で選ぶ、データ分析職の方々にお薦めしたい定番の書籍リスト

気付いたらこの企画をやるようになってもう12年も経つわけですが、今年も懲りずに推薦書籍リストを書いてみようかと思います。 昨年との差異ですが、まず「ホットトピックス」枠を削りました。理由は単純で、データサイエンス分野も昨今の多種多様な分野に細…

MMMのはなし

広告・マーケティング分析におけるMMM (Media/Marketing Mix Models)と言えば、このブログでも過去に何度か手を替え品を替え取り上げてきたテーマです。これまでは個々の技術的側面に着目した断片的な内容の記事を多く上げてきましたが、近年明らかにその注…

多重共線性のはなし

どうも昨年末にあちこちで多重共線性についての議論がなされていたようなんですが、些事にかまけていた僕はすっかりそのウェーブに乗り損ねてしまっていたのでした。そこで、今年最初の記事では遅ればせながらそのウェーブに乗る形で、また今までに学んだり…

自己回帰型モデルによる事前学習スキームの限界と、ビジネス実務の場で見える現実と

早いもので、2024年も恒例の年末回顧記事を書く時期になりました。ということで、今回は一年を通じて話題に事欠かなかった生成AIに関する最近の論争と、一方でBtoBのビジネスの現場で感じている現実とを綴ることで、今年の振り返りといたします。

ビジネス実務で「正しいデータ分析」を行うということ

一般に、ビジネス実務におけるデータ分析というと、経営者や各種ビジネス部門の責任者といったステークホルダーたちが「ビジネス上の意思決定のためのエビデンス」を得る目的で、往々にして社内外のデータ分析の専門家たちに依頼して実施させるものであるこ…

LLMには"Super Weights"があるという話と、現実のヒトの脳との関連性を考えてみる

X (Twitter)を眺めていたら、面白そうな論文が流れてきました。それがこちらです。実際に流れてきたのはこちらの紹介記事なんですが、その要約を読んだ限りでもなかなかに興味深い現象であるように思われます。ということで、何番煎じかもはや分かりませんが…

ソウルに行ってきました

11月上旬にお隣韓国はソウルに行ってきました。ということで、今月は特に論じたいテーマも見当たらないのでこのブログに海外旅行に行ってきた時の定番の旅行記記事を書き綴っておくことにします。もっともお隣韓国は今や日本では定番のお手軽海外旅行先です…

欠損値処理に関する備忘録

最近某所で話題になっていたのが「欠損値処理はどうやるべきか」というテーマ。これは太古の昔から「荒れるテーマ」として有名で、今回も大いに荒れていて傍観している側としては面白かったんですが(笑)、古老ともあろう身がただ面白がっているだけでは自…

「見せかけの回帰」の復習

先日のことですが、Querie.meでこんな質疑がありました。これは非常にご尤もなご意見であり、実際この問題提起に近いシチュエーションを見かけたことは五本の指では数え切れないくらいあります。ということで、今回の記事では元々の問題意識ともいえる「見せ…

生成AIの推論が高度になればなるほど、使う人間の側にも高度な知識が求められる

先日こんなことを放言したら、思いの外結構伸びてしまったのでした。「生成AIが博士号レベルの高度な課題解決や推論が出来る」ようになったら、その出力が正しいかどうかを判定できるのは同レベルの専門人材だけなので、そういう人材の需要が逆に高まる気が…

AIや機械学習が持て囃されて、統計分析やデータ可視化がいまいち主流になれない理由

先日のことですが、こんなことを放言したら思いの外伸びてしまいました。データ可視化は一時期物凄く流行った割に今はパッとしない印象があるんだけど、それは結局のところデータ可視化が「見る人に『考えさせる』仕組み」だからだと思う。現実の世の中では…

『ベイズデータ解析』はベイズ統計学を用いる全ての実務家が座右に置くべき第一級の鈍器

ベイズデータ解析(第3版)森北出版Amazon先日のことですが、『ベイズデータ解析』を訳者のお一人菅澤さんからご恵贈いただきました。もう一目見ただけで「鈍器」以外の語が出てこないくらいの立派な鈍器で(笑)、原著のBDA3*1に負けないくらいの鈍器っぷりが…

実務において回帰分析を行うに当たっての注意点を改めて挙げてみる

先日のことですが、以下のニュースが統計的学習モデル界隈で話題になっていました。肝心の箇所が会員限定コンテンツなので簡潔にまとめると、従来モデルよりも説明変数に入れる海域の数を増やした上で、Lasso(L1正則化)回帰で多重共線性を抑えつつ汎化性能…

フィジー(デナラウ / ナンディ)に行ってきました

Bula!*1 コロナ禍もすっかり落ち着いてようやく元通り恒例化した我が家の(一足早い)夏休み海外旅行ですが、今年は夏至のフィジーに行ってきました。我々としては初めてのハワイ以外のポリネシア方面への旅になったのですが、事前の期待以上に素晴らしいと…

機械学習を使うデータサイエンスの仕事に比して、統計学を使うデータサイエンスの仕事が産業界に少ない理由

近年のデータサイエンティスト界隈では、僕が以前スキル要件記事でも提唱した通りの「ソフトウェアエンジニアの延長としての機械学習エンジニア」(機械学習メイン)と「アナリストの延長としてのデータサイエンティスト」(統計学メイン)とにキャリアもポ…

生成AIによる「慣用表現の『乗っ取り』」と、その根底にある別の問題と

かなり前から「ChatGPTに学術論文を(英語で)書かせると"delve"のような普段使わないような単語が多く使われるのでバレやすい」という話がSNS以下各所で頻繁に噂されていたんですが*1、最近になってこの件について面白いpreprintが発表されていたのを知りま…

過学習(過剰適合)のはなし

すっかりおじさんになってしまった身としては近年の日本のミュージックシーンに極めて疎くなって久しいのですが、最近になってAdoさん*1の楽曲に『過学習』というタイトルのものがあるということを知ったのでした。一体どこで「過学習」なんてマニアックなテ…

『因果推論』(金本拓:オーム社)は因果推論に留まらず現代的なマーケティング分析手法まで網羅したバイブル

因果推論: 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ作者:金本 拓オーム社Amazon著者の金本さんからご指名でご恵贈いただいたのが、こちらの『因果推論 ―基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ―』…

「データサイエンティストがヒーローとなって世界を牛耳る闇の権力者集団と戦う」映画を自主制作しました

良い時代になったもので、映像制作とか娯楽作品の創作とかやったことがなかった僕でも生成AIを駆使すれば自主制作映画が作れるようになりました。ということで、以下にそのPRを並べておきます。こちらのYouTubeのリンクから見られます! タイトル Codebreake…

どのような場面で多重比較補正が必要なのか

先日のことですが、Querie*1で以下のような質疑がありました。恐らくですが、これは僕が懇意にさせていただいているマクリン謙一郎さんがコメントしていた件に関連する話題だと思われます。たしかにこれではないからHARKingとはちょっと違うと思うんだけど、…

ビジネスの実務で「因果」を推測するということ

統計的因果推論と言えばすっかり統計学分野ではお馴染みのアプローチになった感があり、また機械学習分野でも扱うテーマが複雑化するにつれて注目が高まり続けているトピックスという印象があります。 このブログでも2016年ぐらいから因果推論に関する記事を…

2024年版:独断と偏見で選ぶ、データ分析職の方々にお薦めしたいホットトピックス&定番の書籍リスト

毎年四の五の言いながら書いている推薦書籍リスト記事ですが、何だかんだで今年も書くことにしました。なお昨年度版の記事を上にリンクしておきましたので、以前のバージョンを読まれたい方はそちらをお読みください。 今回のバージョンでは、趣向をちょっと…