初めてこのブログに来た方へ

これは初めてこのブログに来た方々向けのトップ固定記事です。最新記事の更新状況に応じて随時更新されます。

はじめに

公式のプロフィールはLinkedInに掲載しております。

このブログの内容は個人の意見・見解の表明であり、所属組織の意見・見解を代表しません。またブログ記事の内容の正確性については一切保証いたしません。学術的・技術的コンテンツを求めて来訪された方は、必ず学術書や論文などのオーソライズされた資料を併せてご参照ください。むしろ僕自身の学習のプロセスを記録しているだけの備忘録的記事が多いため、誤りもまた多いはずです。後学のため、誤りを見つけた場合はコメント欄などでお知らせいただけると有難いです。

また、ブログの中で取り上げられているデータ分析事例・データセット・分析上の知見など全ての記述は、いずれも特別に明記されていない限りはいかなる実在する企業・組織・機関の、いかなる個別の事例とも無関係です。ブログ記事内容は予告なく公開後に改変されることがあります。改変した事実は明示されることもあれば明示されないこともあります。

このブログはあくまでも僕自身にとっての備忘録であり、利便を考えてweb上に公開しているだけという位置付けのものです。中にはその見かけとは全く別の真の目的をもって書かれた記事もあります。以上の点をご理解の上、お読み下さると有難いです。

id:TJOとは何者なのか

データサイエンティスト・機械学習（人工知能）エンジニアとは何か

データ分析を仕事にしたければ読むべき本は何か

ハルシネーションとどう向かい合うべきか：LLMに「自信のなさ」というメタ認知を与えようという話

生成AI（というかLLM）に当初から付き纏い続ける問題のひとつに「ハルシネーション」がある、ということはこのブログをお読みの方々なら当然のようにご存知であろうと思われます。例えば純粋な知識的な事実誤認であったり、あるいはプロンプトで与えられたコンテクストの混同であったり、はたまた演繹的推論の失敗であったり、と様々な種類のハルシネーションが存在することがほんのここ数年で広く知れ渡るようになり、「生成AIにハルシネーションは付きもの」「ゆえに人間のチェックが必須」というのが社会全体としてのコンセンサスにすらなりつつあります。

ということで「生成AIにハルシネーションが伴うのは仕方ない」「生成AIを盲信するのは危うい」と誰もが認識しているというのが現状だと思われるのですが、そんな現状に一石を投じようというopinion paperが出てきました。それがこちらです。

"Hallucinations Undermine Trust; Metacognition is a Way Forward"（幻覚は信頼を損なう；メタ認知は前進への道である）というタイトルが示すように、割と正面から「ハルシネーションがいかにしてLLMへの信頼を損なっていて、それを解消するために今後何をしていくべきか」という提言がなされています。この論文の内容は全体として非常に多くの示唆に富んでいるものの、若干冗長な筆致ゆえその全てを解説していると途轍もなく長大なテキストになってしまうので、この記事では僕が重要だと考える箇所だけ適宜抜粋して*1ご紹介しようと思います。

*1:HTML版をTranslateにかけたものとNotebookLMのまとめとを参照しながら

何故今日においても回帰分析の理論的基礎を勉強しておくべきなのか

先日のことですが、以下のredtea(@Syuiro_2)さんの記事をお見かけしました。

これがもう本当に素晴らしい回帰分析の解説記事で、もう少し色々書き足すだけでかの佐和本*1の現代版として書籍化できるのではないか、というほどの優れた内容です*2。発展的話題として最近時々話題になる二重機械学習(Double/Debiased Machine Learning)についても触れられており、大いに勉強になりました。僕が四の五の論じる前に、まずは皆様にはぜひご一読いただければと思います。もっと言ってしまえば、以下に僕が記す戯言のほぼ全てはこちらの記事の内容で網羅されていますので、読む必要がないとすら言えます（笑）。

で、そのredteaさんの記事の最後のLevel 6の節を読むと、こう書かれています。

Level 6: 哲学的問いへ

最後のレベルでは、これまでの「回帰」という概念そのものを問い直します。が、私がこのレベルには到底到達していないので書けません笑

こんなのがあるのかもしれませんし、ないのかもしれません。Level 5より上位の理解、または別観点の理解がある方は是非執筆していただけますと嬉しいです。

「回帰」という概念そのものを問い直す、という哲学的問いに対しては僕も全く答えられませんが（笑）、「何故今日においてもこれらの回帰分析の理論的基礎を学ぶべきなのか」という実務家観点から語るポエムなら書けそうな気がします。ということで、相変わらずネタ切れ続きにつき他人様の記事をネタに何か書こうという浅ましさ加減で恐縮ですが以下につらつらと綴ってみようと思います。

*1:温故知新：古典的名著『回帰分析』（佐和隆光）を読む - 渋谷駅前で働くデータサイエンティストのブログ

*2:このブログの記事も引用していただき恐縮しております→多重共線性のはなし - 渋谷駅前で働くデータサイエンティストのブログ

時系列データの「トレンド」はどう分析したら良いのか（追記あり）

このブログでは割と頻繁に計量時系列分析の話題を書いているので皆さん食傷気味かもしれませんが、経済・ファイナンス時系列データに頻出する要素として「系列相関（自己相関）」というものがあります。それが生じる理由は多岐に渡るのでここではいちいち取り上げませんが、マーケティング業界でフォーカスされるのは主に季節性（曜日などに依存する周期変動）とトレンド（大きな「上昇下降傾向」や「うねり」として見られる中長期のベースライン変動）の2点だと思われます。

これら2つの非線形要素に対して、季節性は一般的には「真のシグナルとは無関係な変動」とみなされ、調整されることが多いです。で、トレンドも一般的には「時系列回帰モデルなどの分析の関心外」ということで、やはり分離した上で分析のメインテーマからは外されることが多いです。……なのですが、マーケティング業界ではこの分離されて傍によけられた側の「トレンド」がむしろ注目されることが多いんですね。

理由は色々あるんですが、最も多く聞かれるのが「ブランドエクイティ（ブランド資産）の蓄積効果だと見做し得るから」というもの。これは直感的にも分かりやすい話で、例えばMMM (Marketing/Media Mix Models)では「広告やマーケティング施策という『刺激』に対する『反応』」として捉えられる部分を線形回帰可能パートとして分離し、残りのトレンドを「何かしらのそれ以外の要因による長期変動」とみなすことが多いのですが、後者は確かにブランドが浸透した結果としての「底上げ」であると解釈するのが自然であろうと思われます。

そういうわけで「トレンドが生じる要因を分析で突き止めたい」という要望は定期的に持ち上がってくるんですが、困ったことに「トレンドを直接分析する方法」って意外とないんですよね。そこで、過去にこのブログで取り上げてきた「トレンドを扱えるかもしれない分析手法」を改めて概観することで、今後の議論のタネとしていこうと思います。なおいつもながらで恐縮ですが、僕は時系列分析は過去に散々勉強したものの理論面の理解度にはまだまだ不安がありますので、内容に理解不足や誤認識の点などありましたら何なりとご指摘くだされば幸いです。