11月に入って勤務先のオフィスが本格的に再開されてから、久しぶりに会社のメールルームを覗きに行ったところ、届いていた（つまりご恵贈いただいていた）のがこちらの一冊です。Deep Learningの三開祖の一人にして2018年度のチューリング賞受賞者の一人でもある、ヤン・ルカン御大その人が著した『ディープラーニング 学習する機械』です。
本書は日本語版が出た直後から絶賛する声が聞こえてきていて、興味はあったのですが気を逸した感が否めなかったので、こうしてご恵贈いただけて有難い限りです。講談社サイエンティフィク様、まことに有難うございます。
ということで、早速ですが簡単にレビューしていこうと思います。
本書の内容
第1章 AI革命
1-1 偏在するAI
1-2 アーティストAI
1-3 人型ロボットのまやかし
1-4 GOFAIから......
1-5 ......機械学習へ
1-6 新旧のブレンド
1-7 定義の試み
1-8 今後の課題
1-9 アルゴリズムの外側
ここは完全に導入部分で、あくまでも前提知識としての一通りの「人工知能に関する一般論」がルカン自身の手で語られます。ただ、当人も恐らくあまり力を入れる気がなかったのか、物凄く薄っぺらい章になっているのはご愛嬌（笑）。
第2章 AIならびに私の小史
2-1 終わりなき探求
2-2 まずは論理
2-3 ゲームの世界
2-4 神経科学とパーセプトロン
2-5 冬の時代
2-6 「異端の過激派」
2-7 舞台に上がる
2-8 実りある読書
2-9 学習のコネクショニズムモデル
2-10 レズーシュでのシンポジウム
2-11 誤差逆伝播法
2-12 大御所たちの殿堂
2-13 ベル研究所時代
2-14 タブー視されるニューラルネットワーク
2-15 「ディープラーニングの陰謀」
2-16 畳み込みニューラルネットワークの有効性が立証される
ここからが本題であり、尚且つ僕が個人的に一番興味を持って読んだところです。ルカン自身の高校時代から大学、大学院、ポスドク、企業研究員（ベル研・NEC）、そしてNYU教授に至るまでのヒストリーが様々なエピソードとともに綴られます。
皆さんもご存知のようにジェフリー・ヒントン、ヤン・ルカン、ヨシュア・ベンジオといえば2018年度のチューリング賞に輝いた「カナディアン・マフィア」の3人組にして、それぞれ師匠・弟子・孫弟子の関係にある*1のですが、彼らがどのようにしてNN冬の時代の前に出会い、志を共にするようになり、冬の時代において雌伏の時を過ごし、そしてDeep Learningというキャッチーなマーケティングフレーズと共に表舞台に返り咲き、徐々に支持者を増やし、最後に今の立ち位置に至ったかという、一連のストーリーが書かれています。
ちなみに当時のベル研界隈と言えば現在その名を知られる機械学習の大御所たちがズラリと揃っていたわけで、SVMの開祖ヴァプニクとのエピソードや、初期のまだ計算論的神経科学が大手を振っていた時代のNeurIPSを率いていたセイノフスキーの話などが出てきて、やはりNN界を代表する大御所の回顧録はその内容の厚みが違うなと感じさせられた次第です。
特に、ヴァプニク御大のあまりにも有名な"All your Bayes are belong to us"というホワイトボードに書かれたメッセージと共に写っている写真*2が撮られた際のエピソードは、他でもないルカン当人が撮ったものだけに実に面白かったです。ロシアからの移民で英語が不得手だったヴァプニクには分かりづらいジョークとして撮ったものだとは、僕も初めて知りました。
なお余談ですが、ルカンがベル研にやってきた頃の研究部門長は、宇宙背景放射の発見でノーベル賞に輝いたアーノ・ペンジアスだったそうです。僕がまだ天文少年だった中学生の頃、ビッグバン宇宙論が支持されるようになった最大の証拠である宇宙背景放射を彼とロバート・W・ウィルソンが「偶然」見つけた時のエピソードを面白く読んでいただけに、彼らとルカンとの間にそんな繋がりがあったのかという感慨を覚えました。
第3章 単純な学習機械
3-1 発想の源アメフラシ
3-2 学習と誤差の最小化：その一例
3-3 xの関数yを予測するf(x)を求める
3-4 数学好きのための補足
3-5 ガリレオとピサの斜塔
3-6 画像その他を認識する
3-7 ローゼンブラットとパーセプトロン
3-8 25ピクセルのグリッド
3-9 CとDを区別する
3-10 教師あり学習と汎化
3-11 パーセプトロンの限界
3-12 解決策：特徴の抽出
3-13 まとめ
ここからはパーセプトロンを中心とするNN及び機械学習そのものの「初歩」の話題が語られていきます。既に勾配法などある程度機械学習の基礎をなす各種アルゴリズムや理論の初歩を学んだ人にとっては平易な内容だと思いますが、そうでない人が読むとしんどいかもしれません。また、この章から後述するような本書独特のアルゴリズムの記法が使われています。3-4節の冒頭から引用すると*3、
というような雰囲気の書かれ方をしています。以後も一貫してアルゴリズム類の説明ではこの記法を使っています。
第4章 最小化学習、学習理論
4-1 あらまし
4-2 コスト関数
4-3 谷底を見つける
4-4 勾配計算の実際
4-5 確率的勾配降下法
4-6 ニセの谷底
4-7 学習の一般理論
4-8 モデルの選択
4-9 牛と3人の科学者
4-10 オッカムの剃刀
4-11 訓練のプロトコル
4-12 妥協点を見つける
4-13 ブール関数のめまい
4-14 ありうる関数のいくつかの例
4-15 正則化：モデル容量の抑制
4-16 人間のための教訓
段々と現代的なNNの話題に入ってきます。この章では勾配、交差検証、正則化といったNNで多用される各種のアルゴリズムや手法（枠組みというべきか）の話題が展開されます。第3章同様に既にある程度学んでいる人にとってはありふれた内容だと思います。
第5章 深層ニューラルネットワークと誤差逆伝播法
5-1 ミルフィーユ
5-2 連続的なニューロン
5-3 わがHLM！
5-4 先陣争い
5-5 誤差逆伝播法の数学的理解
5-6 多層の有用性について
5-7 反論に打ち勝つ
5-8 特徴の学習
この章ではNNをNNたらしめた誤差逆伝播法の話題を中心に、NNが多層化していく過程をルカン自身がかつて提案した"HLM"（ヒントン先生とは別個にルカン自身が誤差逆伝播のアイデアを具体化させたネットワーク）を引き合いに出しながら説明しています。
個人的には、流石はまだ誤差逆伝播がなかった時代に独自にこれを考えついた人の説明だな、という感想を抱きました。実を言うと、どのNNに関する専門書を見ても誤差逆伝播は「これは当然のアイデアだろ」と言わんばかりにそれそのものの意義についての説明はざっくり流されてしまう印象があるのですが、図5.5-5.7の一連の図式はその意義やコンセプトが一目瞭然で分かりやすかったです。
第6章 AIの支柱、ニューラルネットワーク
6-1 2012年の爆弾
6-2 視覚野：単純型細胞
6-3 視覚野：複雑型細胞とプーリング
6-4 福島の先見性
6-5 フラッシュバック
6-6 畳み込みニューラルネットワーク
6-7 物体の検出、位置決定、セグメンテーション、認識
6-8 セマンティックセグメンテーション
そして、第6章でついにDeep LearningそしてConvNet*4が登場します。それはルカン自身が若かりし頃に作り上げたLeNet*5の現代版でもあり、そこにはルカンが視覚野のコラム構造＆ネットワークの神経科学的知見*6さらには日本の福島邦彦先生のネオコグニトロンからの着想も込められている、ということが力説されます。
なお、この章では比較的初期に既に実装されていたセマンティック・セグメンテーションの話題も出ており、割と早い時期からこのレベルのアイデアは既に実現していたのだなと唸らされた次第です。
第7章 ディープラーニングの現在
7-1 画像認識
7-2 コンテンツの埋め込みと類似性の測定
7-3 音声認識
7-4 音声と音の合成
7-5 言語理解と翻訳
7-6 予測
7-7 AIと科学
7-8 大規模アプリケーションのアーキテクチャ：自律走行車
7-9 自律と混合システム
7-10 完全自律？ エンドツーエンドの訓練
7-11 大規模アプリケーションのアーキテクチャ：仮想アシスタント
7-12 大規模アプリケーションのアーキテクチャ：医用画像と医学
7-13 昔のレシピ：検索アルゴリズム
NNの理論・アルゴリズムの話題を扱う最後のこの章は、文字通りNN研究開発の最先端がテーマです。現在でも頻出するembedding, Word2Vec, Attention, Transformer, ELMo, BERTといった概念・手法・ネットワークについて、その概論を簡潔にエピソードも交えながら紹介しています。
章の後半ではそれら最先端のNNが直面する課題や実際に課題解決してみせた事例などが紹介されています。どうでもいい感想ですが、ルカンほどの大御所でも割と細かい応用事例とかに詳しいんだなぁと、勝手ながら感嘆しておりました（笑）。
第8章 Facebook時代
8-1 マーク・ザッカーバーグにスカウトされる
8-2 Facebook人工知能研究所
8-3 目論見
8-4 情報のフィルタリング
8-5 ケンブリッジ・アナリティカ問題についてひと言
8-6 ニュースフィード
8-7 Facebookとメディアの未来
8-8 新しいFacebook
8-9 FAIRの現場
8-10 チューリング賞
序章で「Facebook（現Meta）の社内事情も包み隠さず話そうと思っている」と書いた通りに、この章ではFacebookに移籍した際のエピソードを赤裸々に綴っています。マーク・ザッカーバーグから誘われた時のこと、マークがルカンの論文を読み込んでいたことに驚いたこと、2013年のNeurIPSにマークが来訪した*7際の裏話、などなど近年のFacebookとルカンを巡る動向を知る人にとっては極めて面白く読めるであろう話題が満載です。
FAIR (Facebook AI Research)設立に当たって、ルカンが「研究成果は論文の形でオープンにし、それに基づくソフトウェアもOSSでオープンにする」という条件をマークに認めさせたという下りも、なかなかに唸らされるものがありました。そこは彼の「科学はオープンであればこそ国際的なコミュニティが発展し分野も発展する」という研究者としての信念の反映があったわけですが、加えて
もし人間レベルのAIにつながる極秘の研究成果をもっていると主張するスタートアップ経営者に遭遇した場合、彼らは嘘をついているか、錯覚しているのだ。信じてはいけない。
と警句を添えているのはなかなかにパンチが効いているなと思った次第です。そういうスタートアップ見かけたことがあるようなないような……おっとっと（笑）。
また、FAIRの所長であったルカンの責任感の顕れなのでしょうが、2019年にクライストチャーチで起きたヘイトクライム乱射事件に際して犯人から動画投稿があった時の話やピューリッツァー賞を受賞した有名な写真が検閲対象になってしまった騒動、さらにはもっと踏み込んでケンブリッジ・アナリティカ問題についてもルカンならではの考察や弁明が書かれています。
第9章 そして明日は？ AIの今後と課題
9-1 自然は発想の源（ただし、ある程度まで）
9-2 機械学習の限界：教師あり学習
9-3 強化学習
9-4 強化学習の限界
9-5 常識という問題
9-6 人間の学習方法
9-7 自己教師あり学習
9-8 多重予測と潜在変数
9-9 予測能力？
9-10 自律知能システムのアーキテクチャ
9-11 ディープラーニングと推論：動的ネットワーク
9-12 知能をもつ物体
9-13 AIによる未来
ここからは一般的な「AIの未来と問題点」の話題が展開されます。まず第9章では、乱暴にまとめると「強いAI」が作れるかどうか＝シンギュラリティは到来し得るかという議論がなされます。全体として見ると、ルカンの立場は「難しそうだ」というもので、その理由としていくつか重要な論点が挙げられています。
個人的にも同意するのが「AI/MLには『常識』を持たせられない」という点です。これについてルカンは「ピエールはカバンをもって会議室から出ていく」という文章を見れば、普通の人間ならどういう情景かが簡単に想像できるはずである一方で、「機械では今のところ限定的にしかできない」という指摘をしています。つまり、ヒトは生まれてからの長い長い発達過程の間に想像を絶する経験を獲得して数多くの「常識」「世界モデル」を身につけるとともに、新たな物事であってもごく少ないサンプルから一般化された概念を学習し得る。だが機械にはできない、という問題提起をしているわけです。
第10章 AIの問題点
10-1 AIが社会や経済を変える
10-2 AIイノベーションエコシステム
10-3 AI革命の恩恵を受けるのは誰か？
10-4 軍事転用の危険性
10-5 バイアスとセキュリティ逸脱
10-6 AIは説明可能であるべきか？
10-7 人間の知能に対する理解は深まるか？
10-8 脳は機械にすぎないのか？
10-9 すべてのモデルは間違っている
10-10 心配する声
10-11 AIが飛躍的発展を遂げるには？
10-12 生得的なものと後天的なもの
10-13 機械に意識は宿るだろうか？
10-14 思考における言語の役割
10-15 機械に感情は宿るだろうか？
10-16 ロボットは権力を握ろうとするだろうか？
10-17 価値観の一致
10-18 新たなフロンティア
10-19 知能の科学？
最後は、残る片方である「AIの問題点」について。内容としては、最終章なせいもあってかそこまで筆致が鋭くないという印象があります（ごめんなさい）。ただ、どちらかというとルカンの課題意識はやはりFacebookでの体験もあってか倫理面に集中しているようで、逆に「シンギュラリティは遠い」という立場から「AIは人間の脅威になるか」という点については「どうせ無理なので心配するような話ではない」というスタンスであるように読めました。
ただし、最後の10-19節では非常に大事なことを言っています。ルカンの指摘では「科学史においては、技術的な発明品が理論や科学に先行していることが多い」として、望遠鏡（1608年）に対する光学（1650〜1700年ごろ）、テレタイプ（1906年）に対する情報理論（1948年）などを挙げています。その上で
AI研究はまだ発明の段階にあり、科学の域には今なお達していない。知能についての一般理論が欠けているからである。
と述べ、ルカン自身も今後は知能の根底にひそむメカニズムや原理を研究していきたいという抱負を語っています。
特に個人的に印象に残った点
ある程度内容紹介のところにも感想を書いておきましたが、特に印象に残った点を別に挙げておきます。
全てのアルゴリズムに関する記述が（擬似）Pythonコードで書かれている
正直なところTeXで数式で書いたり、普通に疑似コードで書いても良かったのではないかと思うのですが、ルカンの趣味なのかPythonコードもしくはPython「のような」フォーマットで、上述の3-4節のように全てのアルゴリズムとそれに関連する内容がボックス引用で書かれています。
これは恐らく「現代のテクノロジー業界には沢山いるであろう『数式を読み解くのは不得手だがPythonコードなら読み書きできる』上で機械学習に興味ある人々に本書を読んでもらいたい」という、ルカンの狙いがあったのではないかと思われます。確かに、PRMLのようにズラリと数式が並ぶ書籍だと読むこと自体がしんどいという人は世の中少なくないので、これは斬新なやり方だなと思いました。
ただし「単に書き方がPythonコードっぽくて読みやすい」というだけで、個人的にはPRMLやカステラ本に載っている「数式で書かれたアルゴリズムの説明」と大差ないなという印象を持ちました。というか、そっちに慣れてしまった身からすると逆に読みづらい箇所もあったりなかったり……とはいえ、多重forループでアルゴリズムを表現する数式の「添字」の気持ちを表現しているのは悪くないかもと思いました*8
だが3-4節「数学好きのための補足」を読んで理解できる人だけが、本書を難無く読破できる
これは別に煽りでも何でもなくて、単純に「現代のNNを中心とする機械学習の基礎中の基礎の一つに当たるSGDのエッセンスを説いているのが3-4節だから」です。
この辺の話は以前記事を書いた通りで、結局のところ「とりあえずアルゴリズムの説明を読んで『ああこういう式にすればコスト関数の底に向かって進んでいけるし、行き過ぎたら引き返せるんだな』みたいなことが分かる」人でないと理解できない話なんだと思うのです。実際、3-4節は訳者あとがきでも指摘されているように「補足扱い」になっているものの、それに続く第4-6章は同じノリでもっと発展的な内容まで含めてゴリゴリ書かれているわけで、3-4節が一種の「資格試験」のようになっている感すらあります。
ある程度学んできた人が読んでこそ、本質的な俯瞰像を得られる
そして、全体を通して感じたのがこれです。即ち、Pythonコードに馴染みがあってある程度数式も読める、いわば「機械学習とNNのための素養」のある人が本書を読めば、NNの黎明期から発展期、冬の時代、再興期、そして現在の全盛期に至るまでを網羅的に、ルカンという世界の第一人者の視点を通じて俯瞰できる、ということなのだと思うのです。
それはやはりLeNetの祖でもある、Deep Learningの三開祖の一人たるルカンなればこそ成せる業で、簡潔ながらも本質を極めて正確に突く説明を心がけているように僕には読めました。勿論、一般書として書かれているので専門的な内容としては不足している部分も数多くありますが、それは他書や論文を当たれば良い話のはずです。本書の中にも各種の有名アルゴリズム・ネットワークには主に論文を中心とした出典がきちんと引用されていて参照できるようになっていますし、具体的な実装やその理論・アルゴリズムを知りたいなら他の専門書を当たれば十分でしょう。
大事なことは、ルカンが本書の全体を通じてNNそしてAIという大きな分野全体の「ビジョン」を説いている、ということだと個人的には理解しています。それは最後の最後である10-19節で述べられている通りで、生粋のコネクショニストであるルカンにとってはやはり「ヒトの知能の原理を知ること」が究極の目標なのでしょう。そのための仲間を一人でも増やしたい、そんな気持ちが込められた一冊だなと僕は感じています。
余談
以前こんな記事を書いたことがあるくらい、実は意外と現代に至るまでのNNの歴史的経緯を紐解いた物語ってそれほど多くないんですよね。それは断片的に様々なエピソードもしくはその集合体として語られることが多かったのですが、特に「当事者」がそれを語ることは極めて珍しかったのでした。
その意味では、こうしてルカンという「当事者中の当事者」が自ら筆を執って「一人称の物語」を書き起こしたということ自体に、非常に大きな意義があると思っています。特に、僕個人の目から見ると「NNはいつしか心理学と生理学から離れていった」ように見えていたので、その内側で何が起きていたのかには前々から興味がありました。本書には、そのごく一部ながら当事者たるルカン自身の目から見た流れが綴られていて、大いに感銘を受けた次第です。
以前書評記事を書いた『マスターアルゴリズム』『「誤差」「大間違い」「ウソ」を見分ける統計学』*9と同じく、本書もまた「ある程度機械学習を学びその学流を知っている人でないと楽しめない」という側面があるのも事実ですが、一通り機械学習を学んだ人が読めば面白くないわけがないという一冊なので、そういう方々には是非お読みいただければと思います。
そして、そうでない方々にも是非一度読んでいただいて、分からなかった点があったならば一旦飛ばして最後まで読んでみて、その上でちょっと機械学習を学んでみてから改めて再読してみる、というのを是非試してみていただきたいです。「あの時読んでも分からなかったことが分かるようになった！」という、新たな感動が得られるはずですので。
*1:ただしベンジオとルカンは4歳差しかない
*2:http://www.lecun.org/gallery/libpro/20011121-allyourbayes/dsc01228-02-h.jpg
*3:はてな記法では書けなかったのでgistでmarkdownで書いた
*4:本文中でルカンはCNNと呼ぶよりConvNetと呼ぶ方が好きだという趣旨のコメントを書いている
*5:これもLeCun NetworkだからLeNetなんですね：当時のベル研所長ラリー・ジャッケルの命名だそうです
*6:本書中で何度もHubel & Vieselの業績が引用されている
*7:僕も実は全く同じ大会に参加していたんですが、惜しくもマークが登壇したワークショップが開かれた時には既に帰国の途についていたのでした
*8:もっともこれも疑似コードで良いのでは感はある
