第 6 章 傑弗里·辛頓、楊立昆與反向傳播的孤膽救援#
本章導言#
1980s 的 AI 主流是專家系統，而三個人在主流之外重振神經網絡：辛頓（反向傳播）、LeCun（卷積網絡）、Bengio（序列與語言）。本章三節：6.1 辛頓；6.2 LeNet；6.3 SVM 的壓制。
6.1 傑弗里·辛頓（Geoffrey Hinton）：在全學界冷眼嘲笑下堅持研究多層神經網絡的學術「異端」#
6.1.1 貴族的異端血統#
傑弗里·辛頓（Geoffrey Hinton, 1947–）出身英國學術世家（邏輯學家喬治·布爾的曾曾孫）；劍橋實驗心理學出身、愛丁堡 AI 博士（1978）——論文題目正是神經網絡，在當時是「自毀前程」的選擇。1980s 先後在 UCSD、CMU 任職，1987 年轉至多倫多大學。
6.1.2 1986 年反向傳播的歷史性論文#
1986 年，辛頓與 David Rumelhart、Ronald Williams 在 Nature 發表《Learning representations by back-propagating errors》：以鏈鎖法則把輸出誤差逐層回傳，計算每個權重的梯度——
\[ \frac{\partial E}{\partial w^{(l)}} = \delta^{(l)}\,(a^{(l-1)})^{T}, \qquad \delta^{(l)} = (W^{(l+1)})^{T}\delta^{(l+1)} \odot \sigma' \]
多層網絡從此可訓練；XOR（3.3 的死刑判決）被徹底推翻。需公平指出：Werbos（1974）、LeCun（1985）等亦先後獨立提出同類方法；1986 論文的意義在於「讓全世界知道這可行」。
6.1.3 寒冬中的堅持與 2018 圖靈獎#
1980s–2000s 辛頓的實驗室長期貧困：經費少、研究生屈指可數、會議上被譏為煉丹。他與 Bengio、LeCun 維持了十餘年的小型「地下網絡」（NIPS 上的幾間會議室）。2012 年 AlexNet 奪冠（7.2）改寫一切；2018 年三人同獲圖靈獎；2019 年獲加拿大榮譽勳章、2024 年與 Hopfield 同獲諾貝爾物理學獎（表彰其神經網絡基礎發現）。
2013 年他帶領學生創立的公司被 Google 收購；2023 年他自 Google 辭職，公開警告 AI 風險（11.3 的伏筆）。
6.1.4 前因後果#
- 前因：Hopfield 網絡（1982）的體面化＋連接主義的邊緣存活＋Werbos 的先聲。
- 事件：1986 Nature 論文。
- 後果：多層網絡復活；但當時算力與數據不足，真正的爆發要等 GPU＋大數據（第 7 章）；反向傳播成為此後 35 年深度學習的地基。
下一節：6.2 LeNet