2018 Bengio, Hinton & LeCun —— 深度學習的三位偵探#

「2004 年前後，神經網路是學界的笑話：基金會不給錢、會議不收論文。三位『信徒』靠什麼翻案？答案是：一層又一層、加上一點 GPU、還有一個五十年前的老想法 ——反向傳播。」

案件檔案#

項目	內容
得主	Yoshua Bengio (1964–)、Geoffrey Hinton (1947–)、Yann LeCun (1960–)
得獎理由	深度神經網路的概念與工程突破
關鍵詞	反向傳播、卷積網路、表示學習、注意力

1969 年 Minsky 案（感知機之死）後，連結主義冬眠。 1986 年 Hinton 等發表反向傳播，但電腦太慢、資料太少、深層網訓練不動（梯度消失）。2000s 深度網被視為死路。謎題：翻案的證據鏈如何累積？

L：損失函數；網路 f_θ
∂L/∂θᵢ = Σ ∂L/∂a⁽ᴸ⁾ · ∏ ∂a⁽ˡ⁺¹⁾/∂a⁽ˡ⁾ · ∂a/∂θᵢ
（連鎖律的自動化 = 自動微分）
深層問題：∂a⁽ˡ⁺¹⁾/∂a⁽ˡ⁾ 範數 <1 → 指數衰減（梯度消失）

1986 證明多層網可擬合任意函數，但訓練不動—— 工具在、算力與資料不在。

以視覺皮層的局部感受野 + 權重共享設計 LeNet：

參數量：全連接 784×1000 ≈ 10⁶；卷積核 3×3×64 ≈ 10³
不變性：平移不變 ← 權重共享的數學後果
1998 LeNet-5 讀遍美國支票

卷積是把先驗（影像的局部性）寫進架構—— 「歸納偏置」一詞的工程來源。

2006 深度信念網（逐層預訓練）重燃興趣；2012 年 AlexNet 在 ImageNet 競賽將錯誤率 26%→15%：

三引擎匯流：標註資料（ImageNet, 1.4M 圖）
           + GPU（平行矩陣乘法，2017 案的硬體路線）
           + ReLU（緩解梯度消失）+ Dropout（正則化）

翻案日：2012 年 10 月。五年內 CV、NLP、語音全面改朝換代。

深度學習的偵探學結論：資料 × 算力 × 架構先驗的乘積效應。

成功條件：f(資料規模, 平行算力, 歸納偏置) > 門檻
  任一項不足 → 1980s–2000s 的多次嘗試皆倒於此
Scaling Laws（2020）：loss ≈ a·N^(−α) + b·D^(−β) + c
  ——把「更大更好」變成可外推的冪律

與 1969 Minsky 案的和解：他當年正確指出單層不行、多層缺演算法——2018 案是五十年後的結案陳詞。