第 6 章 傑弗里·辛頓、楊立昆與反向傳播的孤膽救援#
6.3 支援向量機（SVM）與統計學習的壓制：神經網絡為何被嘲諷為「黑盒子」而再度低谷？#
6.3.1 SVM 的崛起#
1992–95 年，AT&T 貝爾實驗室的 Vladimir Vapnik、Corinna Cortes 等發展出支援向量機（Support Vector Machine, SVM）：以核函數把數據映射到高維空間、尋找最大間隔分類面——
\[ \max_{w,b} \; \frac{2}{\|w\|} \quad \text{s.t.} \quad y_i (w^T \phi(x_i)+b) \ge 1 \]
SVM 有三大殺手級賣點：理論保證（VC 理論的泛化界）、凸優化（全局最優、結果可重現）、核技巧（無需顯式特徵工程）。1995–2005 年的十年間，SVM 與 Boosting（1997 AdaBoost）統治了幾乎所有基準測試與頂會。
6.3.2 神經網絡的「原罪」#
神經網絡在同期的弱點被無限放大：
- 非凸優化：訓練結果依賴初始化與學習率，實驗難重現；
- 理論匱乏：無泛化界、無可解釋性，「黑盒子」成為審稿人的標準批語；
- 調參煉丹：需要大量耐心與運氣，不利於發表與教學；
- 算力瓶頸：沒有 GPU，深網訓練動輒數週。
1990s 末的殘酷現實：連 LeCun 的 CNN 都在實驗室內被建議改用 SVM 基線。Bengio 自述在蒙特婁也過著「領域最小化生存」的日子。
6.3.3 壓制中的暗流：三個人的聯盟#
在低谷中，辛頓—LeCun—Bengio 形成了非正式聯盟：互審論文、互相引用、在 NIPS 保住神經網絡的議程份額。辛頓的學生（Krizhevsky、Sutskever 等）與 Bengio 的學生（Goodfellow 等）將是 2010s 的主力。這段「三人組 + 學生網絡」的社會資本，是 2012 爆發的隱性基礎設施。
6.3.4 前因後果#
- 前因：反向傳播雖可行但算力數據不足＋SVM 理論優勢＋學界風向。
- 事件：1995–2005 SVM 主導期。
- 後果：神經網絡進入第二次冬眠（但比第一次溫和）；真正的轉機來自外部——數據（ImageNet）與算力（GPU）的非 AI 因素，第 7 章詳述。