第 7 章 辛頓、李飛飛與 ImageNet：深度學習的破曉引爆點#
7.2 2012 年 ImageNet 大賽：辛頓與弟子 Krizhevsky 憑 AlexNet＋GPU 以碾壓姿態奪冠#
7.2.1 一支三人大隊#
2011–12 年，多倫多大學辛頓實驗室的兩名博士生——Alex Krizhevsky（CUDA 程式高手）與 Ilya Sutskever（理論與直覺兼備，後為 OpenAI 首席科學家）——與辛頓合作，以 GPU 實現一個深層卷積網絡（後稱 AlexNet）參加 ILSVRC-2012。
7.2.2 碾壓級的數字#
ILSVRC-2012 Top-5 錯誤率：
| 隊伍 | 方法 | 錯誤率 |
|---|---|---|
| 多倫多大學（AlexNet） | 深度 CNN＋GPU | 15.3% |
| 第二名（日本 NII 等） | 傳統特徵＋SVM | 26.2% |
差距 11 個百分點，是該競賽史上最大單年降幅；第二名們的模型在 AlexNet 面前如同上一個時代的產物。評審之一的 Jitendra Malik（伯克利）私下對辛頓說：「你們贏了，這個領域要變天。」
7.2.3 AlexNet 的技術清單（成為此後十年範式）#
- 五層卷積＋三層全連接，6,000 萬參數；
- ReLU 激活（比 sigmoid 快數倍的梯度傳播）；
- Dropout 正則化（辛頓等人 2012 提出）；
- 兩張 GTX 580 GPU 的數據並行訓練（約一週）；
- 數據增廣（翻轉、裁剪）榨乾 ImageNet。
7.2.4 工業界的雪崩式反應#
- 2013 年 3 月，辛頓等三人（Hinton、Krizhevsky、Sutskever）成立公司 DNNresearch，由 Google 以約 4,400 萬美元（競標傳聞中擊敗百度、微軟、DeepMind）收購；
- 同年 Google 收購 DeepMind（8.1）；Facebook 招募 LeCun 建立 FAIR（2013）；
- ILSVRC 2013 起前幾名全為深度學習；2015 年 ResNet 錯誤率降至 3.57%、超越人類水準（約 5%）。
7.2.5 前因後果#
- 前因：7.1 數據＋6.1/6.2 演算法＋7.3 GPU 算力。
- 事件：2012.9（ECCV 發表）/2012.10（競賽結果公布）。
- 後果：深度學習範式正式登基；AI 投資與人才爭奪戰啟動；辛頓三人 2018 共獲圖靈獎；Sutskever 攜「大數據大算力必勝」的信仰轉戰 OpenAI（10.2）。
下一節：7.3 GPU 轉折