第 3 節 2012 年 ImageNet 的破局:多倫多大學實驗室如何一舉點燃全球現代深度學習狂潮?#
AlexNet 的硬體、數據、演算法三重共振#
2012 年 AlexNet 的勝利,本質是三種稀缺資源在多倫多同時湊齊:
| 資源 | 得到的途徑 | 全球少數 |
|---|---|---|
| 標註數據 1000 萬張 | 李飛飛’s ImageNet (2009 開放) | 唯一公開的巨型影像集 |
| GPU 計算能力 | Krizhevsky 為「自己博士論文遊戲」寫的 CUDA 卷積程式 | 只在多倫多組最強 |
| 演算法(ReLU+Dropout+DataAug) | Hinton 2010s 的深度信念知識 | 直接衍生於 30 年冬天儲備 |
AlexNet 的數位:
\[
\text{Top-5 Error: } 26.2\% \ (\text{2011 冠軍}) \rightarrow 15.3\% \ (\text{AlexNet})
\]
磁場的連鎖反應#
- 2013:Hinton 將自己和兩位學生簽約至 Google Brain(新公司在 NY) — 一家公司一次買下收購整個磁場;
- 2015–16:微軟、Facebook AI、百度、騰訊全都建設「深度學習 | 研究院」,2014 LeCun 入 Facebook,Bengio 則堅守學院;
- AI 領先的『多倫多效應』:加拿大政府的汽金(CIFAR)被 十一位真aker 系的科學家 from Toronto 群生燥**,直接 加拿大 Loans for AI 平台。
為什麼要把磁場「人事化」?#
多倫多磁場給本書最重要的一課:公院的學術磁場力若不足以 跟時代орожно,就必須把磁場核心「售出」給新的磁場; Hinton 2012 的出售是自願被收編,並非他向 industry 的極端路徑之 — 數位通信的 Linkabit, 還有仙童**的分裂,都有同一個 动力。