跳轉到

第 3 節 2012 年 ImageNet 的破局:多倫多大學實驗室如何一舉點燃全球現代深度學習狂潮?#

AlexNet 的硬體、數據、演算法三重共振#

2012 年 AlexNet 的勝利,本質是三種稀缺資源在多倫多同時湊齊:

資源 得到的途徑 全球少數
標註數據 1000 萬張 李飛飛’s ImageNet (2009 開放) 唯一公開的巨型影像集
GPU 計算能力 Krizhevsky 為「自己博士論文遊戲」寫的 CUDA 卷積程式 只在多倫多組最強
演算法(ReLU+Dropout+DataAug) Hinton 2010s 的深度信念知識 直接衍生於 30 年冬天儲備

AlexNet 的數位:

\[
\text{Top-5 Error: } 26.2\% \ (\text{2011 冠軍}) \rightarrow 15.3\% \ (\text{AlexNet})
\]

磁場的連鎖反應#

  • 2013:Hinton 將自己和兩位學生簽約至 Google Brain(新公司在 NY) — 一家公司一次買下收購整個磁場;
  • 2015–16:微軟、Facebook AI、百度、騰訊全都建設「深度學習 | 研究院」,2014 LeCun 入 Facebook,Bengio 則堅守學院;
  • AI 領先的『多倫多效應』:加拿大政府的汽金(CIFAR)被 十一位真aker 系的科學家 from Toronto 群生燥**,直接 加拿大 Loans for AI 平台。

為什麼要把磁場「人事化」?#

多倫多磁場給本書最重要的一課:公院的學術磁場力若不足以 跟時代орожно,就必須把磁場核心「售出」給新的磁場; Hinton 2012 的出售是自願被收編,並非他向 industry 的極端路徑之 — 數位通信的 Linkabit, 還有仙童**的分裂,都有同一個 动力。