跳轉到

2012：AlexNet 與深度學習 — 顯示卡點燃的類神經革命#

案情#

2012 年 10 月，多倫多大學 Hinton 團隊的 Krizhevsky、Sutshevsky、Hinton 以 AlexNet 參加 ImageNet 大規模視覺辨識挑戰賽（ILSVRC），將 Top-5 錯誤率從前一年約 25.8% 一舉壓到 15.3%（第二名 26.2%），震驚電腦視覺界。它用兩張 GTX 580 GPU 訓練了一個 8 層卷積神經網路，六千萬個參數——深度學習時代自此啟幕。

前因#

  • 1986 年 Rumelhart、Hinton、Williams 推廣反向傳播演算法，但受限算力與資料，類神經網路在 1990–2000 年代被 SVM 等方法壓制，歷經「兩次寒冬」。
  • 2006 年 Hinton 提出深度信念網路的逐層預訓練，重燃希望。
  • 2009 年 ImageNet 資料集（李飛飛團隊，1,400 萬張標註圖片）完工，餵養深度模型的「飼料」到位。
  • NVIDIA 於 2007 年推出 CUDA，使 GPU 通用平行計算觸手可及。

線索與推理#

偵探的推理核心：為什麼突破發生在 2012 年而非 1998 年（LeCun 的 LeNet 早已證明卷積網路可用於手寫辨識）？答案是一條「三重條件」：資料（ImageNet）× 算力（GPU）× 演算法（ReLU、Dropout、資料增廣）。GPU 的 SIMD 平行結構恰好匹配矩陣乘法為主的神經網路前向與反向計算，AlexNet 用雙 GPU 把訓練時間從數週壓到數天。Hinton 團隊的決策邏輯是大膽押注：外界看好手工特徵（SIFT＋SVM），他們相信「表示學習」——讓網路自己學特徵。結果 AlexNet 第一層學到類似 Gabor 濾波器的邊緣偵測器，深層學到語義特徵，驗證了層次化特徵學習假說。懸案告破：革命不是新理論的勝利，而是舊理論（1980 年代卷積網路）遇上新算力與新資料的必然爆發。

理論#

反向傳播：設損失 \(L\) ，網路權重 \(W^{(l)}\) ，前向 \(z^{(l)} = W^{(l)} a^{(l-1)} + b^{(l)}\) ， \(a^{(l)} = \phi(z^{(l)})\) 。定義誤差項 \(\delta^{(L)} = \nabla_{a^{(L)}} L \odot \phi'(z^{(L)})\) ，反向遞推

\[ \delta^{(l)} = \left( W^{(l+1)\top} \delta^{(l+1)} \right) \odot \phi'(z^{(l)}) \]

梯度為 \(\nabla_{W^{(l)}} L = \delta^{(l)} a^{(l-1)\top}\) ，參數更新採隨機梯度下降（SGD）：

\[ W^{(l)} \leftarrow W^{(l)} - \eta \cdot \frac{1}{m}\sum_{i=1}^{m} \delta^{(l)}_i a^{(l-1)\top}_i \]

ReLU 激活 \(\phi(x)=\max(0,x)\) 減輕梯度消失；GPU 加速之本質為大量執行緒並行 \(C = AB\) 的分塊矩陣乘法，複雜度 \(O(n^3)\) 但平行度 \(O(n^2)\) 。

後果#

  1. 2013 年起 ILSVRC 冠軍全被深度模型囊括；2015 年 ResNet 錯誤率低於人類水準（約 5%）。
  2. 深度學習人才被 Google、Facebook、百度爭搶；2013 年 Google 收購 Hinton 的 DNNresearch、2014 年買下 DeepMind。
  3. NVIDIA 由遊戲顯示卡公司轉型 AI 算力公司，資料中心業務起飛。
  4. 各國開展 AI 軍備競賽，為 2016 年 AlphaGo 與 2022 年 ChatGPT 鋪路。

冷案檔案#

  • 時間：2012 年 10 月（ILSVRC 2012 競賽揭曉）。
  • 案由：AlexNet 以 GPU 訓練的卷積神經網路大幅刷新影像辨識紀錄。
  • 歷史定位：深度學習的「辛普森案時刻」——證據確鑿，讓整個學界與產業改變立場。