第 7 章 辛頓、李飛飛與 ImageNet：深度學習的破曉引爆點#
7.3 顯示卡的奇妙轉折：黃仁勳（NVIDIA）與辛頓團隊的交集，平行運算如何成為深度學習的神油？#
7.3.1 GPU 本是為遊戲而生#
NVIDIA（1993 年由黃仁勳 Jensen Huang 等創立）的顯示卡原本服務電玩與圖形渲染。但 3D 圖形的核心運算——矩陣與向量——恰好就是神經網絡的核心運算。2006–07 年，NVIDIA 推出 CUDA 平台，把 GPU 開放為通用平行計算工具；吳恩達 2008 年在斯坦福即以 GPU 訓練語音模型，成為早期布道者。
7.3.2 辛頓實驗室的「賭桌邊」故事#
2010 年前後，辛頓實驗室經費窘迫，買不起高階 GPU 叢集。轉機：
- 加拿大計算基礎設施的補貼（以及學生 Krizhevsky 出色的 CUDA 程式碼）；
- NVIDIA 注意到學術界悄悄把 Titan／GTX 遊戲卡用於深度學習，主動向多倫多捐贈設備（含向辛頓實驗室贈送一批 GPU）——這是黃仁勳「押注深度學習」決策的第一手情報來源之一；
- 2012 AlexNet 奪冠後，黃仁勳認定 AI 為 GPU 的第二曲線，啟動 cuDNN（2014）與資料中心路線。
7.3.3 從遊戲卡到「AI 時代的台積電」#
| 年份 | NVIDIA 動作 | 深度學習意義 |
|---|---|---|
| 2006 | CUDA | GPU 通用化 |
| 2012 | 贊助學界 | AlexNet 硬體基礎 |
| 2014 | cuDNN | 深度學習原語加速 |
| 2016 | DGX-1（首批交付 OpenAI，黃仁勳親送） | AI 專用伺服器 |
| 2022– | H100／HGX，市值一度破兆美元 | LLM 時代的算力壟斷 |
2020s 的大模型軍備競賽中，NVIDIA 幾乎壟斷 AI 訓練晶片供給——一家遊戲顯卡公司成為 AGI 競賽的軍火商。
7.3.4 前因後果#
- 前因：矩陣運算與圖形渲染的數學同構＋CUDA 的賭注＋學界自下而上的採用。
- 事件：2006 CUDA、2012 AlexNet、2016 DGX-1 交付 OpenAI。
- 後果：算力成為 AI 的戰略資源（可與石油史互文）；「算力—數據—演算法」三角閉環完成；第 9、10 章的大模型狂潮全部建立在這張算力地基上。