第 10 章 薩姆·奧特曼、伊利亞·蘇茨克維與 OpenAI：GPT 狂潮與生成式 AI 爆發#
10.2 Ilya Sutskever 的信仰：「Scaling Law」——只要給足數據與算力，智慧就會湧現#
10.2.1 GPT 系列的節奏#
- GPT-1（2018，1.17 億參數）：證明「自回歸預訓練＋微調」可行；
- GPT-2（2019，15 億參數）：WebText 訓練，因「太危險不公開」而階段性發布（事實上引發史上最大的一次傳播效應）；
- GPT-3（2020，1,750 億參數）：少樣本能力湧現，論文題目直書「Few-shot learners」。
10.2.2 Scaling Law 的實證化#
2020 年 OpenAI 的 Kaplan 等人論文《Scaling Laws for Neural Language Models》給出經驗律：損失隨參數量 \(N\)、數據量 \(D\)、算力 \(C\) 呈冪律下降：
\[ L(N,D,C) \sim \text{冪律函數}, \qquad N,D,C \text{ 優先均衡增長} \]
2022 年 Chinchilla（DeepMind Hoffmann 等）修正了均衡比例（數據應與參數同步增長）。「堆規模會繼續有效」由信仰升級為有公式支撐的工程路線圖——這是 OpenAI 敢於以數億美元訓練 GPT-4 的依據。
10.2.3 湧現（Emergence）的爭論#
GPT-3 的少樣本學習、GPT-4 的推理與考試表現，使「湧現能力」成為熱詞：能力在小模型上為零，跨過某規模後陡然出現。2023 年斯坦福（Schaeffer 等）提出異議：部分「湧現」可能只是非線性指標（如整數正確率）的測量假象。無論如何，工業界的行為已被定錨：越大越好——由此引發算力軍備（7.3）與電力基建的新賽道。
10.2.4 Sutskever 之後#
2024 年 5 月，Sutskever 離開 OpenAI（與 2023 年 11 月罷免 Altman 的董事會事件有關，11.3 詳述），同年創立 SSI（Safe Superintelligence Inc.），宣言「直接做安全的超級智能、不考慮商業產品」——Scaling 信仰的創始人，以最純粹的姿態繼續這場實驗。
10.2.5 前因後果#
- 前因：Transformer（9.2）可堆疊性＋GPU/TPU 算力曲線＋OpenAI 的風險資本。
- 事件：2018–2020 GPT 三部曲、2020 Scaling Laws 論文。
- 後果：LLM 成為 AI 的中心產品；「數據—算力—資本」三位一體的競賽規則確立；ChatGPT（10.3）把這條工程路線推到全民視野。
下一節：10.3 ChatGPT