第 9 章　谷歌八武士與《Attention Is All You Need》：Transformer 的宇宙級突破#

9.2 Transformer 架構的神奇特質：平行化訓練與大規模預訓練的基石#

9.2.1 自注意力的數學#

自注意力讓序列中每個位置直接關注所有其他位置：

其中 Q、K、V 皆由輸入線性投影而來；多頭（multi-head）則把多組注意力並聯，讓模型同時學多種關聯模式。位置信息由位置編碼（sinusoidal）注入——「順序」不再是循環結構的特權。

9.2.2 三大特質#

1. 完全平行：所有位置的計算可同時進行（GPU／TPU 吃滿），訓練規模隨硬體線性放大；
2. 全局感受野：任意兩詞直接連通，長依賴問題消失；
3. 模塊化可堆疊：encoder／decoder 堆疊成任意深度，為後來的 BERT（只用 encoder）、GPT（只用 decoder）、T5（encoder-decoder）提供家族模板。

9.2.3 預訓練範式的合流#

Transformer 本身只是「引擎」；點火的是預訓練範式：

• 2018 年 BERT（谷歌 Devlin 等）：遮罩語言模型＋雙向編碼，刷新 11 項 NLP 基準；
• 2018 年 GPT-1（OpenAI，Radford 等）：自回歸預訓練＋下游微調；
• 2020 年 GPT-3（1,750 億參數）：少樣本學習（in-context learning）——「預訓練＋提示」取代「預訓練＋微調」。

Scaling Law（10.2）正是在 Transformer 這個「可無限加厚」的骨架上才能成立——架構與規模法則互為因果。

9.2.4 前因後果#

• 前因：9.1 的架構提案＋GPU/TPU 叢集＋大語料（Common Crawl、維基等）。
• 事件：2017 論文、2018 BERT/GPT、2020 GPT-3。
• 後果：NLP→LLM→生成式 AI 的三級跳；所有主要大模型（GPT、Gemini、Llama、Claude、DeepSeek 等）皆為 Transformer 後裔——「You Need」一語成讖。

下一節：9.3 離職潮