第 9 章 谷歌八武士與《Attention Is All You Need》：Transformer 的宇宙級突破#
本章導言#
2017 年，谷歌八位年輕研究員用一篇論文改寫了深度學習的架構史。本章三節：9.1 八人與論文；9.2 自注意力機理；9.3 離職潮與新帝國。
9.1 2017 年谷歌論文八位作者（Ashish Vaswani 等）：擺脫 RNN 序列限制、發明自注意力機制#
9.1.1 時代背景：序列模型的窒息#
2014–2016 年，機器翻譯由 RNN＋注意力（Bahdanau 2014、Luong 2015）主導；但 RNN 必須逐時間步計算，無法平行，長依賴易丟失。谷歌大腦與谷歌研究院的多個團隊正在尋找「拋棄循環」的路線。
9.1.2 八武士名單與分工#
《Attention Is All You Need》（arXiv 2017 年 6 月 12 日，NIPS 2017）八位作者全部在谷歌（Mountain View／多倫多），依論文署名：
| 作者 | 背景 |
|---|---|
| Ashish Vaswani | 南加大博士，核心統籌 |
| Noam Shazeer | 谷歌老兵，編程與架構魔法（後創 Character.AI） |
| Niki Parmar | 谷歌大腦 |
| Jakob Uszkoreit | 提案「只靠注意力」的先驅者之一（漢斯·烏斯克萊特之子） |
| Llion Jones | 谷歌大腦 |
| Aidan N. Gomez | 谷歌實習生、牛津（後創 Cohere） |
| Łukasz Kaiser | 谷歌大腦，形式化方法 |
| Illia Polosukhin | 谷歌（後創 NEAR 協議） |
論文核心句：「我們提出 Transformer，一種完全基於注意力的架構，拋棄循環與卷積。」
9.1.3 成績：更少算力、更好翻譯#
在 WMT 2014 英德／英法翻譯上取得當時最佳 BLEU（英德 28.4），訓練成本僅為此前最強模型的零頭（數日 vs 數週）。論文的工程美德——平行、模塊化、可堆疊——使它迅速被整個行業複製，成為 BERT（2018）、GPT（2018 起）的共同骨架。
9.1.4 前因後果#
- 前因：RNN 瓶頸＋Bahdanau 注意力＋谷歌大腦的算力與數據文化（TF-DevSummit 生態）。
- 事件：2017.6 arXiv。
- 後果：LLM 時代的物理基礎就緒；八人各自的創業（9.3）形成「Transformer 系」帝國網絡。
下一節：9.2 自注意力