第 1 節 Google Brain 與 Transformer：「Attention Is All You Need」背後八巨頭的基礎設施革命#

一張由算力「補貼」出來的研究地圖#

2011 年，吳恩達、Jeff Dean 與 Greg Corrado 在 Google 內部組建 Google Brain。它把先前 Ch12 的多倫多方法（大資料+神經網路） 裝進史無前例的基建：

• DistBelief→TensorFlow：把大規模分布式訓練變成平台；
• TPU（2016）：為矩陣乘法設計的專用晶片——算力即磁場設備；
• 產品閉環：語音、搜索、相片排序、翻譯——研究成果 第二天就能碰到十億用戶。

2016 年的一天，翻譯團隊把神經網路模型上線， 一夜之間 Google 翻譯的品質跨越了十年——這宣示了 「磁場 + 算力 + 產品閉環」三位一體的新時代。

Transformer：「八個人」如何改寫 AI 的語法#

2017 年，Google 的八位研究者共同發表 《Attention Is All You Need》（Vaswani、Shazeer、 Parmar、Uszkoreit、Jones、Gomez、Łukasz Kaiser、 Polosukhin），提出Transformer：

\[
\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V
\]

拋棄循環結構、全面平行化： - 可訓練規模 = 集群算力（規模定律之後的根）； - 成及 GPT、BERT、Diffusion 的共同語言； - 這一天的八人，後來各自創辦或加入 Cohere、 Character.AI、Sierra 等——一個論文的磁場 又分裂成一組新磁場（與仙童的分裂結構同模）。