第 9 章 梯度下降、反向傳播與大規模 AI 最佳化的暴力美學#
本章導言#
現代 AI 的訓練，本質上是一場持續數月的數值最佳化。本章三節：9.1 梯度下降的數學本質；9.2 Adam 與動量；9.3 把千億參數塞進晶片的協同工程。
9.1 機器學習的數學本質：在多維高山峽谷中不斷尋找最低點的「梯度下降」#
9.1.1 從柯西到反向傳播#
梯度下降的思想可溯至柯西（1847，最小二乘的迭代解法）。機器學習把它推向極端：定義損失函數
\[ L(\theta) = \frac{1}{N}\sum_i \ell\big(f(x_i;\theta), y_i\big) \]
以梯度反方向小步更新：
\[ \theta_{t+1} = \theta_t - \eta\,\nabla_\theta L(\theta_t) \]
實務用隨機梯度下降（SGD，Robbins–Monro 1951 隨機逼近理論為其收斂基礎）：以小批次（mini-batch）估計梯度——噪聲反而幫助逃離尖銳極小值（2010s 的泛化研究）。
9.1.2 反向傳播：使梯度可算#
深度網絡的梯度靠鏈鎖法則逐層回傳（1986 年辛頓等讓其普及，見《人工智慧的故事》6.1）：
\[ \delta^{(l)} = (W^{(l+1)})^{T}\delta^{(l+1)} \odot \sigma'(z^{(l)}) \]
一次前向＋一次反向即可得到全部參數的梯度——自動微分（autodiff）使數十億參數的訓練在計算上可行。PyTorch／JAX 的核心正是自動微分引擎。
9.1.3 損失景觀的暴力美學#
億級參數的「峽谷」難以想像，但 2010s 的實證發現：過參數化網絡的景觀出乎意料地友好——大量平坦極小值、SGD 天然偏向平坦解（PAC-Bayes 與 sharpness 分析）。理論與實踐的此處錯位，是當代深度學習理論最活躍的戰場之一（lottery ticket、神經正切核等路線）。
9.1.4 前因後果#
- 前因：微積分＋凸優化傳統＋GPU 平行算力（7.3）。
- 事件：1986 反向傳播、2012 AlexNet（SGD＋動量＋Dropout 的組合拳）。
- 後果：訓練成為工程學科；9.2 的 Adam 將把「如何走這條下山步」精密化。
下一節：9.2 Adam