第5章 最佳化迭代#

章前言#

最佳化是「在允許範圍內找最好的」：設計最省油的機翼、訂最有利潤的價格、調整神經網路的數百萬個參數。解析方法（令梯度為零解方程）只在課本問題上可行；真實世界的目標函數是高維、非凸、可能連解析梯度都沒有的黑箱。此時迭代下降是普适答案：從一個起點出發，反覆「看坡度、走一步、再修正」，讓參數一步步滑向谷底。

本章四節構成由淺入深的階梯。5.1 節梯度下降法是所有方法的祖先：沿負梯度走，收斂條件與步長選擇是地基。5.2 節動量法與 Adam 是深度學習時代的實戰主力：動量累積歷史梯度以衝過峽谷與平坦區，Adam 則為每個參數自適應調整步長。5.3 節回到二階世界：牛頓法用 Hessian 矩陣直接「算出」最佳步長，擬牛頓法（BFGS）則用一階資訊近似 Hessian，在「快」與「貴」之間取得工程上最划算的平衡。

與前幾章的連結依然緊密：梯度下降是不動點迭代 \(x_{k+1} = x_k - \alpha \nabla f(x_k)\) ，收斂性由 \(\|I - \alpha H\|\) 的譜半徑決定；牛頓法求根與求極值是同一件事（對 \(\nabla f\) 求根）。學好本章，你就握有閱讀任何機器學習最佳化器原始碼的地圖。