第 10 章 數學優化#

優化是數學演算法的終點站：前面九章的所有技術——求根（第 4 章）、線性代數（第 5 章）、數值微積分（第 6 章）、機率（第 9 章）——在這裡匯流成一個問題：在所有可行方案中，找出讓目標函數最好（最小或最大）的那一個。排班、投資組合、機器學習訓練、路徑規劃，骨子裡都是優化。

10.1 節線性規劃入門：目標與限制都是線性時的優化，單形法的幾何直覺（沿多面體稜線走到頂點）與「對偶性」這個優化中最美的定理。10.2 節凸優化與梯度法：當函數是凸的，局部最優即全域最優，梯度下降（與其變體）是最通用的迭代解法；你將學到學習率的選擇、收斂條件，以及牛頓法（第 4 章的老朋友）在優化中的角色。10.3 節實戰案例：用三個完整案例——最小平方回歸（7.2 節再訪）、投資組合最佳化、 logistic 分類——展示「把現實問題翻譯成數學模型、再翻譯成演算法」的完整流程。

讀完本章，你手上會有一張全書的「總地圖」：遇到實際問題時，知道該辨認它是線性還是非線性、凸還是非凸、可微還是黑箱，並據此挑選正確的演算法與誤差標準。這正是「數學演算法」這門學科最終要教給你的判斷力。