06.2 Bellman 動態規劃與 LQR#

本章導讀#

Pontryagin 用變分法走「必要條件」路線；1957 年 Bellman 走另一條路： 把多階段決策拆成一階段決策的鏈——動態規劃。它與 LQR（線性二次調節器）結合，成為現代最佳控制的標準工具箱。

走迷宮的聰明法：與其試所有路，不如倒著想—— 「從這格到出口最少要幾步？」每格記一個數（價值函數），走路的時候每步選「價值最好」的相鄰格。

最佳性原理（Bellman）：最短路徑的任何一段，本身也是那段起點到終點的最短路。「往後拆解」的直覺，讓指數級的搜尋變成線性級的遞迴。

系統 \(x_{k+1} = f(x_k, u_k)\) ，代價：

\[ J = \sum_{k=0}^{N-1} L(x_k, u_k) + \varphi(x_N) \]

定義價值函數 \(V(x)\) ：從狀態 \(x\) 出發到終點的最小代價。最佳性原理給出：

\[ V(x) = \min_{u \in U}\Big\{ L(x, u) + V\big(f(x, u)\big) \Big\} \]

Bellman 方程把 \(N\) 階段最佳化拆成 \(N\) 個一階段最小化——計算量從指數級降到多項式級。

連續時間版本（ \(V\) 對時間微分）正是 Hamilton–Jacobi–Bellman（HJB）偏微分方程：

\[ -\frac{\partial V}{\partial t} = \min_{u}\Big\{ L(x,u) + \nabla V \cdot f(x, u) \Big\} \]

與 Pontryagin 的 Hamiltonian 完全相通（ \(\lambda = \nabla V\) ：協態就是價值函數的梯度）。

線性系統 + 二次代價：

\[ \dot x = Ax + Bu, \qquad J = \int_0^\infty \left( x^T Q x + u^T R u \right) dt \]

解：假設價值函數是二次型 \(V = x^T P x\) ，代入 HJB 方程得：

\[ u^* = -K x, \qquad K = R^{-1}B^T P \]

其中 \(P\) 滿足代數 Riccati 方程（ARE）：

\[ A^TP + PA - PBR^{-1}B^TP + Q = 0 \]

閉迴路 \(\dot x = (A - BK)x\) 漸近穩定（ \(A-BK\) 特徵值全在左半平面）。

\(\dot x = ax + bu\) （ \(a < 0\) ）， \(Q = q\) ， \(R = r\) （純量）。

Riccati 方程變純量二次方程：

\[ 2ap - \frac{b^2p^2}{r} + q = 0 \quad\Rightarrow\quad p = \frac{ar + \sqrt{a^2r^2 + b^2qr}}{b^2} \]

（取正根保 \(p > 0\) 。）最佳增益：

\[ K = \frac{b p}{r}, \qquad u^* = -Kx \]

數值： \(a = -1\) ， \(b = 1\) ， \(q = 1\) ， \(r = 1\) ： \(p = \dfrac{-1 + \sqrt{1 + 1}}{1} \approx 0.414\) ， \(K \approx 0.414\) 。

閉迴路 \(\dot x = (-1 - 0.414)x = -1.414x\) ——比開迴路（ \(\tau = 1\) ）快 \(41\%\) 收斂，且 \(q\) 加大會讓 \(K\) 加大（更求準）、 \(r\) 加大讓 \(K\) 減小（更省力）。

1957 年 Bellman 提出動態規劃與最佳性原理，見 1957-Bellman動態規劃.md—— 「curse of dimensionality（維度詛咒）」也是他命名的。
1960 年 Kalman 的狀態空間與 LQR/LQG 體系，見 1960-Kalman狀態空間與濾波.md。
Riccati 方程解法與 \(H_\infty\) 的連結見 1987-H∞狀態空間解法.md。