跳轉到

6.3 模型基底強化學習與神經網路控制函數#

6.3.1 前因：把模型請回來#

6.2 節的結論是：無模型 RL 的三大障礙（樣本效率、安全、可解釋性）皆源於「無模型」。2020 年代的主流反應不是放棄學習，而是學習一個模型，然後把控制理論的資產——預測、規劃、約束檢查——架在學得的模型之上。這一節討論模型基底強化學習（Model-Based RL）的兩大支柱：以 PILCO 為代表的概率模型學習，以及學得模型與 MPC 的直接結合；最後介紹神經網路作為控制函數（策略）時如何被賦予穩定性保證，為第 9 章的統一框架鋪路。

6.3.2 PILCO：用不確定性換取樣本效率#

PILCO（Probabilistic Inference for Learning COntrol, Deisenroth 與 Rasmussen, 2011）是模型基底 RL 樣本效率的里程碑。其架構：

  1. 學習概率動力學模型：以高斯過程（Gaussian Process, GP）回歸學習 \(f(x, u)\) ，輸出不僅是預測均值，還有不確定性：
\[ p(x_{k+1} \mid x_k, u_k) = \mathcal{N}\left( \mu_f(x_k, u_k), \; \Sigma_f(x_k, u_k) \right) \]
  1. 在模型中做長視界規劃：將策略 \(\pi_\theta\) 套入 GP 模型，遞推預測分佈。由於 GP 輸出是高斯，若用矩匹配（moment matching）近似，每步傳播只需解析計算：
\[ \mu_{k+1} = \mathbb{E}\left[ \mu_f(x_k, u_k) \right], \qquad \Sigma_{k+1} = \mathbb{E}\left[ \Sigma_f \right] + \mathrm{Var}\left[ \mu_f(x_k, u_k) \right] \]
  1. 對策略參數求梯度：期望回報 \(J(\theta)\) 對 \(\theta\) 可微，直接用有限差分或解析梯度做基於梯度的策略搜索。

不確定性的作用是關鍵：在模型不準的區域，預測分佈自動變寬，期望回報下降，策略因而被推向模型可靠的區域——探索被不確定性量化自動驅動，無需人工設計好奇心機制。PILCO 在倒單擺等任務上以約 10–20 秒的實際互動學到成功策略，比同期無模型方法少兩到三個數量級的樣本。

6.3.3 學得模型 + MPC：兩條道路的合流#

PILCO 之後，社群意識到：既然已經有了學得的模型，何必另學策略？直接把模型塞進 MPC 的最佳化框架即可。這條路線在 2010 年代末至 2020 年代形成明確範式：

\[ \min_{u_0,\dots,u_{N-1}} \; \sum_{i=0}^{N_p-1} \left( \| \hat{x}_{k+i} \|_Q^2 + \| u_{k+i} \|_R^2 \right) + V_f(\hat{x}_{k+N_p}) \]
\[ \text{s.t.} \quad \hat{x}_{k+i+1} = \hat{f}_\phi(\hat{x}_{k+i}, u_{k+i}), \quad \hat{x}_{k+i} \in \mathcal{X}, \quad u_{k+i} \in \mathcal{U} \]

其中 \(\hat{f}_\phi\) 是神經網路模型。與 6.1 節 Koopman-MPC 的差異在於：Koopman 追求把模型整理成線性以保證可解性；此處則保留非線性神經網路模型，接受最佳化問題為非凸，依賴 5.3 節發展的即時求解技術的非線性推廣（如 SQP、iLQR 的即時化）。

互相驅動的閉環在此成形：資料催生了學得模型（6.1、本節），學得模型催生了非線性即時最佳化需求，後者又回頭推動求解器與硬體的演進——與 1990 年代 MPC 誕生的驅動結構同構。

6.3.4 學習穩定化：神經網路控制函數的 Lyapunov 認證#

若堅持以神經網路 \(\pi_\theta(x)\) 作為閉式控制函數（而非每步解 MPC），穩定性問題就回到 5.2 節的老問題，只是這次連模型都是學的。2020 年代的方法是把 Lyapunov 條件寫進學習目標：

  1. 以神經網路同時學習控制律 \(\pi_\theta(x)\) 與 Lyapunov 候選函數 \(V_\psi(x)\) ；
  2. 對樣本點施約束：
\[ V_\psi(0) = 0, \qquad V_\psi(x) \ge \| x \|_Q^2 \quad (\text{正定性}), \qquad V_\psi(\hat{f}_\phi(x, \pi_\theta(x))) - V_\psi(x) \le -\| x \|_Q^2 \quad (\text{遞減性}) \]
  1. 在整個狀態域上以 SMT 求解器或分片線性區間分析做認證，而非僅在樣本點上檢查。

如此得到的神經網路控制器帶有與 LQR 同等地位的穩定性證明，只是證明以資料與最佳化產出。同樣的技術可用於學習控制不變集合（神經 CBF，Control Barrier Function），把 5.2 節的終端集合概念自動化。

6.3.5 實例：四足機器人與靈巧操作#

  • 四足機器人：2020 年代的代表成果（如 ANYmal 的 RL 訓練）以「精確剛體模型 + 域隨機化仿真中訓練 + 實機部署」實現越野行走。其訓練雖名為 RL，實質上重度依賴模型——正是模型基底思想改寫了工程實踐。
  • 軟體手臂操控：以深度 Koopman 模型（6.1 節）搭配非線性 MPC，或以 GP 模型搭配 PILCO 式規劃，均能在少量真實資料下完成閉環操作。
  • 化工程序：以資料驅動模型替代穩態機理模型，MPC 求解器保持不變，使老廠升級為學習型先進控制的成本大幅下降。

6.3.6 樣本效率與安全的雙重緩解#

回顧 6.2 節的三障礙，模型基底路線的緩解機制為：

障礙 模型基底路線的緩解
樣本效率 在學得模型中生成無限仿真樣本；不確定性驅動的定向探索
安全 規劃階段即在模型上檢查約束與終端集合
可解釋性 控制器行為由代價函數、約束與模型共同解釋

注意緩解是「雙重」的而非「消除」的：模型偏誤（model bias）成為新的風險來源，因此概率模型（GP、貝葉斯神經網路）與魯棒 MPC 的結合成為活躍的研究方向。

6.3.7 模型偏誤與魯棒化的回饋環路#

學得模型終究是近似，而 MPC 的規劃會利用模型誤差：最優解往往把軌跡推向預測最有利的位置，恰是模型最不可信的位置。這一「最佳化剝削模型誤差」（optimizer exploiting model error）現象催生了兩種對策：

  1. 機會約束規劃：以概率模型的不確定性量化違約風險，要求
\[ \mathbb{P}\left( g_j(x_{k+i}, u_{k+i}) \le 0 \right) \ge 1 - \delta_j \]

在 GP 模型下，此約束可化為關於預測分佈的二階錐約束，仍可用凸求解器處理。

  1. 管式 MPC（tube MPC）的學習版：以魯棒不變集合包住模型誤差，保證真實軌跡與標稱軌跡的偏差恆在界內。

值得強調的是驅動方向：學習方法的普及（需要不確定性量化）回頭推動了魯棒控制理論的新發展——理論與資料在此再度互相驅動，與第 5 章「算力催生 MPC」的結構如出一轍。

小結#

2020 年代的模型基底 RL 重新接上了控制理論的傳統：PILCO 展示了概率模型與不確定性傳播如何把樣本需求降低兩三個數量級；學得模型與 MPC 的結合使「學習」與「控制」不再互相替代，而是互相供給——學習供給模型，控制供給安全與性能保證。神經網路控制函數配上 Lyapunov 認證，更使學得的控制器獲得與經典方法同等的理論地位。

延伸到下一節（第 9 章）#

本書至此已累積三條主線：MPC 的最佳化與穩定理論（第 5 章）、資料驅動的建模方法（6.1）、以及學習與控制合流的模型基底範式（6.2、6.3）。第 9 章將把三者統一為「學習與控制的整合框架」：討論學得模型下的魯棒 MPC、神經網路策略的端到端認證、以及這一框架在自主系統與智能工廠中的工程形態。讀者將看到，第 5 章的滾動優化與第 6 章的資料驅動建模，正是這一框架的兩塊基石。