2015 - 強化學習控制#

案件摘要#

2015 年前後，強化學習（Reinforcement Learning, RL）與控制的合流爆發： DeepMind 的 DQN（2015，Nature，Atari 遊戲超越人類）、DDPG（2016，連續動作控制）、以及 2016 年的 AlphaGo——無模型的學習式控制從實驗室走進主流。 RL 的數學基礎是馬爾可夫決策過程（MDP）+ Bellman 動態規劃（見 1957-Bellman動態規劃.md）—— 但用函數逼近（神經網路）代替值函數查表，馴服了 Bellman 命名的「維度災難」。控制理論的第三條路線誕生：不建模、不自寫方程，直接學。

前因#

動態規劃的維度災難：值函數查表隨狀態維度指數爆炸（Bellman 自己命名）—— 高維系統（機器人、圍棋）算不動（見 1957-Bellman動態規劃.md）。
神經網路的復興（2006–2012）：深度學習（Hinton 的深度信念網路、AlexNet 2012）—— 高維函數逼近終於可用，GPU 算力是關鍵。
RL 的半世紀積累：Watkins 的 Q-learning（1989）、TD-learning（Sutton, 1988）、 Sutton 與 Barto 的教科書（1998）——理論齊備但只在小狀態空間可用。
Atari 與圍棋的測試場：Atari 遊戲（高維影像輸入）與圍棋（ \(10^{170}\) 狀態數）—— 「維度災難」的極限測試場，也是展現威力的舞台。

線索與推理#

第 1 步：MDP——控制問題的機率化#

馬爾可夫決策過程（MDP）： \((S, A, P, R, \gamma)\) ：

元素	意義	控制學對應
\(S\)	狀態集	狀態空間 \(x\)
\(A\)	動作集	控制輸入 \(u\)
\(P(s' \mid s, a)\)	轉移機率	動力學 \(\dot x = f(x, u)\) 的隨機版
\(R(s, a)\)	獎勵	代價函數 \(-L(x, u)\)
\(\gamma\)	折扣因子	時間權重

控制問題 = MDP：找策略 \(\pi(a \mid s)\) 使期望累積獎勵最大：

\[ \max_\pi \; E\left[ \sum_{k=0}^{\infty} \gamma^k R(s_k, a_k) \right] \]

這正是最佳控制的隨機版——LQR 的二次代價、Pontryagin 的最短時間，都可以寫成 MDP 的獎勵函數。

第 2 步：Bellman 方程與函數逼近#

MDP 的 Bellman 方程（見 1957-Bellman動態規劃.md）：

\[ V^\pi(s) = E\left[ R(s, a) + \gamma\, V^\pi(s') \right], \qquad a = \pi(s) \]

最佳策略的 Bellman 最優方程：

\[ V^*(s) = \max_a E\left[ R(s,a) + \gamma\, V^*(s') \right] \]

傳統的解法：查表——每個狀態一個值。維度災難：圍棋 \(10^{170}\) 個狀態，表存不下！

深度學習的解法：用神經網路 \(V_\theta(s) \approx V^*(s)\) 逼近值函數—— 參數 \(\theta\) 只有百萬級，任意高維狀態都能表示。

第 3 步：DQN 的突破#

DeepMind 的 DQN（2015）結合三項技術：

技術	內容	解決的問題
深度 Q 網路	CNN 逼近 \(Q_\theta(s, a)\)	高維輸入（影像）
經驗回放（experience replay）	存歷史資料、隨機取樣訓練	資料相關性破壞 SGD
目標網路（target network）	定期複製的 \(Q_{\theta^-}\) 當訓練目標	目標移動導致發散

Q-learning 的更新律：

\[ \theta \leftarrow \theta + \alpha\left[ r + \gamma \max_{a'} Q_{\theta^-}(s', a') - Q_\theta(s, a) \right] \nabla_\theta Q_\theta(s, a) \]

這是Bellman 方程的隨機梯度下降——動態規劃變成機器學習。 DQN 在 49 個 Atari 遊戲中 29 個超越人類——維度災難被馴服的第一戰。

第 4 步：DDPG 與連續控制#

遊戲是離散動作；控制是連續動作（電壓、推力、力矩）。DDPG（2016）：

演員–評論家（actor–critic）架構：演員網路 \(\mu_\theta(s)\) 學策略、評論家網路 \(Q_\phi(s, a)\) 學值函數。
連續動作的策略梯度：

\[ \nabla_\theta J \approx E\left[ \nabla_a Q_\phi(s, a)\big|_{a = \mu_\theta(s)} \nabla_\theta \mu_\theta(s) \right] \]

機器人控制的測試：DDPG 學會操縱臂、行走——無模型的連續控制可行了。

第 5 步：與傳統控制的對比#

面向	傳統控制（PID/LQR/ \(H_\infty\) /MPC）	強化學習控制
模型	需要（或系統鑑別）	不需要（無模型）
設計	手動/半自動	自動學習（試誤）
穩定性保證	有（Lyapunov、Riccati）	無（黑箱網路）
約束處理	內建（MPC）	需額外設計
訓練成本	無	高（百萬次試誤）
適應性	有限	強（線上學習）

RL 的致命傷：沒有穩定性保證——黑箱網路的閉環可能不穩定、訓練過程可能災難性失敗（機器人摔壞）。安全性是 RL 控制的核心挑戰—— 這也是「安全強化學習」（safe RL）誕生的原因：把 Lyapunov 與約束重新引進 RL（控制理論回來救場）。

後果#

學習式控制成為第三條路線：無模型、自動學習——與經典（頻域）、現代（狀態空間）三足鼎立。
AlphaGo（2016）：圍棋決策控制的展示，強化學習進入大眾視野。
安全 RL、離線 RL、model-based RL（結合模型與學習）——與傳統控制的合流加速。
強化學習與 MPC 的融合（learning-based MPC）：神經網路模型 + MPC 約束—— 兩條路線的互補成為當代控制的趨勢。

結案陳詞#

強化學習的偵探手法是「用函數逼近馴服維度災難」：Bellman 命名的指數爆炸，五十年後被神經網路與 GPU 撞開。控制理論的第三條路——不建模、直接學—— 誕生了，但它沒有穩定性保證；Lyapunov 與約束的重新引進（安全 RL）證明了老理論的新價值：學習需要控制的骨架，控制需要學習的血肉。