跳轉到

熵正則化與強化學習：防止過早收斂的探索#

探索與利用:智能體的永恆兩難#

強化學習的核心張力自動物行為學與線上賭博理論時代便已確立:利用(exploit,走已知最好的臂)還是探索(explore,嘗試剩下的臂)?若智能體過快鎖定眼前最佳策略,便永遠無法發現更好的分岔;若永遠搖擺,則一事無成。這個兩難的數學管理者之一,正是熵。

將熵寫進目標函數#

考慮策略 \(\pi(a|s)\)。標準策略梯度(至 Williams 1992 年的 REINFORCE 而集其成)最大化期望回報 \(J = \mathbb{E}_\pi[r]\)。熵正則化在其上加分項:

\[J_\beta(\theta) = \mathbb{E}_\pi[r] + \beta\, \mathbb{E}\big[H\big[\pi(\cdot|s)\big]\big]\]

\(\beta > 0\) 時,策略若在行動上過度集中(熵下跌),將受到懲罰。這一改動有三重效應:鼓勵持續試探、改善梯度估計的方差、並通過「軟性」的價值定義使優化地形更平滑。想法的源頭可溯至早期 soft policy 研究(如 Ziebart 等 2008 年的最大熵反強化學習,以最大熵原理從示範中恢復獎勵——賈恩斯的幽靈現身駕駛模擬),而正式成為主流演算法骨架的,是 2010 年代初的 soft policy gradient 系列(Mnih、Badia 等的 A3C,2016,熵係數已是標準超參數)。

Soft Actor-Critic:最大熵 RL 的集大成#

2018 年,Zohaib Haarnoja、Aurick Zhou、Pieter Abbeel 與 Sergey Levine 在 UC Berkeley 發表〈Soft Actor-Critic〉(SAC),把最大熵原則推到連續控制的核心。在 SAC 的世界觀中,最優策略不再是「會做事的策略」,而是「在做事的同時盡可能不確定的策略」:

\[\pi^* = \arg\max_\pi \; \sum_t \mathbb{E}\big[r(s_t, a_t) + \beta H\big[\pi(\cdot|s_t)\big]\big]\]

貝爾曼方程改寫為「軟」版本:價值函數包含下一步動作的熵項 \(\log \pi(a'|s')\) ,訓練以離線緩衝區(off-policy)進行,樣本效率大增。SAC 在 MuJoCo 連續控制基準上以數小時的訓練量達到當時最先進,且屢屢展現驚人的強健性——同一套超參數能用於幾十個不同機器人任務。今日,SAC 是機器人學研究與工業部署(含機械臂操控)中最常用的演算法之一。賈恩斯「最客觀的推論」原則,在此轉化為「最不設限的行為」。

AlphaZero 的另一帖藥:Dirichlet 噪音#

DeepMind 的棋類團隊沒有選熵正則化,而以另一條路餵養探索:蒙特卡洛樹搜尋(MCTS)之上的 Dirichlet 噪音。Silver 等 2016 年的 AlphaGo 論文與 2017 年的 AlphaZero 論文(〈Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm〉)都描述了同一配方:自我對弈中,根節點的先驗策略混入 \(\text{Dir}(\alpha)\) 抽樣,

\[P(s, a) \leftarrow (1-\varepsilon)\, p(s,a) + \varepsilon\, \eta \quad (\eta \sim \text{Dirichlet}(\alpha))\]

在走第一步時,強制考慮一些低先驗的著法;對弈結束後,依盤面最終勝負做策略提升。沒有這味噪音,自我對弈會迅速陷入雙方都背熟的固定棋譜——策略多樣性必須由熵或外部擾動挹注,否則學習會週期性停滯。

為什麼偏偏是熵?#

值得把鏡頭拉遠,問一句:探索的策略何其多——\(\epsilon\)-greedy(1990 年代 Q-learning 家族的標配)、樂觀初始化、UCB(1963/2002 的置信上界)、Thompson 抽樣(1933)——熵正則有何獨門之處?它的特點在於就地修飾目標函數本身:不外加@Resource 依賴的探索公式,而是直接改寫「最優」的定義,使貝爾曼方程、價值迭代、策略梯度世代相承的演算法骨架都毋須重寫,只需在倒數第二行插一項。工程上的順手,加上理論上與最大熵推論(賈恩斯一脈)及率失真/資訊瓶頸(如 2021 年 TiMAX 等以資訊正則的近似)的相通,使熵成為探索問題中最具普遍性的一根槓桿。

熵坍縮:LLM 時代的舊病新發#

2010 年代末至 2020 年代,熵的課題回歸到一個新的舞台:語言模型的策略訓練。在 RLHF(InstructGPT,Ouyang 等 2022)與可驗證獎勵的推理訓練(R1 式)中,一個週期性的病灶是熵坍縮(entropy collapse):隨訓練推進,策略分佈越來越尖銳、動作多樣性枯竭,輸出變得重複而僵化,探索管道閉合,後續提升也隨之停止。持續微調的 policy-gradient(尤其是不做重要性採樣糾正的 on-policy 方法)在稀疏獎勵與長序列下格外容易墮入此局。

對策再次回到老字典:

  • 熵獎勵/熵正則:在目標中加 \(\beta H\),拖延坍縮的節奏;
  • KL 懲罰(RLHF 的標配):\(-\tau\, D_{\mathrm{KL}}(\pi \Vert \pi_\text{ref})\) 把策略拴在參考模型旁,同時抑制熵的過快流失;
  • 溫度與先驗混入(如 AlphaZero 的 Dirichlet 噪音的 LLM 變體);
  • 截斷式重要性採樣(2024–2025 年間提出的各式 clip/TIS 變體)——過大更新的內耗需在更新規則中被擋下。

兩難的哲學收束#

從 REINFORCE(1992)、A3C(2016)、SAC(2018)、AlphaZero(2017)到 RLHF(2022)與 R1 式推理訓練,熵在強化學習中的角色一以貫之:多樣性是學習的燃料。策略的熵不是浪費,而是尚未兌現的可能性;一旦燒盡,智能體便凝固在它第一次發現的答案上。這呼應著本書自克勞修斯以降的母題——生命與智能都活在不平衡之中:完全的秩序即是死寂,完全的混沌即無作為。訓練一台機器,猶如飼養一支文明的火花,得讓熵恰好不算太高、也不算太低。熵的正則係數 \(\beta\),就是這把文明火花的手調旋鈕——而旋鈕背後,是第二定律親自署名的警告。