跳轉到

第 8 章　戴密斯·哈薩比斯與 DeepMind：AlphaGo 橫掃圍棋世界的帝國史詩#

8.2 深度強化學習（Deep RL）：DQN 演算法如何自己學會打 Atari 街機遊戲？#

8.2.1 強化學習的百年底蘊#

強化學習（RL）的思想鏈：巴甫洛夫條件反射→Sutton 與 Barto 的時序差分學習（TD, 1988）→Tesauro 的 TD-Gammon（1992，自學西洋跳棋達大師級）。核心公式是貝爾曼方程：

\[ Q(s,a) \leftarrow Q(s,a) + \alpha\,[\,r + \gamma \max_{a'} Q(s',a') - Q(s,a)\,] \]

問題：狀態空間一大（如像素級畫面），表格式 Q 學習即失效。DeepMind 的合流點：用深度網絡代替表格——即 DQN（Deep Q-Network）。

8.2.2 DQN 的兩個關鍵工程發明#

  1. 經驗回放（experience replay）：把歷史（狀態、動作、獎勵）存入緩衝區隨機抽樣訓練，打破樣本相關性；
  2. 目標網絡（target network）：用另一份較舊的網絡參數計算目標值，穩定訓練。

2013 年 arXiv 論文、2015 年 Nature 正式版：同一套網絡、同一組超參數，在 49 款 Atari 遊戲中，多數遊戲達到或超越專業人類測試員水準（Breakout 上更出現著名的「鑿牆漏球刷分」策略——無人教過，自己發現）。

8.2.3 意義：通用性宣言#

DQN 的震撼不在遊戲分數，而在「一個腦袋玩所有遊戲」：此前的 AI 都是「一事一網」，DQN 是第一個跨任務的泛化展示——「通用智能體」的可視化證據。媒體與投資界自此把 DeepMind 視為 AGI 的最強候選者。

8.2.4 前因後果#

  • 前因：TD 學習理論＋深度網絡（6 章）＋GPU 算力（7 章）＋DeepMind 的神經科學方法論。
  • 事件：2013 arXiv、2015 Nature。
  • 後果：深度強化學習成為獨立熱點；AlphaGo（8.3）把同樣思想疊加到圍棋的樹搜索上；RLHF（人類回饋強化學習）也將借道此路成為 ChatGPT 的訓練核心（10.3）。

下一節：8.3 AlphaGo