跳轉到

08.2 世界模型與隱空間規劃#

本章導讀#

前面的模型都「被動」：看到什麼學什麼。但生物智慧是主動的—— 貓在跳上櫃子之前，腦中已經「演練」過整段動作。世界模型（World Models）就是這個能力： 學出環境的動力學，在想像中規劃行動。 2024 年的 JEPA／V-JEPA、2025 年的 Genie 3，都是這條路的現代篇。

淺顯說明#

世界模型像「心中有一台模擬器」：

  • 編碼：把看到的畫面壓縮成「概念狀態」（不是像素，是語義）。
  • 預測：「我這樣做，世界會變成什麼概念狀態？」——在隱空間預測，不生成像素。
  • 規劃：在心中模擬多步行動，選最好的那條——像下棋的「心算」。

在隱空間規劃（而非像素空間生成）的好處：便宜、快速、且只關心「重要的事」—— 這是 LeCun 主張 JEPA 優於生成式世界模型的理由。

正規理論#

世界模型的三個組件#

\[ \mathbf{e}_t = E_\phi(\mathbf{o}_t), \qquad \hat{\mathbf{e}}_{t+1} = D_\psi(\mathbf{e}_t, a_t), \qquad \pi_\theta(a_t \mid \mathbf{e}_t) \]
  • 編碼器 \(E_\phi\) ：觀測 \(\to\) 隱狀態。
  • 動力學 \(D_\psi\) ：隱狀態 + 動作 \(\to\) 下一隱狀態（世界模型的數學核心）。
  • 策略 \(\pi_\theta\) ：在隱狀態上決策（07 章的 RL）。

學習動力學：預測即學習#

訓練目標：讓隱空間的預測貼近真實的下一步：

\[ \mathcal{L}(\phi, \psi) = \big\| D_\psi(E_\phi(\mathbf{o}_t), a_t) - E_\phi(\mathbf{o}_{t+1}) \big\|^2 \]

這是「自監督」的：不需要標籤，環境本身就是答案。2014 年的 Seq2Seq、2020 年的世界模型 Ha & Schmidhuber，都是這個目標的不同版本。

JEPA：預測抽象表徵#

JEPA（Joint-Embedding Predictive Architecture）的關鍵主張：不要在像素空間預測。 生成式模型（像擴散模型，06.2 節）要預測每個像素，浪費算力在無關細節（草的搖晃、光的噪聲）上； JEPA 只在「抽象表徵空間」預測：

\[ \mathcal{L}_{\mathrm{JEPA}} = \big\| P_\psi(E_\phi(\mathbf{o}_t), a_t) - \bar{E}_{\bar\phi}(\mathbf{o}_{t+1}) \big\|^2 \]

（目標編碼器 \(\bar{E}_{\bar\phi}\) 是滾動平均或停止梯度版，避免表徵崩潰。）

表徵崩潰與正則化：純預測損失有個平凡解——所有 \(\mathbf{e}_t\) 都輸出常數（模型「躺平」）。 防崩潰的數學工具：

  1. 協方差正則化（V-JEPA / SIGReg 的精神）：要求隱向量的協方差矩陣接近單位陣——
\[ \mathcal{L}_{\mathrm{reg}} = \big\| \mathrm{Cov}(\mathbf{e}) - \mathbf{I} \big\|^2 \]

這強制各維度都「有資訊」（方差為 1）、彼此不冗餘（相關為 0）——防止維度崩潰。 對 \(\mathrm{Cov}\) 的分析也可用特徵分解：崩潰 ⇔ 部分特徵值趨於 0。 2. 特徵函數匹配（SIGReg）：用經驗特徵函數 \(\varphi_{\mathbf{e}}(t) = \mathbb{E}[e^{it^\top \mathbf{e}}]\) 與高斯分佈的特徵函數比對，強制隱分佈接近各向同性高斯。

模型預測控制（MPC）：在想像中規劃#

學好 \(D_\psi\) 後，行動規劃變成最優控制問題：

\[ a^*_{0:T-1} = \arg\min_{a_{0:T-1}} \sum_{t=0}^{T-1} c(\mathbf{e}_t, a_t) + c_T(\mathbf{e}_T), \qquad \mathbf{e}_{t+1} = D_\psi(\mathbf{e}_t, a_t) \]

在隱空間中搜尋最優軌跡（不需生成像素）——常用方法：

  1. 梯度法： \(D_\psi\) 可微（03.2 節），梯度可以穿過動力學反傳：
\[ \frac{\partial}{\partial a_0}\sum_t c(\mathbf{e}_t, a_t) \quad \text{由鏈鎖律穿過 } D_\psi \text{ 多次} \]
  1. 交叉熵方法（CEM）：抽樣式搜尋——迭代地「抽樣一批候選軌跡 → 取最好的前 10% → 重新擬合抽樣分布」：
\[ \boldsymbol{\mu}_{k+1}, \boldsymbol{\Sigma}_{k+1} = \mathrm{fit}\big(\text{top-10\% of } \{a^{(i)} \sim \mathcal{N}(\boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)\}\big) \]

分布逐步收斂到高獎區——與 04.2 節 Boltzmann 採樣的「探索 vs 收斂」異曲同工。

完整迴路：Dreaming + Acting#

\[ \underbrace{\mathbf{e}_t \to \hat{\mathbf{e}}_{t+1} \to \hat{\mathbf{e}}_{t+2} \to \cdots}_{\text{在想像中滾動（不碰環境）}} \;\Rightarrow\; a^*_0 \;\xrightarrow{\text{真實環境}}\; \mathbf{o}_{t+1} \;\to\; \text{重新編碼} \]

每步真實行動後重新編碼，矯正想像的漂移——「做夢，走一步，再校正」。

簡易範例：一維隱空間規劃#

隱空間是一維實數 \(e \in \mathbb{R}\) ，動力學已學出： \(e_{t+1} = e_t + a_t\) （ \(a_t \in \{-1, +1\}\) ）， 代價 \(c(e, a) = 0.1 + e^2\) （想靠近 0），規劃兩步。

窮舉四條軌跡（從 \(e_0 = 2\) ）：

\((a_0, a_1)\) 軌跡 總代價
\((-1, -1)\) \(2 \to 1 \to 0\) \(0.1 + 4 + 0.1 + 1 + 0.1 + 0 = 5.3\)
\((-1, +1)\) \(2 \to 1 \to 2\) \(0.1+4+0.1+1+0.1+4 = 9.3\)
\((+1, -1)\) \(2 \to 3 \to 2\) \(0.1+4+0.1+9+0.1+4 = 13.3\)
\((+1, +1)\) \(2 \to 3 \to 4\) \(17.3\)

最優行動 \(a_0^* = -1\) ——在想像中「心算」兩步，選出最優。規劃步數 \(T\) 越長，想像越有用， 但也越容易因動力學誤差而漂移——這就是「再校正」（重新編碼）存在的理由。

歷史典故#

習題#

  1. 對本節範例改 \(c(e,a) = 0.1 + (e-1)^2\) （想靠近 1），重算最優 \((a_0, a_1)\) 。
  2. 證明：若隱向量 \(\mathbf{e}\) 的協方差矩陣為 \(\mathbf{I}\) ，則各維方差為 1 且兩兩不相關——這如何防止「躺平解」。
  3. 討論：生成式世界模型（Sora 路線）與 JEPA 路線的數學差異，各適合什麼場景？（提示：像素級真實感 vs 算力與語義抽象。）

補充#

1. 數學推導證明#

證明（習題 2）：協方差為 \(\mathbf{I}\) 即防躺平。

\(\mathrm{Cov}(\mathbf{e}) = \mathbf{I}\) 表示對角元 \(\mathrm{Var}(e_j) = 1\) （每維都有資訊——非常數，「躺平解」要求方差為 0，已被排除）；非對角元 \(\mathrm{Cov}(e_j, e_k) = 0\) （兩兩不相關——維度不冗餘，網路不能把同一訊號複製 \(d\) 份充數）。特徵值全為 1：無趨於 0 的特徵值 ⇔ 無崩潰方向。 \(\blacksquare\)

計算（習題 1，目標改為靠近 1）： \(c(e,a) = 0.1 + (e-1)^2\) ， \(e_0 = 2\) ，動力學 \(e_{t+1} = e_t + a_t\) （ \(a_t \in \{-1,+1\}\) ），規劃兩步（含末端代價）：

\((a_0,a_1)\) 軌跡 總代價
\((-1,-1)\) \(2\to1\to0\) \(1.1+0.1+1.1 = 2.3\)
\((-1,+1)\) \(2\to1\to2\) \(1.1+0.1+1.1 = 2.3\)
\((+1,-1)\) \(2\to3\to2\) \(1.1+4.1+1.1 = 6.3\)
\((+1,+1)\) \(2\to3\to4\) \(1.1+4.1+9.1 = 14.3\)

最優 \(a_0^* = -1\) （兩條同分：一步到目標後可停可回——目標已在一步內可達， \(T = 2\) 的第二步是冗餘的；把 \(T\) 縮為 1 則唯一最優 \((-1)\) ）。 \(\blacksquare\)

說明（習題 3）：兩條路線的數學差異。 生成式路線建模完整觀測分布 \(p(\mathbf{o}_{t+1}\mid\mathbf{o}_t, a_t)\) （像素級，06.2 節擴散的寫法）——損失的每一 nat 都花在像素細節上，適合「要看見未來」（影片生成、模擬器）。JEPA 建模抽象預測 \(\|P(E(\mathbf{o}_t),a_t) - \bar E(\mathbf{o}_{t+1})\|^2\) （語義級）——丟掉不可預測的細節（草的搖晃），算力集中在可控的語義動力學上，適合「要決定未來」（規劃、控制）。前者是密度估計，後者是表徵學習；代價是 JEPA 需額外正則化防崩潰，而生成式模型天然無崩潰問題。

2. 簡易範例#

範例一：本章表格的訂正與程式對照。 本章正文後兩行數字應為： \((+1,-1) \to 2\to3\to2\) ，總代價 \(4.1+9.1+4.1 = 17.3\) ； \((+1,+1) \to 2\to3\to4\) ，總代價 \(4.1+9.1+16.1 = 29.3\) （正文誤作 \(13.3/17.3\) ——漏加了末端狀態代價）。程式 _code/08.2-latent-space-planning-cem.py 窮舉輸出 \(5.30, 9.30, 17.30, 29.30\) ，最優 \(a_0^* = -1\) 的結論不變。

範例二：CEM 在想像中搜尋。 同一程式跑 CEM（連續動作、每輪 100 條軌跡）：初值 \(\mu = (0,0)\) 經 10 輪收斂到 \(\mu \approx (-2, 0)\) ——連續版最優是一步跳 \(a_0 = -2\) 直達目標（ \(e_1 = 0\) ，代價 \(4.1 + 0.1 + 0.1 = 4.3\) ，比離散 \(\pm 1\) 的 \(5.3\) 更優）。迭代印出最優代價 \(4.49 \to 4.30 \to 4.30\) ——抽樣分布逐步收進高獎區，正是「在想像中規劃」的運作實況。