世界模型：理解空間、物理與通用智慧架構#

World Models: Understanding Space, Physics, and Architectures for General Intelligence

本書是「人工智慧系列」的第九本。前八本處理的是文字與聲音——人類已經寫下來的符號。但人類智慧真正依賴的，從來不是文字本身，而是對世界的內部模型：預測球落地後會彈多高、預判伸手能否握住杯子、在腦中排練尚未發生的動作。本書要處理的就是這個被 LLM 時代長期忽略、卻決定通用智慧上限的課題。

全書的主線是一條貫穿的因果鏈：

• 狀態是什麼？ → 從 MDP 到 POMDP，再到 Dreamer 的循環潛在狀態（第 1 章）→ 沒有可模擬的狀態，就沒有可規劃的世界
• 狀態必須有幾何 → 2D 像素不足以承載遮擋與持久性（第 2 章）→ 物體中心的槽位表徵是幾何一致性的前提
• 狀態必須遵守物理 → 直覺物理學先驗、碰撞與交互（第 3 章）→ 從相關性走向結構因果與反事實
• 如何生成未來？ → 三條架構範式的分岔：自迴歸（第 4 章）、擴散（第 5 章）、JEPA 特徵預測（第 6 章）→ 三者分別對應「像真的」、「不確定性」與「只要有用」
• 如何讓未來服從我的動作？ → 動作條件化、前後向動力學與多感官（第 7 章）→ 這是被動觀察永遠學不到的因果結構
• 如何在腦中排練？ → 測試時計算、MCTS 與 MPC（第 8 章）→ 把算力從訓練期搬到決策期
• 如何落地到軀體？ → VLA、數位孿生與 Sim-to-Real（第 9 章）
• 還差多少？ → 複合誤差、物理幻覺與通用世界模型的藍圖（第 10 章）

目錄#

• 導言-人工智慧的典範轉移：從符號機率邁向時空物理模擬
  • 0.1-內部表徵的本質：超越下一個 Token 預測的智慧躍遷
  • 0.2-維度透視：大型語言模型與世界模型的本質差異
  • 0.3-李飛飛的世界模型三元視角：渲染器、模擬器與規劃器
• 第1章-狀態空間、預測與早期探索：模型基底學習的演進
  • 1.1-從馬可夫決策過程到部分可觀察狀態的狀態轉移建模
  • 1.2-Ha 與 Schmidhuber 視覺世界模型：VAE 感知、MDN-RNN 記憶與緊湊控制器
  • 1.3-Dreamer 系列演進：從連續潛在動態到無像素依賴的純潛在空間學習
  • 1.4-MuZero 架構啟示：不重建觀測，只為價值評估與策略搜尋學習隱式動力學
• 第2章-空間幾何感知與 3D/4D 物理場景的內部表徵
  • 2.1-從像素柵格到空間拓撲：3D 幾何感知、深度估計與坐標系對齊
  • 2.2-連續輻射場與 3D 高斯潑濺在動態環境動態重建中的角色
  • 2.3-物體持久性與遮擋推理：空間一致性的底層挑戰
  • 2.4-以物體為中心的場景分解與槽位注意力機制
• 第3章-物理引擎內化：重力、碰撞與直覺物理學
  • 3.1-直覺物理學先驗：剛體運動、質量、重力加速度與支撐關係建模
  • 3.2-動態交互預測：彈性碰撞、摩擦力、關節約束與流體變形
  • 3.3-結構因果模型在世界模型中的實作：介入、干預與因果圖推導
  • 3.4-反事實推理：如果當初施加外力，軌跡將如何分岔
• 第4章-架構範式 I：時空自迴歸模型與生成式模擬器
  • 4.1-時空補丁化：將連續影片投射為動態視覺 Token
  • 4.2-自迴歸視訊生成的狀態預測：Transformer 注意力在時空維度的因果遮罩設計
  • 4.3-擴展定律在物理場景生成中的適用邊界與失效模式
  • 4.4-自迴歸生成對不可逆物理過程的模擬能力分析
• 第5章-架構範式 II：擴散世界模型
  • 5.1-潛在擴散模型用於時空轉移：從像素去噪到物理軌跡去噪
  • 5.2-動作條件化擴散：將控制信號注入生成核心
  • 5.3-擴散策略與世界模型的對偶性：決策即生成
  • 5.4-物理約束導引：利用能量函數與無分類器引導強制遵循守恆定律
• 第6章-架構範式 III：聯合嵌入預測架構與特徵空間預測
  • 6.1-JEPA 哲學核心：放棄像素重構，只在抽象潛在特徵空間預測世界未來
  • 6.2-特徵崩塌的數學根源與防禦機制（VICReg 與停止梯度）
  • 6.3-I-JEPA 到 V-JEPA：從靜態影像遮罩到時空動態特徵預測的結構演進
  • 6.4-層級式 JEPA：針對不同時間粒度的多尺度抽象規劃
• 第7章-可控性與動作驅動：動態反饋、逆動力學與交互模擬
  • 7.1-動作條件化機制設計：FiLM、交叉注意力與物理控制參數編碼
  • 7.2-前向動力學與逆向動力學的雙向約束學習
  • 7.3-可交互即時世界模擬器：從靜態影片播放器邁向神經物理沙盒
  • 7.4-觸覺、聽覺與本體感受：跨感官通道的交互預測
• 第8章-系統二思維：基於世界模型的腦內模擬與隱式規劃
  • 8.1-基於潛在軌跡的測試時計算擴展
  • 8.2-在腦海中下棋：世界模型驅動的蒙地卡羅樹搜尋與模型預測控制
  • 8.3-價值導向的軌跡修剪：在發散的平行未來中過濾物理不可能與高風險路徑
  • 8.4-自反思架構：利用模擬結果修正直覺策略
• 第9章-具身智能落地：VLA 模型、數位孿生與 Sim-to-Real
  • 9.1-視覺-語言-動作模型架構：空間感知與高維關節控制的端到端映射
  • 9.2-世界模型作為低成本數位訓練場：零樣本策略學習與無限合成數據
  • 9.3-跨越真實鴻溝：域隨機化、動態校準與實體感官反饋對齊
  • 9.4-靈巧手操作與人形機器人全身動力學控制的世界模型實踐
• 第10章-極限挑戰與前沿地平線：複合誤差、物理對齊與 AGI 終局
  • 10.1-滾雪球般的複合誤差：自迴歸預測崩塌與長程飄移的數學極限
  • 10.2-物理幻覺對齊：如何避免違反能量守恆與動量定理
  • 10.3-端到端自動駕駛的生死時速：極端邊界情況的安全想像與決策
  • 10.4-通用世界模型的未來藍圖：數位孿生、科學發現與物理世界的完全閉環

檔名與格式說明#

• 檔名格式：xx.y-短標題.md，短標題採精簡關鍵詞；完整標題寫在各檔 H1 與本目錄中
• 檔名內不使用半形冒號（改用全形「：」）與斜線，避免路徑問題
• README 的連結必須與實際檔名完全一致
• 行內數學一律寫成 $ 公式 $（$ 前後各留一個半形空格）；顯示數學以獨立行 $$ 包裹
• 禁用 \[ \]、\( \) 與反引號包數學