8.2 JEPA 與 LeCun 的世界模型主張（2022-2026）：Sora 是世界模型嗎？#

一、歷史背景：兩種預測，兩條道路#

2024 年 Sora 發布後（7.1 節），OpenAI 的立場清晰：「影片模型是世界模擬器的有前途基礎」。而 Yann LeCun（Meta 首席 AI 科學家、圖靈獎得主）在同一時間發起了火力全開的反對：「生成像素是在浪費計算」「在影片上訓練大規模自迴歸/擴散模型注定失敗」「JEPA 才是通往真正世界模型的路」。

這場辯論不是口水戰，而是兩個關於「智慧如何理解世界」的技術路線之爭，其根源可以追溯到本書開頭（1.1 節）的表示之爭——只是戰場換成了「預測什麼」：

生成式路線（OpenAI 風格）：預測每一個像素/詞元。預測得足夠好，就必然內部蘊含世界的模型；
聯合嵌入路線（LeCun 風格）：在抽象表示空間中預測，跳過不可預測的細節，直取語義結構。

LeCun 的系統性主張集中於 2022 年的立場論文《A Path Towards Autonomous Machine Intelligence》與其後的演講（2024 年他甚至宣布自 2025 年離開 Meta 以獨立推進 AMI 願景，足見其決心）。

二、LeCun 的論證：為什麼像素預測注定低效#

2.1 能量與資訊的論證#

LeCun 的核心攻擊點是一個能量分配問題。觀察一段影片：每一幀有數十萬像素，但其中可預測的結構（物體、運動、物理）與不可預測的細節（每片草葉的擺動、紋理噪點）之比極度懸殊。像素級生成模型被迫為不可預測的細節建模（否則似然上不去），於是：

容量浪費：絕大部分模型容量花在建模「雜訊」；
取平均的病態：對不可預測的未來，條件期望（回歸式預測）會產生模糊（VAE 的老問題，6.1 節）；若用機率分佈（擴散/自迴歸採樣），又浪費算力在採樣無關緊要的細節上。

而智慧生物的感覺—知覺系統恰恰相反：大腦不會預測每一個光子，它在抽象層次上預測——你轉頭時，大腦預測「房間還在那裡」，而不是預測每個像素。嬰兒的直覺物理（物體恆存、支持性、重力）是對抽象狀態的預測，不是對像素的預測。

2.2 對 Sora 的具體質疑#

應用於 Sora：LeCun 的判詞是「Sora 對世界的外觀有著精緻的統計，但對世界的動力學一無所知」。證據是 7.1 節列舉的失敗案例：玻璃碎裂方式違反力學、物體憑空出現、咬過的餅乾無咬痕。這些錯誤的模式表明模型學到的是時空紋理的統計（看起來像）而非因果動力學（為什麼會這樣）。在 LeCun 的框架中，這不是「訓練不夠久」，而是目標函數的結構性缺陷。

反方（縮放派）的反駁同樣有力：人類也會誤判玻璃碎裂方式；湧現是非線性的——今天的物理違和可能在十倍算力後消失（就像 GPT-2 的胡言亂語在 GPT-3 變成條理）；且「預測一切」不需要人工決定「什麼值得預測」，避免了 JEPA 設計抽象層次的手工性。這場辯論在 2026 年仍是開放問題，但雙方的技術分歧已足夠清晰。

三、JEPA：聯合嵌入預測架構#

3.1 核心思想#

JEPA（Joint-Embedding Predictive Architecture）的設計：不是預測 \(y\) 本身，而是在表示空間中預測 \(y\) 的抽象表示。給定觀測 \(x\) 與目標 \(y\) （如：影片前半 \(x\) ，後半 \(y\) ）：

flowchart LR
    A[x: 影片前半] --> B[編碼器 f_theta]
    B --> C[s_x = f(x)]
    D[y: 影片後半] --> E[編碼器 g_theta<br/>或目標編碼器]
    E --> F[s_y = g(y)]
    C --> G[預測器 Pred]
    G --> H[近似 s_y]
    H --> I[損失: 在表示空間的距離<br/>L = || Pred(s_x) - s_y ||^2]
    F --> I

\[ \mathcal{L} = \left\| \mathrm{Pred}_\theta\left(f_\theta(x)\right) - g_\theta(y) \right\|^2 \]

關鍵性質：梯度不流向目標編碼器側的像素，預測誤差在抽象層計算。不可預測的細節（草葉擺動）被編碼器天然丟棄——不是因為人工設計了丟棄規則，而是因為在表示空間中，那些細節對「匹配目標表示」沒有貢獻，模型自動只學穩定結構。

3.2 塌縮問題與對策#

JEPA 有個危險的平凡解：如果編碼器把一切都映成常向量，損失恆為零（表示塌縮，collapse）。對策有三族：

不對稱 + 停梯度 + 動量編碼器：目標網路是線上網路的指數移動平均且不回傳梯度（BYOL、I-JEPA 採用）；
方差-協方差正則：強制表示的各維方差與去相關（VICReg）；
遮罩 + 大 batch 的統計效應。

3.3 實例化#

I-JEPA（2023）：圖像版——在 ViT 表示空間中，用可見塊預測被遮塊的表示（而非像素）。效果：學到的表示在下游分類上媲美 MAE，且丟掉的是低級細節、保留的是高級結構（消融顯示其表示對紋理不敏感、對形狀敏感——更接近人類視覺的先驗）；
V-JEPA / V-JEPA 2（2024-2025）：影片版——預測時空表示。V-JEPA 2 展示了零樣本的「直覺物理」評估（判斷物體是否會相撞、支持關係是否合理）顯著優於同規模像素生成模型，且預訓練後少量資料即可遷移到機器人抓取與導航——LeCun 主張的「這才是學到動力學」的證據；
LeCun 的 AMI 藍圖（2022-2026）：完整自主智慧架構 = JEPA 分層世界模型（多時間尺度）+ 行為模塊（基於能量最優化的規劃：在想象中搜索使目標能量最小的動作序列）+ 短期/長期記憶 + 覺知模塊。規劃採用能量模型式的優化而非自迴歸採樣。

四、兩條路線的對照表#

面向	生成式（Sora、LLM）	JEPA（LeCun）
預測對象	每個像素/詞元	抽象表示
對不可預測細節	必須建模（耗容量）	天然丟棄（省容量）
條件期望問題	靠採樣解決（算力換）	不存在
人工先驗	少（「一切皆詞元」）	需設計抽象層次
可控生成	直接（提示→樣本）	需解碼器（仍是生成問題）
已驗證規模	千億級、產品級	億級、研究級
失敗模式	物理違和、細節幻覺	塌縮、抽象層設計
理論背書	縮放定律實證	認知科學、預測編碼

公允的評估：生成式路線有工程優勢（已被縮放驗證、可控生成直接），JEPA 有理論優勢（資訊效率、與生物智慧同構）。兩者也非完全對立——擴散模型在低分辨率潛空間操作（Stable Diffusion 的 VAE 壓縮）已經是一種粗糙的「跳過無關細節」；而 JEPA 模型最終要輸出可感知行為時也需要解碼。分歧的本質在於：「預測的表示層次」是學出來的還是架構給定的。

五、判準：什麼才算「世界模型」#

辯論的終點需要清晰的判準。本書提出四個可操作的檢驗：

反事實推演：給出未見過的初始條件，能否正確推演結果（把杯子傾斜 37 度，水會如何）？
干預響應：作為互動系統響應動作輸入並保持一致性（Genie、遊戲環境通過；被動影片模型不通過）；
跨情境不變性：同一物理規律在不同材質、光照、視角下保持（Sora 的失敗案例多在此）；
樣本效率的遷移：在物理相關的下游任務上，少量資料即遷移（V-JEPA 2 的機器人實驗指向此）。

按此判準：截至 2026 年，Sora 類模型通過第 2 條的「形式」（可續幀）但常敗於第 1、3 條；JEPA 系在 1、4 上有證據但在 2（互動）上尚不完整。「Sora 是世界模型嗎」的答案：它是世界模型的「渲染器」，而世界模型的「物理引擎」部分，兩條路線都還在路上。

六、本節重點#

辯論的本質是「預測什麼」：像素級（OpenAI）vs 表示級（LeCun）；這是 1.1 節表示之爭在生成模型時代的重演。
LeCun 的論證：影片中可預測結構與不可預測細節比例懸殊，像素預測浪費容量且必然在細節上幻覺；生物智慧在抽象層次預測。
JEPA 在表示空間預測，細節被編碼器自動丟棄；核心工程難點是塌縮，對策為停梯度/動量/方差正則；I-JEPA、V-JEPA 2 的實驗（形狀敏感、直覺物理、機器人遷移）是其主要證據。
兩條路線各有硬傷：生成式的物理違和是目標函數結構性缺陷（縮放派認為可湧現修復）；JEPA 的抽象層次是手工設計且尚無產品級規模驗證。
判準四條：反事實、干預、跨情境不變、樣本效率遷移。截至 2026 年，Sora 是「渲染器」，物理引擎仍待完成——辯論未決，但技術分歧已充分顯影。

七、思考問題#

「條件期望會模糊」的論證對自迴歸語言模型是否同樣成立？如果成立，為什麼 LLM 的輸出看起來不模糊？
JEPA 的抽象層次由架構（編碼器）給定，生成式的由資料統計決定。哪種更符合「智能是解決規模化問題的通用方法」的主張？
用第五節的四條判準，分別評估：Sora、V-JEPA 2、MuZero、GPT-4o 的影片理解。誰最接近「世界模型」？
若你在 2026 年規劃一條通往機器人通用智慧的研發路線，你會把賭注押在哪條路線（或如何混合）？寫出你的三階段計劃與判斷依據。