2025 - Genie 3：互動世界模型#

案件摘要#

2025 年 8 月，Google DeepMind 發表 Genie 3：輸入一句文字提示，即時生成一個可互動的 720p 世界——你可以用鍵盤走進去，世界以 24fps 的速度即時渲染，並且記得你去過哪裡（數分鐘內的場景一致性）。核心主張：

一句話：影片生成模型學會了「聽話」——你動，世界才變。這是通往 AGI 的「世界模擬器訓練場」：智慧體可以在裡面無限試錯，如同 AlphaGo 的自我對弈，只是棋盤換成了世界。

前因 -- 為什麼會有這個案子#

• 2024-Sora世界模型.md：Sora 證明影片生成可行，但它是單向的——你給提示，它播影片，你無法走進去、無法改變鏡頭。OpenAI 自己的標題就是 "world simulators"，但只模擬、不互動。
• 2024-VJEPA世界模型.md：LeCun 主張智慧需要內部世界模型。Genie 3 走的是另一條實作路：生成式互動世界模型——不是在表徵空間預測，而是直接渲染一個可走的世界。
• Genie 1（2024/02）已能從圖像生成「可玩世界」，但只有 2D、低解析度、幾秒鐘記憶；Genie 2（2024/12）推到 3D 與長記憶的雛形。Genie 3 是兩年的第三步：即時、720p、數分鐘一致性。
• 遊戲引擎的啟發：傳統遊戲世界（如 Minecraft）是人寫的物理規則 + 預製素材；Genie 3 問：可不可以讓神經網路「即興」出一個世界？神經網路通用遊戲引擎（GameNGen, 2024 在 TPU 上跑出 Doom）是前哨戰。
• DeepMind 的動機：Hassabis 長期主張 AGI 需要三件事——推理、規劃、世界模型。o1（見 2024-o1推理模型.md）補上推理，Genie 3 補上世界模型與訓練場。

線索與推理 -- 數學式、程式、理論#

第一條線索：動作條件的下一幀預測#

Genie 3 的數學本質是動作條件的影片預測：

其中 \(a_t\) 是用戶的動作（前進、轉頭、跳躍）。對比系譜：

數學上，這是從 \(P(x_{t+1} \mid x_t)\) （被動預測）升級到 \(P(x_{t+1} \mid x_t, a_t)\) （控制論式的條件預測）——世界成了策略 \(\pi(a_t \mid \text{text})\) 之下的環境模型。

第二條線索：即時生成的算術——24fps 的硬仗#

720p × 24fps 意味著每秒生成約 \(1280 \times 720 \times 3 \times 24 \approx 6600\) 萬像素值，且延遲必須低於人體感知（約 100ms 級）。這是自回歸模型的噩夢：每幀依賴前一幀，誤差會累積。Genie 3 的工程解法：

• 長視窗上下文：把過去幀壓縮成記憶表徵，讓新幀「記得」幾分鐘前的場景——這解決了漂移（drift）問題：你走遠再回頭，房子還在原處。
• 高效的生成骨幹（據報導含 Transformer + 擴散式組件的混合），在 TPU 叢集上即時推理。

記憶一致性可以用一個約束來描述：對已見過的區域 \(R_{\text{seen}}\) ，重新生成時必須

「回頭時房子還在」——這個看似平凡的性質，是從「影片」到「世界」的分水嶺。

從心理學看，這正是「物體恆存性」（object permanence）——嬰兒約 8 個月大才發展出「東西被遮住仍存在」的認知。Genie 3 用記憶表徵解決了同一個問題：世界模型必須有恆存性，才算一個世界，而不只是一段影片。這也是 2024-VJEPA世界模型.md 中「直覺物理」測試的互補面：V-JEPA 測理解，Genie 測互動。

第三條線索：世界模擬器訓練場——RL 的無限棋盤#

Genie 3 的戰略價值不在產品，而在訓練場：

RL 需要一個環境來試錯（見 科學與歷史/強化學習/ 的整條線：MENACE 井字棋→TD-Gammon→AlphaGo）。真實世界的試錯成本高且危險（機器人摔一次壞一次）；Genie 3 提供了無限、可重置、零成本的環境——智慧的體可以在裡面犯一百萬次錯。

這個「訓練場」概念也是 2024 年 OpenAI 的 Sora 標題 "world simulators" 的兌現：Sora 只證明「模擬可行」，Genie 3 證明「模擬可訓練」——從展示到基礎設施，世界模型在 2025 年完成了身份轉換。

第四條線索：陰影——幻覺物理與有限的記憶#

Genie 3 的陰影：神經世界的物理是統計物理，不是牛頓物理——長時間互動後物件可能憑空出現或消失（「幻覺實體」）；記憶只有數分鐘，走遠了世界就「失憶重置」。這正是 2024-VJEPA世界模型.md 中 LeCun 批評生成式路線的同一個問題：渲染一切細節的模型，記不住結構的骨架。兩條路線（V-JEPA 的表徵預測 vs Genie 的生成互動）尚未合流——這是未來懸案。

結案 -- 後果與影響#

• 「互動世界模型」成為 2025 年的新賽道：World Labs（李飛飛）、Odyssey、Nvidia 的神經世界引擎全面跟進——遊戲引擎的神經化開始。
• 為具身智能與機器人訓練提供模擬環境：sim-to-real 的落差成為下一步戰場。
• 影視與遊戲產業受到衝擊：「即興世界」可能取代部分預製內容與引擎開發。
• DeepMind 宣布後續將用於訓練 AGI 體——世界模型從「研究展示」轉為「訓練基礎設施」。
• 回望主線：1890 聯想→1943 神經元→1986 反向傳播→2017 Transformer→2022 ChatGPT→2024 o1（推理）→2025 Genie 3（世界與行動）——智慧模型的最後一塊拼圖：從「想」到「活在世界裡」。
• 未來懸案：AGI（世界模型 + 推理 + 規劃何時合流）、具身智能（模擬到真實的鴻溝）、持續學習（失憶的世界模型如何永久記憶）。

關鍵人物與文獻#

• Google DeepMind：Genie 3: A new frontier for world models, 2025（官方部落格與技術報告）。
• Bruce et al.：Genie: Generative Interactive Environments, ICML 2024（Genie 1，潛在動作的世界模型）。
• DeepMind：Genie 2: Large-scale foundation world models, 2024。
• Demis Hassabis：AGI 三支柱（推理、規劃、世界模型）的路線主張。
• Valevski et al., Diffusion Models Are Real-Time Game Engines（GameNGen）, 2024——神經遊戲引擎前哨戰。
• 李飛飛：World Labs（2024 創立），空間智慧與互動 3D 世界的平行路線。
• 相關案件：2024-Sora世界模型.md、2024-VJEPA世界模型.md、2024-o1推理模型.md、2025-MCP智慧代理.md

補充 -- 程式實作（python + pytorch）#

本案動作條件下一幀預測（P(x_{t+1}|x_t,a_t)）＋rollout 記憶一致性的最小可執行版本，見 _code/2025-Genie3.py（已實測可跑，CPU 約 1 分鐘；8×8 格亮點走位，幀 token 化——Genie 的 VQ 路線）：

# 2025 - Genie3: 下一幀 = f(當前幀 token, 動作); 無動作即普通影片模型
import torch
import torch.nn as nn
import torch.nn.functional as F

ACTS = [(0, -1), (0, 1), (-1, 0), (1, 0)]  # 左右上下


def build_world(N=600, T=12, seed=0):
    torch.manual_seed(seed)
    S = torch.zeros(N, T + 1, 2, dtype=torch.long)
    A = torch.randint(0, 4, (N, T))
    S[:, 0] = torch.randint(0, 8, (N, 2))
    for t in range(T):
        S[:, t + 1, 0] = (S[:, t, 0] + torch.tensor([a[0] for a in ACTS])[A[:, t]]).clamp(0, 7)
        S[:, t + 1, 1] = (S[:, t, 1] + torch.tensor([a[1] for a in ACTS])[A[:, t]]).clamp(0, 7)
    tok = S[:, :, 0] * 8 + S[:, :, 1]  # 幀 -> token (64 詞)
    return tok, A


class World(nn.Module):
    def __init__(self):
        super().__init__()
        self.pos = nn.Embedding(64, 16)
        self.act = nn.Embedding(4, 8)
        self.m = nn.Sequential(nn.Linear(24, 64), nn.ReLU(), nn.Linear(64, 64))

    def forward(self, tok, a):
        return self.m(torch.cat([self.pos(tok), self.act(a)], 1))


def main():
    torch.manual_seed(0)
    N, T = 600, 12
    tok, A = build_world(N, T)
    net = World()
    opt = torch.optim.Adam(net.parameters(), lr=1e-2)
    for ep in range(200):
        idx = torch.randint(0, N, (256,))
        t = torch.randint(0, T, (256,))
        opt.zero_grad()
        loss = F.cross_entropy(net(tok[idx, t], A[idx, t]), tok[idx, t + 1])
        loss.backward()
        opt.step()
    with torch.no_grad():
        idx = torch.arange(300)
        t = torch.randint(0, T, (300,))
        one = (net(tok[idx, t], A[idx, t]).argmax(1) == tok[idx, t + 1]).float().mean().item()
    print(f"單步下一 token 準確率={one:.2f} (64 選 1, 隨機≈0.02)")
    # (12 步 rollout 有/無動作比較, 見 _code/2025-Genie3.py 全文)


if __name__ == "__main__":
    main()

執行結果（python3 _code/2025-Genie3.py，torch 2.12.0）：

單步下一 token 準確率=1.00 (64 選 1, 隨機≈0.02 -- 動作條件學會)
12步 rollout 位置跟隨率: 有動作=1.00 無動作=0.26 (可控性差距 -- 動作條件即世界模型與影片模型的分野)
結論: 下一幀+動作+記憶 = 可互動的世界; 無動作即普通影片模型 (只能猜最可能的走位)

程式解說：幀→token（64 詞）即 Genie 的 VQ 路線——連續像素先離散化，世界模型活在 token 空間（與 Sora 的連續潛碼是兩條路線）。單步 1.00（64 選 1）證明動作條件被吃進去；12 步 rollout 1.00 vs 0.26 是「可控性」的判決：有動作指哪走哪，無動作只能猜最可能的走位——動作條件即世界模型與影片模型的分野（本文第一條線索）。實測附帶真課：像素 MSE 迴歸版學不會擦除（模型偷懶抄上一幀，一步誤差只差 2 倍、rollout 全崩）——離散 token＋分類才是可控生成的正確形狀；另，評估基線要用「複讀上一幀」而非「平均動作嵌入」（後者從未被訓練過，是稻草人）。