跳轉到

第 11 章　多模態、具身智慧與 AGI 的終極前沿#

本章導言#

當語言模型吃下圖像、視頻與機器人身體，AI 的最後邊界剩下兩件事：理解物理世界、以及控制權問題。本章三節：11.1 Sora 與多模態；11.2 具身智慧；11.3 AGI 安全與宮鬥。

11.1 Sora、Gemini 與多模態融合：AI 如何開始理解物理世界的視覺與聲學規律？#

11.1.1 從 GAN 到擴散模型#

  • 2014 年 Goodfellow 提出 GAN（生成對抗網絡，Bengio 實驗室）——生成式 AI 的第一個引擎；
  • 2020–22 年擴散模型（Denoising Diffusion，DDPM；OpenAI 之 GLIDE、Stable Diffusion）取代 GAN 成為圖像生成主流；
  • 2022 年 OpenAI DALL·E 2／Stable Diffusion 的圖像生成大眾化引發第一輪版權與職業衝擊（插畫、攝影）。

11.1.2 視頻生成的世界模型之爭#

  • 2024 年 2 月，OpenAI 發布 Sora：以時空 patch（spacetime patches）為單位的視頻擴散 Transformer，可生成一分鐘級連貫視頻，展示物理直覺（反射、透視、物體恆存）的「湧現」；
  • 同期 Google Gemini（2023.12 起）主打原生多模態（文本、圖像、音頻、視頻統一訓練）；2024–25 年的 Veo、Genie 等繼續推進；
  • 關鍵科學爭論（LeCun vs 生成派）：視頻生成是否等於「理解物理世界」？LeCun 主張 JEPA 類的「世界模型」路線——預測抽象表徵而非像素。此爭論是 2020s AI 路線圖的核心分歧。

11.1.3 語音與聲學#

2024 年 GPT-4o 的實時語音對話（平均延遲數百毫秒、可感知情緒語調）使「與機器說話」從科幻變日常；語音克隆（ElevenLabs 等）與其風險（詐騙、Deepfake 選舉干預）同步登場，各國選舉年（2024）紛紛出台 AI 內容標識規則。

11.1.4 前因後果#

  • 前因：Transformer 的通用性（9.2）＋擴散數學＋視頻數據池。
  • 事件：2022 圖像、2023–25 視頻與全模態。
  • 後果：AI 的輸入輸出擴展到人的全部感官；「世界模型是否湧現」成為通往 11.3 的哲學與工程樞紐。

下一節：11.2 具身智慧