跳轉到

2023 - GPT-4 多模態#

案件摘要#

2023 年 3 月 14 日，OpenAI 發布 GPT-4：支援文字 + 影像輸入的多模態大模型，上下文擴至 32k（後至 128k）。它在律師、SAT、生物奧林匹亞等考試中爆發性超越人類平均：

\[ \text{MMLU} \approx 86.4\%, \qquad \text{BAR 考試前 10\%} \]

OpenAI 的技術報告刻意不透露架構與參數，只留下規模法則可預測的主張：「我們在訓練前就精確預測了最終效能」——通用智能的門檻被跨過了，或者說，被宣稱跨過了。這樁案件的偵探難題是：證據被藏起來了，我們只能從線索反推。

前因 -- 為什麼會有這個案子#

  • 2022 年 ChatGPT（見「2022-ChatGPT與RLHF.md」）證明 RLHF 對齊可行，但 GPT-3.5 的推理與知識仍常出錯；OpenAI 需要一個「能力階梯」的躍升來維持前沿地位。
  • 2021 年 CLIP（見「2021-CLIP多模態對齊.md」）與 Flamingo（DeepMind, 2022）證明視覺-語言融合可行；GPT-3.5 隔壁的 Whisper（見「2022-Whisper語音辨識.md」）補上聲學——多模態整合的技術零件已齊。
  • 2021 年 ViT（見「2021-ViT視覺Transformer.md」）確立「影像即 token 序列」，使影像可以像文字一樣進入 Transformer——架構上的統一成為可能。
  • 2022 年 Chinchilla（見「2022-Chinchilla規模法則.md」）給出訓練配方的數學；GPT-4 的訓練算力推估為 \(O(10^{25})\) FLOPs，約 GPT-3 的數十倍。
  • OpenAI 的動機：Ilya Sutskever 長期主張「預測下一個 token 推到極致即是智能」；GPT-4 是這個假說的最大規模檢驗。
  • 微軟投資 100 億美元，算力與資金到位；ChatGPT 的成功使競賽壓力空前。
  • 偵探視角：GPT-4 是全書中「零件最齊、證據最少」的案件——CLIP、ViT、Flamingo、Chinchilla、RLHF 五條前驅線索都在桌上，但成品被鎖進黑箱；偵探只能從考試成績與規模法則兩份證詞反推內部結構。

線索與推理 -- 數學式、程式、理論#

第一條線索：多模態——影像即 token#

GPT-4 接受影像輸入（技術報告證實，但細節保密；外界推測以 ViT 式 patch 編碼後進入 Transformer）。統一的原理：

\[ \text{輸入序列} = [\underbrace{v_1, \dots, v_m}_{\text{影像 patch tokens}},\ \underbrace{t_1, \dots, t_n}_{\text{文字 tokens}}] \to \text{Transformer} \to \text{文字輸出} \]

ViT 的遺產：影像切成 patch、線性投影成 token，與文字共用同一個注意力機制。CLIP 的遺產：視覺表徵已與語言對齊。GPT-4 的推測做法是把兩者合流：同一個 Transformer，讀兩種語言——像素與文字。

第二條線索：考試成績——通用智能的量化判決#

考試 GPT-3.5 GPT-4 人類平均
MMLU ~70% 86.4% ~89%（有執照者）
Uniform BAR 後 10% 前 10% ~中位數
SAT 閱讀 ~87% 93% —
USABO 半決賽 ~31% 99.5% —
GRE 寫作 ~中位數 前 18% —

關鍵不是分數本身，而是跨領域的一致性：法律、醫學、生物、數學、寫作同時跳升——不是某個領域的專家系統，而是通用的能力躍遷。圖靈測試（見「科學與歷史/人工智慧/」）在此有了新的量化版本：考試即測試。

第三條線索：可預測的規模化——藏起來的證據#

技術報告唯一詳述的技術內容是規模法則的預測力：OpenAI 在訓練前以小規模實驗（約千分之一算力的模型）外推最終效能，事後驗證預測準確：

\[ L(C) \propto C^{-\alpha}, \quad \text{小規模實驗} \Rightarrow \text{大規模外推} \]

報告展示了一個專案（內部代碼命名）在最終損失上的預測誤差極小。這是偵探學上的關鍵證詞：就算架構保密，規模法則允許人們在花費數億美元前預知成敗——算力投入從賭博變成工程。

第四條線索：被藏起來的其餘部分#

項目 狀態 外界推測
架構 保密 MoE（Mixture of Experts，8×220B 傳聞）
參數量 保密 ~1.8T 總參數（未證實）
資料 保密 數兆 token + RLHF + RLHF-V
訓練算力 推估 ~ \(10^{25}\) FLOPs

保密本身成為時代的訊號：前沿模型從「論文即成果」轉為「產品即成果」，學術界與開源社群只能從行為反推——這直接刺激了「2023-LLaMA開源大模型.md」的開源路線：你藏你的，我開我的。

若 MoE 假設為真，其總計算量的意義值得一記：MoE 只啟用部分專家，每次前向只需 \(k\) 個專家：

\[ \text{FLOPs} \propto 6N_{\text{active}} D, \qquad N_{\text{total}} \gg N_{\text{active}} \]

總參數承載知識容量，活躍參數決定推論成本——兩者解耦，是規模化的另一條路（與 Chinchilla 的稠密模型最優解分岔）。Mixtral（2023）與 DeepSeek-V3（2024）將此路線發揚光大。

結案 -- 後果與影響#

  • 通用智能門檻之爭：GPT-4 是否「通用智能」（AGI）成為哲學與政策問題；微軟研究院論文《Sparks of AGI》火上澆油。歐盟 AI 法案、美國行政命令相繼以能力門檻分級監管。
  • 多模態成為標準：Gemini、Claude 3、Llama 3.2 相繼支援影像輸入；「文字專家」不再是頂級模型的定義。
  • 長上下文競賽：32k → 128k → 百萬級 token，「上下文長度」成為新的軍備競賽維度。
  • 考試即測試：以標準化考試量化模型能力成為產業慣例（MMLU、GPQA、HumanEval），基準（benchmark）成為模型發布的必要配備，同時催生基準污染（contamination）問題。
  • 保密時代來臨：前沿從論文轉入產品，複現研究的民主化由開源陣營承接。
  • 安全評估體制化：GPT-4 發布前經外部紅隊（red teaming）評估——「先評估後發布」成為此後前沿模型的慣例，直達歐盟 AI 法案的分級監管框架。
  • 埋下伏筆：GPT-4 證明「預測下一個 token」能走多遠，但推理能力（多步數學、規劃）仍靠 System 1 式直覺——2024 年 o1（見「科學與歷史/人工智慧/」對應檔案）以測試時計算 + 思維鏈強化學習補上 System 2，是對話革命後的推理革命；本書的語言模型主線自此轉向「思考的模型」。
  • 多模態的另一端——輸出影像與影片——由「2024-Sora世界模型.md」承接。
  • 偵探結語：GPT-4 案件的偵探難題在於主要證物被銷毀——架構、參數、資料全部保密，只剩兩份證詞：考試成績（行為證據）與規模法則預測（方法論證詞）。科學史上，保密從未阻止反推，只會改變反推的方式：研究者從讀論文變成黑箱探針（black-box probing）——用輸入輸出反推內部表徵。這門「對封閉模型的偵探學」本身成為新學科。

關鍵人物與文獻#

  • OpenAI（Ilya Sutskever、Greg Brockman、Sam Altman 等）：GPT-4 技術報告（2023）——刻意保密架構的「反論文」。
  • Alec Radford 等：《Learning Transferable Visual Models From Natural Language Supervision》（2021，CLIP）。
  • Alexey Dosovitskiy 等：《An Image is Worth 16x16 Words》（2021，ViT）。
  • Jean-Baptiste Alayrac 等：《Flamingo: a Visual Language Model for Few-Shot Learning》（2022）。
  • Microsoft Research：《Sparks of Artificial General Intelligence: Early experiments with GPT-4》（2023，Sebastian Bubeck 等）。
  • 偵探手記：本篇是全書唯一「證物被藏起來」的案件——其他案件有論文可讀，GPT-4 只有行為可測；偵探的方法論被迫從文獻學轉向實驗學。
  • GPT-4 Turbo / Vision 更新（2023 年 11 月）：128k 上下文、JSON 模式、函數呼叫與視覺 API 全面開放——多模態從示範變成可呼叫的介面。
  • 依「科學與歷史/神經網路/」反向傳播與 Transformer 檔案：從 1943 邏輯神經元到 2023 GPT-4，神經網路通史在 GPT-4 處抵達第一個「通過人類專業考試」的里程碑——符號主義（見「科學與歷史/人工智慧/」專家系統檔案）統治了四十年考試，被神經網路在 GPT-4 處正式接棒。
  • 相關案件：2021-CLIP多模態對齊.md、2021-ViT視覺Transformer.md、2022-ChatGPT與RLHF.md、2022-Whisper語音辨識.md、2023-LLaMA開源大模型.md、2024-Sora世界模型.md

補充 -- 程式實作（python + pytorch）#

本案「影像 patch tokens＋文字 tokens 進同一具 Transformer」的最小可執行版本，見 _code/2023-GPT4Multimodal.py（已實測可跑，CPU 約 1 分鐘）：

# 2023 - GPT-4 多模態: 輸入序列 = [v_1..v_m, t_1..t_n] -> Transformer -> 文字輸出
import torch
import torch.nn as nn
import torch.nn.functional as F


class MultimodalMini(nn.Module):
    def __init__(self, d=32):
        super().__init__()
        self.vproj = nn.Linear(8, d)     # 影像 patch -> token
        self.tproj = nn.Embedding(12, d)  # 文字 token
        layer = nn.TransformerEncoderLayer(d, 4, d * 2, batch_first=True)
        self.tr = nn.TransformerEncoder(layer, 2)
        self.head = nn.Linear(d, 2)      # 是非問答

    def forward(self, v, t, use_image=True):
        tv = self.vproj(v) if use_image else torch.zeros_like(self.vproj(v))
        z = torch.cat([tv, self.tproj(t)], 1)
        return self.head(self.tr(z)[:, -1])


def main():
    torch.manual_seed(0)
    N = 800
    V = torch.randn(N, 4, 8)             # 影像 (答案藏在視覺裡)
    has = torch.randint(0, 2, (N,))
    V[has == 1, :, 0] += 3.0
    T = torch.randint(0, 12, (N, 3))     # 問題 token (與答案無關)
    y = has.long()
    net = MultimodalMini()
    opt = torch.optim.Adam(net.parameters(), lr=1e-2)
    ntr = 600  # 留 200 當測試
    for ep in range(60):
        opt.zero_grad()
        loss = (F.cross_entropy(net(V[:ntr], T[:ntr], True), y[:ntr])
                + F.cross_entropy(net(V[:ntr], T[:ntr], False), y[:ntr])) / 2
        loss.backward()
        opt.step()
    with torch.no_grad():
        acc_mm = (net(V[ntr:], T[ntr:], True).argmax(1) == y[ntr:]).float().mean().item()
        acc_tx = (net(V[ntr:], T[ntr:], False).argmax(1) == y[ntr:]).float().mean().item()
    print(f"多模態準確率={acc_mm:.2f} 純文字準確率={acc_tx:.2f} (文字無答案時只能猜)")


if __name__ == "__main__":
    main()

執行結果（python3 _code/2023-GPT4Multimodal.py，torch 2.12.0）：

多模態準確率=1.00 純文字準確率=0.55 (文字無答案時只能猜)
結論: 影像即 token -- 同一序列、同一注意力; MMLU 86.4% 的起點是『看得見』

程式解說：torch.cat([tv, tproj(t)], 1) 即本文第一條線索的輸入序列公式全文——沒有跨模態接合模組、沒有對齊損失，影像投影成 token 後與文字 token 拼接，後面是同一具 Transformer、同一套注意力。測試集上多模態 1.00、純文字 0.55（猜測水平）：答案只存在於影像裡，文字路再強也只能猜——模態即資訊，看不見就答不出。實測附帶一課：文字路在訓練集上曾達 0.77（背下 800 句的排列組合），測試集現形 0.55——記憶不是理解，泛化看測試集。GPT-4 把同一招用到考試：MMLU 86.4%、BAR 前 10%，起點都是「看得見」。