2025 - DeepSeek-R1：推理模型的民主化#

案件摘要#

2025 年 1 月，中國的 DeepSeek 團隊發表 R1，用純強化學習（不靠人工標註的思維鏈）讓開源模型湧現出推理能力，並以 MIT 授權開源權重。核心演算法是 GRPO（Group Relative Policy Optimization）：

\[ \hat A_i = \frac{r_i - \mathrm{mean}(r_1, \dots, r_G)}{\mathrm{std}(r_1, \dots, r_G)} \]

一句話：不請評審（獎勵模型），讓一群考生互相排名。R1 的 MoE 架構總參數 671B、每次推論只啟用 37B，訓練成本據報遠低於西方旗艦——2025 年 1 月 27 日，Nvidia 單日市值蒸發近 6000 億美元，這是推理模型民主化擊出的第一記重拳。

前因 -- 為什麼會有這個案子#

2024-o1推理模型.md：o1 證明「測試時計算 + 思維鏈 RL」可行，但閉源且昂貴——全世界的研究者看得見性能，看不見配方。
2023-LLaMA開源大模型.md（見 科學與歷史/智慧模型/）：Meta 開源 LLaMA 掀起開源生態；DeepSeek 前作 V3 已用 MoE + 低精度訓練把成本壓到極致，R1 站在 V3 的肩膀上。
2024 年 9 月，DeepSeek 發表 R1-lite 預覽（DeepSeek-Math 的 GRPO 路線延伸），展示「純 RL 也能長出思維鏈」——兩個月後的正式版引爆。
DeepSeek 的動機：一家受晶片出口管制限制的中國公司，算力有限——「省著用算力」是生存策略，也意外成為技術路線（低精度、MoE、免獎勵模型）。
RLHF 的老問題（見 2022-ChatGPT與RLHF.md）：獎勵模型（reward model）昂貴且可被欺騙（reward hacking）；DeepSeek-Math 論文（2024）提出 GRPO 取代 PPO 中的 critic。

線索與推理 -- 數學式、程式、理論#

第一條線索：GRPO——免 critic 的政策梯度#

PPO（見 科學與歷史/強化學習/）需要訓練一個價值網路（critic）來估計優勢函數。GRPO 的洞見：對同一問題採樣 \(G\) 個回答，用它們自己的排名當基準：

\[ \hat A_i = \frac{r_i - \mathrm{mean}(r)}{\mathrm{std}(r)} \]

	PPO	GRPO
基準線	學出來的價值網路 \(V(s)\)	同組回答的平均獎勵
額外模型	需 critic（與政策同量級）	不需要
訓練成本	高（兩個大模型並行）	低（只訓政策）
風險	critic 估不準	組內全對/全錯時訊號為零

獎勵 \(r\) 完全來自可程式化驗證（RLVR）：數學答案核對、程式碼跑測試、格式檢查——沒有人工標註、沒有神經網路評審。獎勵訊號乾淨，GRPO 才敢省掉 critic。

第二條線索：純 RL 的湧現——「啊哈時刻」#

R1-Zero（純 RL，不做任何 SFT 冷啟動）的訓練曲線上出現一個戲劇性現象：模型自發地學會在回答中寫出「等等，我重新想一下」（self-reflection）與「啊哈時刻」（aha moment）——沒有人教它這樣做。推理長度隨訓練自行增長：

\[ \text{思考長度}(t) \uparrow \quad \text{且} \quad \text{準確率}(t) \uparrow \]

這證明了 o1 路線的一個理論主張：思維鏈不是提示詞的產物，而是高獎勵行為的自然演化。R1-Zero 的問題是可讀性差（中英混雜），所以正式版 R1 加了少量冷啟動 SFT 資料，再走 RL。

第三條線索：MoE 與成本——省算力的算術#

R1 基於 V3 的 Mixture-of-Experts 架構：

	密集模型（LLaMA-70B 式）	MoE（R1 式）
總參數	70B	671B
每次推論啟用	70B	37B
知識容量	受限於啟用參數	總參數決定，啟用參數決定速度

路由器（router）為每個 token 選擇少數專家：

\[ y = \sum_{i \in \text{top-}k} g_i(x)\, E_i(x), \quad k \approx 8 \text{（共 256 個專家）} \]

再加上 FP8 低精度訓練與多頭潛在注意力（MLA），V3 的訓練成本據報約 557 萬美元 GPU 時數——R1 的 RL 階段更省。成本結構被重寫：推理能力不再是億萬美元俱樂部的專利。

第四條線索：蒸餾——把 RL 的果實分給小模型#

R1 的另一條線索是蒸餾：用 R1 生成的 80 萬條思維鏈樣本，微調 Qwen 與 LLaMA 的小模型（1.5B–70B）。結果：蒸餾後的小模型在數學基準上超越直接 RL 訓練的小模型——推理能力可以蒸餾，且小模型直接 RL 不如大模型蒸餾。這讓推理能力的散佈成本降到近乎零。

蒸餾的算術：R1 的 RL 訓練花了整個大模型叢集，但蒸餾只需要「生成 + 微調」——生成 80 萬條樣本的算力遠小於 RL。

這是知識傳播的槓桿：一次 RL，無限次蒸餾。歷史的回音：2015 年 Hinton 的 distillation 論文（dark knowledge）已提出這個想法，R1 證明它在「推理能力」上同樣成立。推理的民主化有兩級：第一級是開源權重（人人可下載），第二級是蒸餾（人人可複製）——R1 兩級都打通了。

模型	來源	MATH-500 準確率（約）
Qwen-7B 直接 RL	小模型自己訓	~55%
Qwen-7B 蒸餾自 R1	大模型分果實	~92%
R1 本尊	純 RL + 冷啟動	~97%

結案 -- 後果與影響#

2025/01/27 的市場地震：Nvidia 單日跌 17%（約 6000 億美元），「AI 需要多少算力」的敘事被重新定價。
開源推理模型爆發：R1 之後數月，各家開源 thinking 模型（Qwen、Gemma、OpenAI 的開源款）跟進，推理模型從奢侈品變成日用品。
GRPO 成為開源 RL 訓練的標準工具，RLVR（可驗證獎勵 RL）成為 2025 年的關鍵詞。
地緣政治效應：晶片出口管制的有效性受到質疑，「演算法效率 vs 算力規模」的辯論成為政策議題。
為 2025-MCP智慧代理.md 埋下伏筆：便宜又會思考的模型，讓代理的成本結構成立——「會思考的頭腦」不再是瓶頸。
回望主線：1890 聯想→1943 神經元→1986 反向傳播→2017 Transformer→2022 ChatGPT→2024 o1（閉源的 System 2）→2025 R1（System 2 的民主化）——智慧的擴散速度越來越快：ChatGPT 到 R1 只隔兩年。
未來懸案：純 RL 能長出多深的推理？多模態推理與具身決策何時被同一套配方攻克？

關鍵人物與文獻#

DeepSeek-AI（梁文鋒創辦）：DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, 2025。
DeepSeek-AI：DeepSeek-V3 Technical Report, 2024（MoE、MLA、FP8 基座）。
DeepSeek-AI：DeepSeekMath: Pushing the Limits of Mathematical Reasoning（GRPO 提出）, 2024。
Liang Wenfeng（梁文鋒）：幻方量化出身，DeepSeek 創辦人——「以研究為先」文化與算力受限下的效率路線。
Schulman et al., Proximal Policy Optimization（PPO）, 2017——GRPO 所改進的對象。
相關案件：2023-LLaMA開源大模型.md、2024-o1推理模型.md、2022-ChatGPT與RLHF.md、2025-MCP智慧代理.md

補充 -- 程式實作（python + pytorch）#

本案 GRPO（Â = (r − mean)/std，免 critic）＋MoE 算術的最小可執行版本，見 _code/2025-DeepSeekR1.py（已實測可跑，CPU 秒級；四臂推理老虎機）：

# 2025 - DeepSeek-R1: Â_i = (r_i - mean(r)) / std(r); MoE top-k 路由
import torch
import torch.nn as nn
import torch.nn.functional as F


def main():
    torch.manual_seed(0)
    true_p = torch.tensor([0.2, 0.35, 0.5, 0.9])  # 四臂真成功率 (不可見的驗證器)
    theta = torch.zeros(4, requires_grad=True)    # 從零開始, 無 SFT (R1-Zero)
    opt = torch.optim.Adam([theta], lr=0.1)
    eps, G = 0.2, 16
    hist = []
    for step in range(120):
        logits = theta.detach()
        with torch.no_grad():
            acts = torch.multinomial(F.softmax(logits, 0).expand(G, 4), 1).squeeze(1)
            r = (torch.rand(G) < true_p[acts]).float()  # 0/1 驗證獎勵 (結果監督)
            adv = (r - r.mean()) / (r.std() + 1e-6)     # GRPO: 組內歸一, 免 critic
            old_logp = F.log_softmax(logits, 0)[acts]
        opt.zero_grad()
        ratio = (F.log_softmax(theta, 0)[acts] - old_logp).exp()
        loss = -torch.min(ratio * adv, ratio.clamp(1 - eps, 1 + eps) * adv).mean()
        loss.backward()
        opt.step()
        hist.append(float(r.mean()))
    with torch.no_grad():
        final = F.softmax(theta, 0)
    print(f"GRPO 120輪: 獎勵 {hist[0]:.2f} -> {hist[-1]:.2f}")
    print("終局策略:", [round(float(v), 2) for v in final])


if __name__ == "__main__":
    main()

執行結果（python3 _code/2025-DeepSeekR1.py，torch 2.12.0）：

GRPO 120輪: 獎勵 0.44 -> 0.81 (純 RL, 無示範 -- R1-Zero 的『啊哈』是統計量的形狀)
終局策略: [0.0, 0.0, 0.0, 1.0] (最優臂 0.9 被找出)
MoE 算術: 256專家取8 -> 每次只算 8/256 參數 (省 32x); 蒸餾把果實分給小模型

程式解說：adv = (r − mean)/std 即本文第一條線索的一行公式全文——同一組 16 個樣本的均值當基線、標準差當尺度，value 網路（critic）整顆丟掉，PPO 的另一半參數就此省下。獎勵 0.44→0.81、策略塌向最優臂：無示範、無 SFT、純 RL——R1-Zero 的「啊哈時刻」在此是統計量的形狀（組內比較即自我反思的最小骨架）。MoE 算術（y = Σ top-8 g·E，256 選 8，前向只算 1/32）與蒸餾（第四條線索）是成本故事的另一半：聰明（GRPO）＋便宜（MoE）＋擴散（蒸餾）——開源效率革命的三段論。