跳轉到

9.3 Bayes 統計的復興#

本章導言#

十九世紀末至二十世紀中，貝氏方法被視為異端（1.3 節的先驗爭議）；Fisher 稱逆機率是「謬誤的基礎」。然而 1950 年代起，貝氏統計在理論（de Finetti、Savage、Jeffreys）與計算（MCMC）的雙輪驅動下復興，二十一世紀更成為機器學習的方法論核心。本節講述這場「異端回歸」的理論基礎、計算革命與現代格局。

復興的三個理論支柱#

支柱一：de Finetti 的主觀機率（1931–37）。義大利數學家 Bruno de Finetti（德菲內提，1906–1985） 以「機率是個人對事件的賭率」重構基礎：預註冊賭局的可加性即機率公理；表示定理（1937）證明 iid 假設等價於「可交換性 + 參數先驗」（4.1 節場景三）——頻率學派最基礎的 iid 模型，竟是貝氏結構的投影。L. J. Savage（薩維奇，1917–1971） 1954 年《統計學基礎》以公理化的偏好理論（確定性原理、效用）推出主觀機率與貝氏決策——「理性人必然是貝氏人」的證明。

支柱二：Jeffreys 的貝氏物理學（1939、1946）。地球物理學家 Harold Jeffreys（傑弗瑞，1891–1989）《機率論》建立了客觀貝氏體系：不變先驗（ \(\propto \sqrt{I(\theta)}\) ，8.1 節 Fisher 資訊量）、以「後驗機率」直接評價假說、貝氏因子 \(P(\text{資料} \mid H_1)/P(\text{資料} \mid H_0)\) 作為證據度量。他與 Fisher 的公開論戰（1930s）為貝氏復興保留了理論火種。

支柱三：Wald 的決策論（1950）。Abraham Wald（瓦爾德，1902–1950） 把統計視為決策問題：估計量/檢定的品質 = 風險函數（損失的期望）。在此框架中，貝氏規則（最小化後驗期望損失）具有優美性質；Wald 自己導出的完備類定理證明「合理的決策規則都是（廣義）貝氏規則」——最優性本身把統計學推向貝氏。Fisher 與 Neyman 各自的理論在此框架下成為特例。

計算革命：MCMC#

貝氏方法的死穴是後驗分布通常無解析解： \(\pi(\theta \mid x) \propto L(\theta) \pi(\theta)\) 的高維積分算不動。1980–90 年代的馬可夫鏈蒙地卡羅（MCMC）解開了死穴：

  • Metropolis 演算法（1953，物理學）：以偏置隨機漫步採樣任意分布（6.1 篝場景三）。
  • Hastings 推廣（1970）：Metropolis–Hastings，通用接受率公式。
  • Gibbs 抽樣（Geman–Geman 1984，影像復原）：逐變數條件抽樣（4.3 篝場景三）。
  • Gelfand–Smith 的引爆（1990）：證明 Gibbs 在常規貝氏模型中直接可用——貝氏統計從「理論上可行」變成「人人可算」。

之後的工程化：BUGS（1990s）、Stan（HMC 演算法，2010s）、PyMC——貝氏建模成為點擊式實務。MCMC 的收斂合法性全部來自 6.2 節馬可夫鏈理論（不可約 + 正常返 + 非週期 → 收斂到平穩分布 = 後驗）：1906 年 Markov 為哲學論戰建立的數學，成為 1990 年代統計革命的計算引擎。

復興的應用戰場#

  • 小樣本與分層：分層貝氏模型（Stein 的收縮、Lindley–Smith 1972）在「資料少、組多」的場景（學校成績、棒球打擊率 Efron–Morris 1975 的經典案例）中碾壓頻率方法——James–Stein（8.1 篝場景五）的貝氏化身。
  • 隱變數與混合模型：EM（8.2 篝場景二）+ MCMC + Dirichlet 過程（Ferguson 1973）——無限混合、主題模型（LDA 2003）。
  • 複雜科學：宇宙學參數估計（Planck 衛星數據分析是 MCMC 最大用戶之一）、流行病學（貝氏 R0 估計）、地質與氣候（冰芯年代、氣候敏感度）——「難以做實驗、先驗豐富」的科學是貝氏的主場。
  • 機器學習：MAP = MLE + 正則化（8.2 節）；貝氏神經網路（後驗 over 權重）、變分推斷（VI, 1990s–2010s：以優化近似 MCMC）、擴散模型的反向過程皆以貝氏語言表述——深度學習時代，貝氏不是對手而是語法。

一個具體例題#

例題 9.3.1：新藥二期試驗， \(n = 12\) 名患者中 \(k = 9\) 名有效。(a) 平坦先驗 \(\text{Beta}(1,1)\) 下求有效率 \(\theta\) 的後驗；(b) 以 Beta(3, 7)（基於一期數據與機制先驗： \(\mathbb{E}\theta = 0.3\) ）更新；(c) 比較兩個先驗下的 95% 可信區間與「 \(\theta > 0.5\) 」的後驗機率；(d) 對照頻率學派的 Wilson 區間。

解：

(a) 二項似然 + Beta 先驗 = 後驗 Beta(1 + 9, 1 + 3) = Beta(10, 4)。後驗均值 \(\frac{10}{14} \approx 0.714\) 。95% 可信區間（Beta 分位數）：約 (0.444, 0.919)。

(b) 先驗 Beta(3, 7)（均值 0.3）更新為 Beta(12, 10)：後驗均值 \(\frac{12}{22} \approx 0.545\) 。95% 區間約 (0.319, 0.757)； \(P(\theta > 0.5 \mid \text{資料}) \approx 0.65\) 。

(c) 比較：平坦先驗下 \(P(\theta > 0.5) \approx 0.93\) ——「幾乎確定有效」；資訊先驗下 0.65——「偏正向但不確定」。差異的根源：先驗是模型的一部分。先驗均值 0.3 對 \(\theta\) 施加向下拉力，12 名患者的數據（ \(k = 9\) 的強信號）不足以完全克服。這正是貝氏的透明性：爭論被顯式化（先驗選擇、敏感性分析），而非隱藏在「客觀」的修辭下。頻率學派無此表達通道——同一組數據的「顯著性」不隨先前知識變化，這既是它的美德（穩定）也是它的盲點（無法整合累積知識）。

(d) Wilson 頻率區間（95%）： \(\frac{k}{n} \pm 1.96 \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}\) 的 Wilson 修正版 \(\approx (0.423, 0.897)\) 。與 (a) 的平坦先驗可信區間 (0.444, 0.919) 數值接近——平坦（弱資訊）先驗下兩派區間趨同；差異在詮釋（覆蓋頻率 vs. 參數的信念機率）與小樣本行為（資訊先驗使區間合理縮窄）。此例是 1.3 篝「同一計算、兩種詮釋」的完整展示：數學的交會點在弱先驗，哲學的分岔在詮釋與先驗的使用權。

歷史啟示#

  • 哲學僵局由計算打破：先驗之爭辯了兩百年無果；MCMC 讓「先驗下後驗可算」成為事實——實務可行性往往先於哲學共識。
  • de Finetti 定理是橋樑：它證明兩派的底層假設互相翻譯——「對立的學派常共享更深的結構」是科學史的反覆主題。
  • 先驗的透明性革命：貝氏迫使研究者宣告先驗並做敏感性分析；「客觀性」從「不用先驗」轉為「先驗公開且可檢驗」——科學的客觀性被重新定義。
  • 決策論的仲裁：Wald 證明合理規則都是廣義貝氏——最優性語言最終偏向了曾被稱為「謬誤」的一方。

與其他章節及領域的關聯#

  • 1.3 節：Bayes 定理、共軛更新、基率謬誤——本節的一切的源頭。
  • 6.2 節：MCMC 的收斂合法性來自馬可夫鏈理論。
  • 8.1、8.2 節：收縮估計、MAP、Fisher 資訊（Jeffreys 先驗）與 MLE 的貝氏再詮釋。
  • 9.1、9.2 節：Student 的 t 作為貝氏後驗（場景五）；與 NP 的哲學對照。
  • 10.2 節：MCMC 是蒙地卡羅方法的最大應用場。
  • 哲學：Laplace 的決定論宇宙 + 主觀機率、Keynes 的邏輯機率、荷蘭賭論證（Ramsey 1926、de Finetti 1931）——貝氏復興也是一場哲學運動。
  • 資訊與編碼：MDL 原則（Rissanen 1978）以編碼長度重述貝氏模型選擇——Shannon 與 Bayes 的會師。

練習#

  1. 對例題 9.3.1，改用 Jeffreys 先驗 Beta( \(\frac12\) , \(\frac12\) )，重算後驗與 95% 區間，討論「客觀貝氏」與平坦先驗的差異。
  2. 證明 Beta–二項共軛：先驗 Beta( \(a, b\) ) + 觀測 \((k, n-k)\) → 後驗 Beta( \(a + k, b + n - k\) )，並解釋「先驗 = \(a + b\) 個虛擬觀測」的權重詮釋。
  3. 以後驗預測分布回答：先驗 Beta(3,7) 下，接下來 10 名新患者的期望有效數（提示：後驗預測 = Beta-二項，均值 \(10 \times \frac{a+k}{a+b+n}\) ）。
  4. 計算例題 (b) 的貝氏因子（ \(H_1: \theta > 0.5\) vs. \(H_0: \theta = 0.5\) ）的思想結構，並討論為何貝氏因子不需要「拒絕域」。
  5. 思考題：Efron–Morris 的棒球案例（1970 年賽季，18 名球員的前 45 次打擊預測季末成績，收縮估計全面更準）。請討論：收縮犧牲了個案的「公平」，換來群體的準確——這種「統計的不公平」在學生成績、醫院排名、教師評估中應該被接受嗎？

進階研讀：貝氏方法的五個深化場景#

場景一：分層模型與部分匯聚。多組問題（ \(J\) 個學校、每校少數學生）：完全匯聚（忽略組別）偏誤大、完全不匯聚（各組獨立）方差大；分層貝氏（組內參數共享超先驗）自動實現部分匯聚——資料少的組被拉向群體、資料多的組保留個性。這是「異質性建模」的通用語法，在教育（超因子模型）、流行病（各地區發病率）、農業試驗（Fisher 的田間試驗傳統的貝氏版）全面取代古典方法。

場景二：變分推斷與深度學習的貝氏化。MCMC 精確但慢；變分推斷（VI）以「優化」替代「抽樣」：找最接近後驗的簡單分布（KL 最小化）。VAE（Kingma–Welling 2013）、貝氏神經網路、隨機梯度 Langevin（2011，MCMC 與 SGD 的混血）使「規模化貝氏」成為可能——貝氏與深度學習的整合是當代統計計算的主戰線。

場景三：貝氏模型選擇與 Occam 因子。貝氏因子的深層性質：模型會自動「懲罰複雜度」（Occam 因子——高維模型把先驗質量攤薄，若資料不特別支持則貝氏因子偏低），不需要 AIC 式的手工懲罰（8.2 節場景四）。這解釋了貝氏在科學假說競爭（如宇宙學的模型比較）中的自然優勢。

場景四：決策論的完成。貝氏決策：選行動最小化後驗期望損失——醫療（診斷閾值由代價矩陣定）、氣象（機率預報的 Brier 分數）、金融（VaE/CVaE 的後驗風險）皆可統一表述。Neyman 的 \(\alpha\) （9.2 節）在此變成「錯誤的貨幣價格」——兩派在決策層面和平共處：頻率管保證，貝氏管最優。

場景五：批評與邊界。貝氏的未解議題：(1) 模型錯誤時後驗可能自信地錯（「精確的錯誤」）；(2) MCMC 的收斂診斷（R-hat、有效樣本量）依賴人工判斷；(3) 先驗敏感性在科學爭議中成為新的武器化對象。2010 年代的回應：先驗預測檢查（posterior predictive check, Gelman 等）、敏感性分析的標準化、「統計建模的兩種文化」（Breiman 2001）的辯論——貝氏復興不是終點，而是推論哲學的新起點。

名詞速查表（本節出現的核心術語）#

  • 主觀機率：機率 = 個人賭率（de Finetti–Savage 公理化）。
  • 表示定理：可交換性 \(\iff\) 混合的 iid（de Finetti 1937）。
  • Jeffreys 先驗： \(\pi \propto \sqrt{I(\theta)}\) ，變換不變的客觀先驗。
  • 貝氏因子：兩假說下資料機率之比，證據的貝氏度量。
  • 可信區間：後驗分位數區間（vs. 頻率的信賴區間）。
  • MCMC：以馬可夫鏈採樣後驗的計算方法（Metropolis–Hastings、Gibbs、HMC）。
  • 分層模型 / 部分匯聚：超先驗連接各組的收縮結構。
  • 後驗預測分布： \(\tilde{x}\) 的分布 \(= \int f(\tilde{x} \mid \theta) \pi(\theta \mid x) d\theta\) 。
  • 變分推斷：以優化近似後驗的規模化方法。
  • MDL：最小描述長度，編碼視角的模型選擇。

年表速查（本節涉及的關鍵年份）#

  • 1926、1931：Ramsey、de Finetti 的主觀機率與荷蘭賭。
  • 1937：de Finetti 表示定理。
  • 1939、1946：Jeffreys《機率論》與不變先驗。
  • 1950：Wald 統計決策論。
  • 1953：Metropolis 演算法。
  • 1954：Savage《統計學基礎》。
  • 1961：James–Stein 收縮（8.1 節）。
  • 1970：Hastings 推廣 MH。
  • 1973：Ferguson Dirichlet 過程。
  • 1978：Rissanen MDL。
  • 1984：Geman–Geman Gibbs 抽樣。
  • 1990：Gelfand–Smith 引爆貝氏計算；BUGS。
  • 2003：LDA 主題模型。
  • 2010s：Stan/HMC、變分推斷規模化。

深化問答三則#

問：為什麼貝氏方法特別適合「小樣本 + 豐富先驗」的科學？ 答：因為先驗正是「小樣本之外的知識」的容器：宇宙學（百年觀測）、流行病（機制模型）、工程（規格與歷史數據）都有大量的樣本外資訊，頻率方法沒有合法通道輸入它們。貝氏把這些知識編入先驗，樣本只負責「修正」。反之，在「無先驗知識、樣本充足」的場景（大規模 A/B 測試），兩派趨同、頻率方法更省事——方法選擇跟著知識結構走，而不是跟著信仰走。

問：MCMC 的收斂診斷為什麼是貝氏實務的軟肋？ 答：馬可夫鏈理論（6.2 節）保證「最終收斂」，但不告訴你何時。R-hat、迹線圖、有效樣本量都是診斷而非證明——高維後驗中鏈可能卡在局部模態（多峰後驗）數萬步不自覺。實務的防線：多鏈異起點、HMC 的動力學改進、模型重參數化。這是「嚴格理論 + 實務判斷」的交界地帶，也是貝氏計算研究最活躍的方向之一（如 2010s 的完美抽樣、耦合鏈的有限時間界）。

問：「貝氏復興」復興的到底是什麼？ 答：不是 Bayes 定理（它從未被反駁），而是三件被壓抑的事物：(1) 先驗的使用權——把樣本外知識正式化；(2) 參數的機率——「假說的信念度」重新合法；(3) 條件化推理——所有推論在「已觀測的條件下」進行（vs. 頻率的「所有可能樣本上」平均）。這三件事的共同點是尊重知識的狀態，而非僅僅尊重數據。復興的真正標誌不是方法份額，而是這個推論哲學成為機器學習與科學計算的默認語法。

（本節完）