跳轉到

1.3 條件機率與 Bayes 定理（1763）#

本章導言#

1763 年，皇家學會哲學彙刊刊登了一篇由朋友代為宣讀的遺作：《論機遇問題中求解一個後驗機率的問題》，作者 Thomas Bayes（貝氏，約 1701–1761） 是坦布里奇韋爾斯的長老教會牧師，生前默默無聞，只發表過兩篇作品。這篇遺作中的公式後來成為統計學、人工智慧與科學推理的支柱。本節介紹條件機率、全機率公式與 Bayes 定理，並還原這場橫跨兩百五十年的觀念革命。

條件機率：新證據下的世界#

設 \(P(B) > 0\) 。在「已知事件 \(B\) 發生」的前提下，事件 \(A\) 發生的條件機率定義為：

\[ P(A \mid B) = \frac{P(A \cap B)}{P(B)}. \]

直觀地說：知道 \(B\) 發生後，世界縮小為 \(B\) （新的樣本空間），我們在其中重新丈量 \(A\) 。以擲骰子為例：已知點數為偶數（ \(B = \{2,4,6\}\) ），求點數大於 3（ \(A = \{4,5,6\}\) ）的機率：

\[ P(A \mid B) = \frac{|A \cap B| / |\Omega|}{|B| / |\Omega|} = \frac{|\{4,6\}|}{|\{2,4,6\}|} = \frac{2}{3}. \]

注意 \(P(A \mid B) = \frac{2}{3} \neq P(A) = \frac{1}{2}\) ：證據改變了機率。這個「證據更新」的直覺，正是 Bayes 定理的全部精神。將定義重排得乘法公式 \(P(A \cap B) = P(A \mid B) P(B)\) ，並可對稱地導出：

\[ P(A \mid B) P(B) = P(B \mid A) P(A). \]

這個看似平凡的等式，兩邊除以 \(P(B)\) 就是 Bayes 定理——史上最著名的「顯而易見」。

全機率公式：分而治之#

若 \(B_1, \ldots, B_n\) 是樣本空間的一個分割（互斥且並集為全集），則：

\[ P(A) = \sum_{i=1}^{n} P(A \mid B_i) P(B_i). \]

這是「先分情況、再加總」的計數策略，是 1654 年 Pascal–Fermat 通信中條件分析（「若下一局甲勝，則……」）的正式化。它與 Bayes 定理合用即得最常用的形式：

\[ P(B_k \mid A) = \frac{P(A \mid B_k) P(B_k)}{\sum_{i} P(A \mid B_i) P(B_i)}. \]

分母是「證據的總機率」，分子是「某一解釋對證據的貢獻」。後驗 = 先驗 × 貝氏因子 / 證據，這個結構貫穿了全部貝氏統計。

Bayes 的原始問題與 Price 的編輯#

Bayes 原始論文處理的問題與今日教科書的寫法頗為不同。他考慮的是一個幾何機率問題：一顆球 \(W\) 隨機落在桌面上，之後 \(n\) 顆球落在 \(W\) 左側 \(p\) 次、右側 \(n-p\) 次；問給定觀測後，「 \(W\) 的位置在區間 \([a, b]\) 內」的機率。用現代語言：給定二項試驗的觀測 \(k\) 次成功，反推成功機率 \(p\) 的後驗分布。這是歷史上第一個「由結果反推原因」的定量方法——逆機率（inverse probability）。

論文能問世，全靠 Richard Price（理查．普萊斯，1723–1791）：他整理 Bayes 遺稿、撰寫引言與附錄，並在引言中道出動機——為「歸納推理」提供數學基礎，甚至明言這可駁斥 Hume（休謨） 1757 年對奇蹟證據的懷疑論。這個神學—哲學動機值得牢記：貝氏思想的誕生，是啟蒙時代「信仰與理性能否調和」辯論的產物。後來 Laplace（拉普拉斯，1749–1827） 在 1774 年起獨立重導此式並大力應用（估計人口比例、天文學軌道），故此定理在法國曾稱「Laplace 逆機率原理」。

爭議：先驗機率是什麼？#

Bayes 定理本身無可爭議——它是條件機率的必然推論。引發兩百五十年論戰的是先驗機率 \(P(B_i)\) 的地位：

  • 客觀貝氏立場（Laplace）：對未知參數採「無知即均勻」的原則（不充分理由原則），先驗是客觀的知識狀態描述。批評者（Boole、Venn）反駁：無知的均勻分布在變數變換下不自洽——對 \(p\) 均勻不代表對 \(p^2\) 均勻，你「無知」的到底是什麼？
  • 頻率學派立場（Fisher、Neyman）：機率是長期頻率，參數是固定常數而非隨機變數，「參數的機率」根本無意義；先驗是主觀偏見的偽裝。Fisher 稱逆機率為「建立在一個基礎上的唯一謬誤」。
  • 主觀貝氏立場（de Finetti、Savage）：機率本來就是個人的賭率（de Finetti 1931、Savage 1954《統計學基礎》），先驗是個人知識的合法表達，且 de Finetti 表示定理（1937）證明：某些客觀的 iid 假設等價於某種先驗的混合——「客觀性」竟可由主觀性生成。

這場論戰的現代結局見第九章 9.3 節：計算機時代的到來讓貝氏方法浴火重生。

一個具體例題#

例題 1.3.1（醫學檢驗的經典）：某疾病盛行率為 \(0.1\%\) 。檢驗的敏感度為 \(99\%\) （病者呈陽性的機率），偽陽性率為 \(5\%\) （健康者呈陽性的機率）。某人檢驗呈陽性，他真正患病的機率是多少？

解：設 \(D\) 為患病、 \(+\) 為陽性。由題設：

\[ P(D) = 0.001, \quad P(+ \mid D) = 0.99, \quad P(+ \mid D^c) = 0.05. \]

全機率公式計算陽性總機率：

\[ P(+) = P(+ \mid D) P(D) + P(+ \mid D^c) P(D^c) = 0.99 \times 0.001 + 0.05 \times 0.999 = 0.00099 + 0.04995 = 0.05094. \]

Bayes 定理：

\[ P(D \mid +) = \frac{0.00099}{0.05094} \approx 0.0194 \approx 1.9\%. \]

驚人的結論：陽性者真正患病的機率不到 \(2\%\) 。直覺（「99% 準確的檢驗，陽性就是 99% 可能患病」）與正確答案差了五十倍。原因：疾病太罕見，偽陽性的龐大基數（健康者的 5%）淹沒了真陽性。

歷史註記：這個例子在 1970–80 年代成為認知心理學（Kahneman–Tversky 學派的「基率謬誤」）與醫學教育（Casscells 等人 1978 年研究：哈佛醫學院師生多數答錯此題）的標誌性案例。1990 年代 Gerd Gigerenzer 提出「自然頻率」教學法——把機率改寫為「每 10,000 人中，10 人患病、其中約 10 人陽性；9,990 人健康、其中約 500 人陽性，故陽性 510 人中僅 10 人患病，約 2%」——大幅提升醫師答對率。同一數學、不同敘事框架，理解效果天差地別，這本身是對數學教育的深刻啟示。

歷史啟示#

  • 最簡單的公式可以有最深的影響：Bayes 定理只是條件機率的代數重排，但「用證據更新信念」的範式改變了整個統計學與人工智能。
  • 遺作與編輯者：沒有 Price，就沒有 Bayes 定理；科學史反覆顯示「整理者」與「發現者」同樣關鍵。
  • 概念 vs. 方法：論戰的焦點從來不是定理本身，而是先驗機率的哲學地位——數學中的哲學爭議常常比技術爭議更持久。
  • 認知的系統性偏誤：基率謬誤顯示人類直覺天生不會做貝氏更新，機率教學因此肩負糾偏的責任。

與其他章節及領域的關聯#

  • 1.1 節：Pascal 與 Fermat 通信中的條件分析是本節的思想前身。
  • 3.1 節：Bayes 原始問題的現代表述使用二項分布作為似然。
  • 4.1 節：獨立性 \(P(A \cap B) = P(A)P(B)\) 等價於 \(P(A \mid B) = P(A)\) ——「證據不更新信念」。
  • 8.3、9.2 節：頻率學派的信賴區間與 Neyman–Pearson 理論是貝氏方法的歷史對手。
  • 9.3 節：貝氏統計復興——MCMC 計算使後驗分布可算，徹底改變了局面。
  • 機器學習：Naive Bayes 分類器、貝氏網路、貝氏深度學習，都是本節公式的工程化身。
  • 法學：陪審團應如何依證據更新被告有罪的機率，是「貝氏在法庭」的持續辯論主題。

練習#

  1. 擲兩顆公平骰子，已知點數和為 8，求「至少一顆是 6」的條件機率。
  2. 三個盒子分別裝有（2 金、2 銀）、（4 金）、（3 銀）硬幣。隨機選一盒再隨機取一枚，得金幣。求此枚來自第一盒的機率。
  3. 某工廠三條產線產量占 50%、30%、20%，不良率各為 1%、2%、3%。隨機取一產品為不良品，求其來自第三條產線的機率。
  4. 修改例題 1.3.1：若檢驗敏感度為 99%、偽陽性率降為 1%，陽性者患病機率變為多少？並解釋為何偽陽性率的改善影響比敏感度更大。
  5. 思考題：Boole 批評「無知的均勻先驗」在參數變換下不自洽。請以 \(p \in (0,1)\) 對 \(p\) 均勻 vs. 對 \(\theta = p/(1-p)\) （勝率）均勻為例，說明兩者導出的後驗不同，並思考「無知」能否被數學化。

進階研讀：貝氏思想的五個深化場景#

場景一：連續版本的 Bayes 定理。當參數 \(\theta\) 連續時，定理化為密度形式：

\[ \pi(\theta \mid x) = \frac{f(x \mid \theta) \, \pi(\theta)}{\int f(x \mid \theta') \, \pi(\theta') \, d\theta'}. \]

Bayes 自己用的先驗正是 \(\pi(p) = 1\) （均勻，後稱 Bayes–Laplace 先驗）。先驗選擇成為貝氏統計的藝術：Jeffreys 先驗（1946）以 Fisher 資訊量的平方根定義，具有變換不變性，正面回應 Boole 的批評。

場景二：連續更新與共軛先驗。取 Bernoulli 似然與 Beta 先驗 \(\text{Beta}(a, b)\) ，觀測 \(k\) 次成功、 \(n-k\) 次失敗後後驗為 \(\text{Beta}(a+k, \, b+n-k)\) ——先後驗同族，更新只是「加計數」。這類共軛性（Raiffa–Schlaifer, 1961）是計算機時代之前貝氏統計可算性的救命索，也是今日「貝氏更新如學習」直覺的來源。

場景三：Monty Hall 問題。三扇門後一車二羊。你選 1 號門，主持人（知道答案）打開 3 號門的羊，問換不換？貝氏分析：主持人「開 3 號門」的機率在「車在 1 號」時為 \(\frac{1}{2}\) 、在「車在 2 號」時為 \(1\) ，故換門獲車機率為 \(\frac{2}{3}\) 。1990 年 Marilyn vos Savant 專欄公布答案後，收到上萬封反對信（含上千位博士）——這是 de Méré 悖論的二十世紀重演：條件化是直覺的盲區。

場景四：貝氏與資訊。Shannon 1948 年的資訊熵 \(H = -\sum p_i \log p_i\) 可讀作「最優編碼的平均長度」，而 Kullback–Leibler 散度 \(D(\pi_{\text{post}} \| \pi_{\text{prior}})\) 度量一次貝氏更新的「資訊獲得量」。貝氏更新於是獲得幾何與資訊論的雙重身分，成為現代統計學習理論（如 PAC–Bayes 界）的基礎語言。

場景五：法庭上的貝氏。1968 年英國 Collins 案以「特徵組合機率約 \(\frac{1}{12{,}000{,}000}\) 」定罪，上訴法院以錯誤運用機率推翻判決——法庭需要的是 \(P(\text{有罪} \mid \text{證據})\) ，檢方給的卻常是 \(P(\text{證據} \mid \text{無辜相配})\) 。這個方向顛倒被稱為檢察官謬誤，是例題 1.3.1 的法學變體，也顯示貝氏素養已是公民素養。

名詞速查表（本節出現的核心術語）#

  • 條件機率： \(P(A \mid B) = P(A \cap B)/P(B)\) ，證據下的機率。
  • 全機率公式：分割上的加權和 \(P(A) = \sum P(A \mid B_i) P(B_i)\) 。
  • Bayes 定理： \(P(B \mid A) = \dfrac{P(A \mid B) P(B)}{P(A)}\) ，先驗與後驗的橋樑。
  • 先驗 / 後驗：觀測前後的信念分布；比值為貝氏因子。
  • 基率謬誤：忽略基礎比率（先驗）、只看似然的心理偏誤。
  • 檢察官謬誤：把 \(P(\text{證據} \mid \text{無罪})\) 誤當 \(P(\text{無罪} \mid \text{證據})\) 。
  • 逆機率：Bayes–Laplace 時代對後驗分布的稱呼。
  • 共軛先驗：使後驗與先驗同族的先驗分布族。
  • 自然頻率：以整數頻率（如「每萬人 10 人」）重述貝氏問題的表述法。

年表速查（本節涉及的關鍵年份）#

  • 1748：Hume《人類理解研究》質疑歸納與奇蹟證據。
  • 1763：Bayes 遺作經 Price 整理發表於皇家學會彙刊。
  • 1774：Laplace 獨立導出逆機率原理並開始應用。
  • 1812：Laplace《機率的分析理論》，貝氏方法的全盛期。
  • 1843：Antoine Cournot 與 John Stuart Mill 批評均勻先驗。
  • 1866：Venn《機率的邏輯》攻擊主觀機率。
  • 1921：Keynes《機率論》提出邏輯機率的折衷立場。
  • 1931–1937：de Finetti 主觀機率與表示定理。
  • 1946：Jeffreys 不變先驗。
  • 1954：Savage《統計學基礎》完成主觀貝氏公理化。
  • 1978：Casscells 等發表醫師貝氏推理研究，基率謬誤轟動。
  • 1990：vos Savant 專欄引爆 Monty Hall 爭論。
  • 1990s：Gigerenzer 推廣自然頻率；MCMC 使貝氏計算普及。

深化問答三則#

問：Bayes 定理在數學上為何無可爭議，爭議又在哪裡？ 答：定理是條件機率定義的兩行推論，對任何機率測度都成立。爭議在於應用範圍：把定理用在「參數」或「假說」上，就必須給它們指派機率（先驗）——這一步對頻率學派而言是非法的，因為參數不是隨機試驗的結果。換言之，爭議不在定理的真，而在其適用域——這是數學哲學中「形式對、用法爭」的典型。

問：為什麼人類直覺系統性地違反貝氏更新？ 答：演化與日常經驗訓練我們處理的是頻率（親眼看到的事件次數）而非抽象條件機率；且條件化要求「縮小樣本空間」這個反直覺操作。Gigerenzer 的自然頻率有效，正因為它把問題還原為演化友好的頻率格式。這提示：數學的教學表象（如何呈現）與數學的內容同樣影響理解。

問：Price 的神學動機會削弱 Bayes 定理的科學價值嗎？ 答：不會，反而展示了科學的社會學常態：許多重大觀念誕生於非科學的動機（Leibniz 的組合術源於神學、Pascal 晚年皈依揚森主義）。觀念的價值由其後繼發展判定，不由創造者的動機判定。但認識動機有助理解：Bayes 問題的結構（由觀測反推隱藏原因）正是被「上帝是否存在、證據何義」的時代焦慮所塑造的。

（本節完）