跳轉到

5.1 大數法則：Bernoulli（1713）#

本章導言#

「機率是頻率的極限」——這句每個學生都聽過的話，其實是一條深刻的定理：大數法則。Jacob Bernoulli 花了二十年證明它，1713 年《推測術》出版（他已去世八年）。這是數學史上第一次證明：長期比例趨於確定值。本節講述大數法則的誕生、三代證明的演進，以及它與「頻率解釋」之間微妙的概念循環。

Bernoulli 的黃金定理#

Jacob Bernoulli（1654–1705）在《推測術》（Ars Conjectandi）第四部分稱他的定理為「黃金定理」：

若每次試驗事件發生的機率為 \(p\) （未知），則重複試驗 \(n\) 次後，事件頻率 \(\hat{p}_n\) 落在 \(p\) 附近（誤差任意小）的機率，隨 \(n\) 增大而可任意接近 1。

以現代記號： \(\hat{p}_n = \frac{S_n}{n}\) （ \(S_n\) 為成功次數），對任意 \(\varepsilon > 0\) ：

\[ P\left(\left|\hat{p}_n - p\right| < \varepsilon\right) \longrightarrow 1 \qquad (n \to \infty). \]

Bernoulli 並估算了「需要多少次試驗才能以 \(1000/1001\) 的把握使誤差在 \(\frac{1}{50}\) 內」：他的方法給出約 \(25{,}500\) 次——遠大於實際需要（Chebyshev 界約 4,000 次、真值更少）。Bernoulli 自己也意識到界太粗，但他清楚地區分了一個當時無人區分的概念：後驗機率（由頻率反推的 \(p\) ）與先驗機率（事前的可能度）。他寫道：即使最愚鈍的人也憑本能知道頻率會穩定，「但用數學證明這一點，絕非平凡之事」。

Bernoulli 為了證明此定理發展了大量組合工具（前兩部分的「推測術」主體），並在書末寫下著名宣言：

「這個問題我糾纏了二十年……它的重要性、困難與迷人的用途，超越了我原本的期待。」

從 Bernoulli 到 Poisson：法的命名#

Bernoulli 定理隨後的推廣：

  • de Moivre（1718、1733）：給出二項機率的常態逼近，能定量回答「 \(n\) 需多大」——精確度問題的第一個定量化。
  • Laplace（1812）：在《機率的分析理論》中以自己的版本證明並應用於社會數據。
  • Poisson（1837）《司法機率的研究》把定理推廣到每次試驗機率不同的情形，並命名為「大數法則」（la loi des grands nombres）——他堅持這是比 Bernoulli 更一般的「法則」，法院判決、陪審團行為都受其支配。名稱沿用至今，但數學史家多認為核心榮譽屬於 Bernoulli。

三代證明：數學工具的進化史#

第一代：Bernoulli（1713）——組合不等式。直接用二項係數估計尾部機率 \(P(|\hat{p}_n - p| \ge \varepsilon)\) ，證明它隨 \(n\) 指數衰減。技巧繁重、界極粗，但完全初等。

第二代：Chebyshev（1867）——方差控制。今日教科書的標準證明只需三行：

\[ \mathbb{E}\left[\frac{S_n}{n}\right] = p, \qquad \operatorname{Var}\left(\frac{S_n}{n}\right) = \frac{pq}{n}, \]

由 Chebyshev 不等式（2.2 節）：

\[ P\left(\left|\frac{S_n}{n} - p\right| \ge \varepsilon\right) \le \frac{pq}{n \varepsilon^2} \longrightarrow 0. \]

關鍵洞察：獨立使方差線性累積，相對波動以 \(\frac{1}{\sqrt{n}}\) 消失。Chebyshev 的學生 Markov（1906） 以「截尾技巧」（把大值切掉再控制殘餘）把條件放寬到「期望存在」即可，Kolmogorov（1933） 進一步以「四階動差鏈 + Borel–Cantelli 引理」證明強大數法則： \(\frac{S_n}{n} \to p\) 幾乎必然（不只依機率收斂，而是抽樣軌道層面的收斂）。弱與強的差別：弱法則說「偏離超過 \(\varepsilon\) 的機率趨於零」（可以一次又一次地偏離，只是越來越罕見）；強法則說「偏離只發生有限次」——這個「幾乎必然」概念由 Borel 1909 年首創（他的證明有漏洞，Kolmogorov 1933 年補全）。

頻率解釋的循環難題#

大數法則被用來「證明機率是頻率的極限」，但這裡有一個哲學地雷：定理的前提是機率 \(p\) 已知，結論才是頻率趨近 \(p\) 。若你要用頻率定義 \(p\) ，就是循環論證。von Mises（1919） 試圖以「集體」（collective）公理繞過（頻率極限存在 + 隨機性由不可選出子列保證），被批評為不自然；最終出路是 Kolmogorov 公理化（5.3 節）：機率是公理給定的測度，大數法則是定理而非定義——「機率 \(\to\) 頻率」的方向固定，「頻率 \(\to\) 機率」則屬統計推論（估計，第 8 章）的領域。這個澄清使頻率學派與貝氏學派的爭執第一次有了乾淨的框架。

一個具體例題#

例題 5.1.1：擲公平硬幣，估計需要多少次，才能使「正面頻率在 \([0.45, 0.55]\) 內」的機率至少 0.95？分別用 Chebyshev 與常態近似給出答案。

解：

Chebyshev 方法： \(\hat{p}_n\) 的期望 \(\frac12\) 、方差 \(\frac{1}{4n}\) 。要求

\[ P\left(\left|\hat{p}_n - \frac12\right| \ge 0.05\right) \le 0.05 \quad\Longleftarrow\quad \frac{1/4n}{0.05^2} \le 0.05 \quad\Longleftarrow\quad n \ge \frac{1}{4 \times 0.05^2 \times 0.05} = 2000. \]

常態近似（de Moivre–Laplace）： \(\hat{p}_n \approx N\left(\frac12, \frac{1}{4n}\right)\) ，要求 \(P\left(|Z| \ge \frac{0.05}{\frac{1}{2\sqrt{n}}}\right) \le 0.05\) ，即 \(\frac{0.1\sqrt{n}}{1} \ge 1.96\) ，得 \(n \ge 384\) 。

比較：Chebyshev 給 2000、常態近似給 384，真值約 273（精確二項計算）。三代工具的精度差近十倍，但 Chebyshev 的答案不需要任何分布假設——這正是 2.2 節「弱條件定理的戰略價值」的具體展現。Bernoulli 當年為 \(\frac{1}{50}\) 誤差算出 25,500，而真需求約千餘次：初代證明的粗糙，恰恰說明後世工具（Stirling 公式、常態近似、方差技術）的每一步進化都實質改變了「可宣稱的結論」。

歷史啟示#

  • 二十年換一條定理：Bernoulli 的糾纏顯示，連「顯然的事實」也需要巨大的數學代價才能成為知識。
  • 精度的進化即理論的進化：從 25,500（Bernoulli）到 2,000（Chebyshev）到 384（de Moivre–Laplace），同一真理的不同證明深度直接決定實用價值。
  • 弱到強的升級：Borel–Kolmogorov 的「幾乎必然」把法則從「平均行為」升級到「軌道行為」，這一步使隨機過程理論（6、7 章）成為可能。
  • 概念循環的自覺：頻率解釋的循環難題推動了公理化——數學哲學的困境是數學結構改革的動機之一。

與其他章節及領域的關聯#

  • 3.1 節：二項分布是法則的母體；Laplace 的男嬰數據是實證應用。
  • 2.2 節：Chebyshev 不等式是第二代證明的引擎。
  • 5.2 節：中央極限定理是「頻率如何波動」的精細版——大數法則說收斂、CLT 說以什麼速度與形狀波動。
  • 5.3 節：公理化使大數法則成為定理，並確立「機率 \(\to\) 頻率」的邏輯方向。
  • 8.1 節：統計估計（ \(\hat{p}_n \to p\) ）正是大數法則的統計學化身；一致性概念源於此。
  • 統計力學：Boltzmann 以大數（ \(10^{23}\) 量級分子）使微觀隨機性湧現出宏觀確定性定律——大數法則的物理帝國。
  • 模擬：蒙地卡羅方法（10.2 節）的收斂依據正是大數法則。

練習#

  1. 用 Chebyshev 不等式證明：獨立同分布、期望 \(\mu\) 、方差 \(\sigma^2 < \infty\) 的 \(X_i\) ，其樣本均值 \(\bar{X}_n\) 依機率收斂到 \(\mu\) 。
  2. 重做例題 5.1.1 但要求把握 0.99、誤差 0.02，比較 Chebyshev 與常態近似的 \(n\) 。
  3. 仿 Markov 截尾技巧：設 \(\mathbb{E}|X| < \infty\) 但方差無窮，說明如何截斷 \(|X| \le M_n\) 並證明弱大數法則（給出思路即可）。
  4. 說明「弱大數法則成立但強大數法則失效」在邏輯上可能嗎？構造（或描述）一個僅依機率收斂、不幾乎必然收斂的序列例子。
  5. 思考題：Bernoulli 區分先驗與後驗機率。請以「擲一顆未知偏向的骰子 100 次得正面 61 次」為例，分別從頻率學派與貝氏學派角度陳述你對「 \(p\) 」的知識狀態，並指出各自的依據。

進階研讀：大數法則的五個深化場景#

場景一：Borel–Cantelli 引理。若 \(\sum_n P(A_n) < \infty\) 則 \(A_n\) 只發生有限次（第一引理）；反之若事件獨立且級數發散則無窮多次發生（第二引理）。它把「逐事件機率」與「軌道行為」接通，是強大數法則與 0-1 律的引擎——「獨立 + 發散 \(\Rightarrow\) 必然發生」的奇異邏輯（每個事件機率趨零，合起來卻必然發生無窮次）是機率論最反直覺的寶石之一。

場景二：Kolmogorov 0-1 律。無窮獨立序列的「尾事件」（只依賴極遠處行為的性質，如「 \(\sum X_n\) 收斂」）機率必為 0 或 1。這使許多問題從「機率多少」化為「哪一個極端」——隨機級數收斂定理（Kolmogorov 三級數定理, 1930s）是其應用典範。

場景三：強弱分界與厚尾。期望存在（有限）是弱法則的邊界；Cauchy 型分布（連期望都沒有）連弱法則都失效： \(\bar{X}_n\) 的分布仍與單個 \(X\) 同樣寬（穩定分布，2.3 節場景四）——「平均化」的物理意義是「獨立小擾動互相抵消」，厚尾擾動不抵消，所以樣本均值不穩定。金融與保險中「樣本均值毫無用處」的體驗，數學根源在此。

場景四：遍歷理論。把「重複獨立試驗」放寬為「同一個動力系統的長期觀測」：Birkhoff 遍歷定理（1931）證明遍歷系統中時間平均趨於空間平均。氣候（一天的溫度 vs. 多年氣溫分布）、混沌系統、神經放電的自相關分析都靠它合法化——Bernoulli 的「重複」被推廣到「沿一條軌道」，這是二十世紀機率論最深刻的擴張。

場景五：非獨立大數法則。相依但「夠弱」的序列仍有法則：馬可夫鏈的大數法則（時間平均 \(\to\) 平穩均值，Markov 1906 起）、混合序列（ \(\alpha\) -mixing, Rosenblatt 1956）。這條線使極限理論能服務時間序列經濟學與訊號處理——「記憶會衰減」就足以平均化，這個條件（混合性）成為時間序列漸近理論的標準假設。

名詞速查表（本節出現的核心術語）#

  • 大數法則（弱）：樣本均值依機率收斂到期望。
  • 強大數法則：樣本均值幾乎必然收斂到期望。
  • 幾乎必然：偏離事件發生的機率為 0（軌道層面）。
  • 依機率收斂：偏離機率趨於零（分布層面）。
  • Chebyshev 證明：方差線性累積 + 不等式控制。
  • 截尾技巧：Markov 把大值切掉以放寬條件。
  • Borel–Cantelli 引理：級數收斂判定事件的發生次數。
  • 0-1 律：尾事件機率必為 0 或 1。
  • 遍歷定理：時間平均 = 空間平均（Birkhoff 1931）。

年表速查（本節涉及的關鍵年份）#

  • 1705：Jacob Bernoulli 去世，《推測術》手稿完成。
  • 1713：《推測術》出版，黃金定理問世。
  • 1718、1733：de Moivre 精確化二項逼近。
  • 1812：Laplace《機率的分析理論》。
  • 1837：Poisson 推廣至異質試驗並命名「大數法則」。
  • 1867：Chebyshev 方差證明。
  • 1906：Markov 截尾技巧。
  • 1909：Borel 首倡「幾乎必然」與強法則。
  • 1931：Birkhoff 遍歷定理。
  • 1933：Kolmogorov 補全強大數法則並公理化。

深化問答三則#

問：Bernoulli 為什麼把定理叫「黃金定理」？ 答：因為它是「推測術」（推測的藝術）合法性的基石：如果長期頻率不穩定，從過去推測未來就是徒勞。Bernoulli 的企圖是建立「從數據推斷世界」的科學（《推測術》第四部分的標題即「論機率在民事、道德與經濟事務中的應用」）——大數法則是全部社會科學定量化的隱形前提。黃金之謂，指其開採之難與價值之高。

問：弱法則與強法則的差別在實務上有意義嗎？ 答：有。弱法則允許「無窮多次偏離」（只要越來越罕見）；若你經營的是單條軌道（一家保險公司的實際索賠序列、一次模擬的收斂路徑），你關心的是這一條軌道最終穩定與否——這正是強法則的內容。蒙地卡羅實務家看著模擬軌道「安定下來」的信心，來源是強法則而非弱法則。理論層級的差異對應應用場景的差異。

問：大數法則「證明」了機率存在嗎？ 答：沒有。它證明的是「若機率存在（公理給定），則頻率穩定」。機率本身的存在性是建模與哲學問題（von Mises 的集體、Kolmogorov 的公理、de Finetti 的信念），不是大數法則能裁決的。把定理當定義使用是初學者最常見的概念錯誤，也是 von Mises 企圖（並失敗於）以公理直接定義隨機性的歷史背景。

（本節完）