跳轉到

5.2 中央極限定理：de Moivre（1733）到 Lyapunov#

本章導言#

大數法則說樣本均值的波動會消失，但以什麼形狀消失？答案驚人地普世：無論原始分布是什麼，只要條件夠溫和，標準化後的樣本均值總是趨近同一條曲線——常態。這就是中央極限定理（CLT），機率論的中心定理。它的旅程橫跨兩百年：de Moivre 1733 年對二項的逼近、Laplace 1810 年的一般論證、Chebyshev–Markov–Lyapunov 的嚴格化、Lindeberg–Feller 的最終形式。

de Moivre 1733：第一個 CLT#

de Moivre 在 1733 年（拉丁文短文）研究二項分布 \(B(n, \frac12)\) 的計算瓶頸： \(n = 3600\) 時中心機率 \(\binom{3600}{1800}/2^{3600}\) 完全算不出來。他需要的是漸近公式。以 Stirling 公式逼近階乘、Taylor 展開處理指數，他證明：

\[ P\left(X = np + x\sqrt{npq}\right) \approx \frac{1}{\sqrt{2\pi npq}}\, e^{-x^2/2}, \]

且（積分版本）區間機率可用 \(\Phi\) 計算。de Moivre 寫下名言：這條曲線是「二項展開在無窮級數中的收斂」，並以親切的語氣邀請讀者「用這個方法計算勝負機會」。他自覺這是工具而非定律——「定律」的身分要等 Gauss（1809）與 Laplace（1810）授予。數學史上罕見地，一個定理被發現兩次：1733 年作為近似技巧、1809–1810 年作為誤差理論與極限定理，兩次都改變了科學。

Laplace 1810：一般化與誤差理論的合流#

Laplace 在 1810 年（論文）與 1812 年（書）證明了一般獨立變數的版本： \(X_i\) 有任意有界（或輕尾）分布、均值 \(\mu\) 、方差 \(\sigma^2\) ，則

\[ \frac{\sum_{i=1}^n X_i - n\mu}{\sigma\sqrt{n}} \;\xrightarrow{d}\; N(0, 1), \]

「 \(\xrightarrow{d}\) 」表依分布收斂。Laplace 的論證靠特徵函數雛形（特徵函數法要再等 Lévy 才成熟），並以一個觀念震撼當時：誤差是常態的，因為誤差是許多小擾動之和——誤差理論與極限理論在此合流，常態分布從此擁有雙重合法性（3.2 節）。

嚴格化三部曲：Chebyshev、Markov、Lyapunov#

十九世紀末，俄國聖彼得堡學派接手。Chebyshev（1887） 用「動差法」給出第一個一般證明（條件：高階動差存在），但證明有缺口；其學生 Markov（1898） 補上缺口；Aleksandr Lyapunov（李亞普諾夫，1857–1918） 在 1900–1901 年引入特徵函數方法（2.3 節）並以 Lyapunov 條件

\[ \frac{1}{s_n^3} \sum_{i=1}^n \mathbb{E}\left[|X_i - \mu_i|^3\right] \longrightarrow 0 \qquad \left(s_n^2 = \textstyle\sum \sigma_i^2\right) \]

證明 CLT——不要求變數同分布，只要求沒有單一變數主導。這是技術範式的轉變：從動差的代數操作轉向特徵函數的分析操作，二十世紀機率論的分析學語言由此奠基。Lyapunov 也在 1892 年建立穩定性理論（李亞普諾夫函數），一生跨足力學與機率。

Lindeberg–Feller：最終形式#

Jarl Waldemar Lindeberg（1876–1932） 1922 年以「交換技巧」（以 \(X_i\) 替換 \(X_i - \mu_i\) 逐一證明特徵函數不變）給出最自然充分條件——Lindeberg 條件：

\[ \frac{1}{s_n^2} \sum_{i=1}^n \mathbb{E}\left[(X_i - \mu_i)^2 \, \mathbf{1}\{|X_i - \mu_i| > \varepsilon s_n\}\right] \longrightarrow 0, \quad \forall \varepsilon > 0. \]

直觀：沒有任何一小撮變數貢獻了不成比例的方差。William Feller（1906–1970） 1935 年證明：在「max 方差相對 \(s_n^2 \to 0\) 」的規範條件下，Lindeberg 條件不僅充分、且必要。至此 CLT 的條件達到本質狀態：它不是湊出來的技術假設，而是「和由許多可比擬的小貢獻組成」的精確數學翻譯。Feller 後來的兩卷《機率論及其應用》（1950、1966）塑造了全世界幾代機率教學。

一個具體例題#

例題 5.2.1：某網站每日獨立訪客數 \(X_i\) 期望 8000、標準差 600。求一年（ \(n = 365\) ）總訪客數 \(S\) 超過 2,940,000 的機率。

解： \(n = 365\) ， \(\mathbb{E}[S] = 365 \times 8000 = 2{,}920{,}000\) ； \(s_n = 600\sqrt{365} \approx 600 \times 19.105 = 11{,}463\) 。標準化：

\[ P(S > 2{,}940{,}000) = P\left(\frac{S - 2{,}920{,}000}{11{,}463} > \frac{20{,}000}{11{,}463}\right) \approx P(Z > 1.745) \approx 1 - 0.9595 \approx 0.0405. \]

誤差討論： \(n = 365\) 時 Berry–Esseen 定理（1941，第一條 CLT 收斂速率界）給出誤差上界 \(O\left(\frac{\mathbb{E}|X - \mu|^3}{\sigma^3 \sqrt{n}}\right)\) 。若訪客分布偏態係數 \(\gamma = \frac{\mu_3}{\sigma^3} = 0.8\) ，誤差量級 \(\approx \frac{0.8}{2\sqrt{365}} \approx 0.021\) ——近似的機率可能偏差 2 個百分點。實務教訓：CLT 的「 \(n\) 大就好」必須搭配偏態檢查；偏態大時可累積更多樣本或改用模擬（10.2 節）。

歷史啟示#

  • 同一個定理、三種身份：近似工具（de Moivre）→ 誤差律（Gauss/Laplace）→ 極限定理（Lyapunov/Lindeberg）。概念的再詮釋與證明同樣重要。
  • 條件的「本質化」：從「動差都存在」到 Lindeberg 條件，數學家不斷追問「真正必要的是什麼」——最終形式揭示了 CLT 的本體：和的微觀組成必須均衡。
  • 俄國學派的系統性：Chebyshev–Markov–Lyapunov 三代師承顯示，極限理論是「學校」的產物——師徒鏈條上的技術積累勝過孤立的天才。
  • 速率界讓定理可查帳：Berry–Esseen 把「漸近」變成「誤差預算」，使 CLT 成為可工程化的近似理論。

與其他章節及領域的關聯#

  • 3.2 節：常態分布的統治地位由 CLT 提供理論基礎。
  • 2.3 節：特徵函數與 Lévy 連續性定理是現代證明的語言。
  • 5.1 節：LLN 與 CLT 是「收斂」與「波動形狀」的分工：LLN 主導 \(\frac{1}{n}\) 尺度，CLT 主導 \(\frac{1}{\sqrt{n}}\) 尺度的漲落。
  • 8.3、9.1 節：z 檢定、t 檢定的正當性來自 CLT（樣本均值近似常態）。
  • 7.2 節：CLT 的無窮維推廣（Donsker 不變原理, 1951）說明隨機漫步的極限是 Wiener 過程——布朗運動是 CLT 的過程版。
  • 物理：測量誤差、氣體漲落；經濟：大數據平均的穩定性；品質：管制圖的 3σ 界——CLT 的應用版圖涵蓋一切「平均」的場景。

練習#

  1. 某工廠零件重量獨立、均值 50 g、標準差 0.8 g。一箱 100 件，求總重超過 5,020 g 的機率。
  2. 用 de Moivre–Laplace 極限定理估計 \(P\left(B(400, 0.5) \ge 220\right)\) （記得 0.5 連續性修正），與精確值（可用遞迴）比較。
  3. 驗證 Bernoulli( \(p\) ) 滿足 Lindeberg 條件，並用 Berry–Esseen 型推理說明 \(p\) 接近 0 或 1 時（偏態大）近似變差的趨勢。
  4. 設 \(X_i\) 獨立、 \(P(X_i = \pm i) = \frac{1}{2}\) 。計算 \(s_n^2\) ，說明 Lindeberg 條件不成立，並解釋「最後一項主導一切」的含義（此和的極限是 Cauchy 型而非常態）。
  5. 思考題：Laplace 說「誤差常態是因為誤差是小擾動之和」。請以實際測量（如量測一本書的長度）列出五個擾動來源，並討論什麼情況下這個「小擾動之和」的圖像會破產（提示：讀數四捨五入、系統誤差、厚尾擾動）。

進階研讀：極限定理的五個深化場景#

場景一：Berry–Esseen 速率與實務查帳。 \(\sup_x \left|F_n(x) - \Phi(x)\right| \le \frac{C \rho}{\sigma^3\sqrt{n}}\) （Berry 1941、Esseen 1942；最優常數 \(C \approx 0.4748\) ，Shevtsova 2011）。它把「 \(n\) 該多大」從玄學變成算術：偏態 \(\rho/\sigma^3\) 越大、需要的 \(n\) 越大。這是「近似理論的會計學」——任何漸近定理的最佳配備。

場景二：不變原理與布朗運動。Donsker（1951）不變原理：把隨機漫步 \(\{S_k\}\) 線性內插並縮放 \(\left(\frac{S_{\lfloor nt \rfloor}}{\sqrt{n}}\right)\) ，作為過程收斂到 Wiener 過程。CLT 是它在單一時刻的投影。這條路線把極限理論從「分布」升級到「過程」，是隨機分析（7 章）的極限定理入口，也是計算金融中離散對沖 → 連續理論的橋樑。

場景三：穩定域。哪些分布可以成為標準化和的極限？答案是 Lévy 穩定分布族（ \(\alpha \in (0, 2]\) ）；常態對應 \(\alpha = 2\) 、變異數有限。Gnedenko–Kolmogorov（1949）的極限理論教科書確立此分類。重尾世界的「廣義 CLT」解釋了股價、網路流量中「波動不服從常態」的現象——打破小貢獻均衡的分布走進穩定域的其他角落。

場景四：局部極限定理與密度近似。CLT 有「局部」版本： \(\sqrt{n\sigma^2}\, P(X_1 + \cdots + X_n = k) \to \phi\left(\frac{k - n\mu}{\sigma\sqrt{n}}\right)\) （格點分布的機率質量近似）。它在組合隨機結構（圖的邊數、排列的循環數）中比積分版更好用——Erdős 與 Rényi 1959 年的隨機圖理論以此為工具，連通了機率與組合學。

場景五：相依下的 CLT。馬可夫鏈（Markov 1906 起）的 CLT：只要鏈滿足遍歷性與方差條件，沿鏈的平均仍趨常態；混合序列（Rosenblatt 1956）與 M 估計的漸近理論把 CLT 帶入時間序列迴歸與計量經濟學（White 1984 的異質性穩健版）。今日計量經濟學的「漸近理論」幾乎就是相依 CLT 的應用學——條件從 iid 放寬到「記憶夠短」，數學代價是矩條件與混合係數的控制。

名詞速查表（本節出現的核心術語）#

  • 中央極限定理（CLT）：標準化和依分布收斂到 \(N(0,1)\) 。
  • 依分布收斂：分布函數逐點收斂（在連續點）。
  • 特徵函數法：以 \(\mathbb{E}[e^{itX}]\) 的收斂證明 CLT（Lyapunov 開創）。
  • Lyapunov 條件：三階動差和相對 \(s_n^3\) 可忽略。
  • Lindeberg 條件：截尾二階動差總和趨零，無單一主導者。
  • Berry–Esseen 界：CLT 近似的定量誤差上界。
  • Donsker 不變原理：隨機漫步過程收斂到 Wiener 過程。
  • 穩定域：可作為和的極限的分布族（Lévy 穩定）。
  • 連續性修正：離散→連續近似時加減 0.5。

年表速查（本節涉及的關鍵年份）#

  • 1733：de Moivre 導出二項的常態逼近。
  • 1810–1812：Laplace 一般 CLT 與誤差理論合流。
  • 1887：Chebyshev 動差法證明（有缺口）。
  • 1898：Markov 補證。
  • 1900–1901：Lyapunov 特徵函數法與非同分布版本。
  • 1922：Lindeberg 條件與交換技巧。
  • 1935：Feller 證明 Lindeberg 條件的必要性。
  • 1941–1942：Berry–Esseen 速率界。
  • 1949：Gnedenko–Kolmogorov《獨立隨機變數和的極限分布》。
  • 1951：Donsker 不變原理。
  • 1956：Rosenblatt 混合性與相依 CLT。

深化問答三則#

問：為什麼極限總是常態，而不是別的分布？ 答：因為「標準化和」的特徵函數是各個特徵函數的乘積，取對數後相加；在小貢獻均衡下，每個對數項對 \(t\) 的泰勒展開只保留到二階（一階被中心化消去），所以極限特徵函數必為 \(\exp(-\frac{t^2}{2})\) ——常態。常態是二階泰勒的極限：它的普世性來自「小」貢獻的「二次」性質。若某貢獻不小（Lindeberg 失敗）、或分布重尾使高階項不可控，極限就落入其他穩定分布。

問：CLT 與大數法則是矛盾還是互補？ 答：互補，且尺度不同。LLN 說 \(\bar{X}_n - \mu \to 0\) （波動尺度 \(\frac{1}{n}\) 下消失）；CLT 說 \(\sqrt{n}(\bar{X}_n - \mu)\) 的波動穩定於常態（尺度 \(\frac{1}{\sqrt{n}}\) 下不消失但形狀固定）。把鏡頭對準不同縮放層級，看到不同現象——這種「多尺度並存」是現代機率論的視角：LLN 是一階語言、CLT 是二階語言、大偏差理論（2.3 節場景二）則是三階（ \(n\) 倍偏離的指數衰減）語言。

問：Feller 證明 Lindeberg 條件必要性有什麼哲學意義？ 答：它把 CLT 從「一組充分條件下的定理」升級為「一個均衡概念的等價刻畫」：常態極限 \(\iff\) 小貢獻均衡（在規範條件下）。數學定理的成熟常以這種「充分→充要」的進化為標誌——條件不再是工具而是定義。同類進化在數學史反覆出現：收斂的 Cauchy 條件之於完備性、測度的可數可加之於 Lebesgue 理論。

（本節完）