跳轉到

9.2 Kolmogorov機率公理1933#

本章導言#

1933 年,30 歲的蘇聯數學家 Andrey Kolmogorov(1903–1987)出版德文小冊子《Grundbegriffe der Wahrscheinlichkeitsrechnung》(機率論基礎),不到 70 頁,徹底改寫了一門學科:機率 = 總測度為 \(1\) 的測度;隨機變數 = 可測函數;期望 = 積分。這三個「翻譯」使兩百年積累的測度論一夜之間成為機率論的地基。但 Kolmogorov 的真正天才不止於翻譯:他解決了無窮次獨立試驗的構造問題(Kolmogorov 延拓定理),證明了強大數定律,並為條件期望(9.3)奠定基礎。本節走完這條路。

歷史:公理化之前的一團亂麻#

機率論的基礎問題在 1900–1930 年間非常尖銳:

年代 人物 事件
1654 Pascal, Fermat 機率的賭桌起源
1812 Laplace 古典定義(等可能),循環定義
1900 Hilbert 第六問題:機率的公理化列入數學物理
1909 Borel Borel–Cantelli 引理,強大數定律的測度論雛形
1919–25 von Mises 頻率公理(collective)——失敗的嘗試
1929 Cantelli 機率論基礎的爭論
1933 Kolmogorov 測度論公理化成功

von Mises 的失敗值得深思:他試圖把機率定義為「無窮序列中極限頻率 + 隨機性(place selection 不變性)」,直覺上忠於頻率學派,但「隨機性」的數學定義始終做不嚴格(後來由 Martin-Löf 1966 用可計算性理論完成,已非主流框架)。Kolmogorov 的勝利恰恰在於放棄了為「隨機」下定義:機率是測度,是數學對象;「隨機性」是應用層面的詮釋問題。這個「數學模型 vs. 物理詮釋」的分離,與幾何學中 Hilbert 對歐氏幾何公理化的處理一脈相承。

公理與模型#

定義 9.2.1(Kolmogorov 公理):機率空間 \((\Omega, \mathcal{F}, \mathbb{P})\) :

  1. \(\Omega\) 是樣本空間, \(\mathcal{F}\) 是其上的 σ-代數(事件族);
  2. \(\mathbb{P}: \mathcal{F} \to [0, 1]\) , \(\mathbb{P}(\Omega) = 1\) ;
  3. 可數可加:不交事件序列 \(\mathbb{P}(\bigcup A_n) = \sum \mathbb{P}(A_n)\) 。

翻譯表(本節最重要的內容):

機率論 測度論
事件 可測集
隨機變數 \(X\) 可測函數 \(\Omega \to \mathbb{R}\)
期望 \(\mathbb{E}[X]\) \(\int X\, d\mathbb{P}\)
幾乎必然(a.s.) 幾乎處處(a.e.)
獨立 \(\mathbb{P}(A \cap B) = \mathbb{P}(A)\mathbb{P}(B)\)
\(X\) 的分佈 推前測度 \(\mathbb{P} \circ X^{-1}\)
依分佈收斂 測度的弱收斂
\(L^p\) 收斂 6.1 的 \(\|X_n - X\|_p \to 0\)

前八章的每個定理瞬間獲得機率版:MCT = 單調期望的交換、DCT = 控制收斂、Fubini = 聯合分佈的交換、R–N = 密度的存在(8.3)。

無窮次獨立試驗:Kolmogorov 延拓定理#

公理化的真正考驗:如何構造「無窮次擲硬幣」的數學模型? 有限次試驗的模型是 \(2^n\) 個樣本點;無窮次的樣本空間是 \(\Omega = \{0,1\}^{\mathbb{N}}\) ——不可數,且「無窮次正面」這類事件需要極限。

定理 9.2.2(Kolmogorov 延拓定理, 1933):給定相容的有限維分佈( \(\mathbb{R}^n\) 上的 Borel 機率測度 \(\mu_n\) ,滿足 \(\mu_{n+1}(A \times \mathbb{R}) = \mu_n(A)\) 型投影相容性),存在唯一的機率測度 \(\mu\) 於 \(\mathbb{R}^{\mathbb{N}}\) (配乘積 σ-代數)使每個 \(\mu_n\) 是其投影。

證明思想:在柱集(只依賴有限個座標的集合 \(\{\omega : (\omega_1, \dots, \omega_n) \in A\}\) )上定義 \(\mu = \mu_n(A)\) ;相容性保證良定;驗證有限可加性,再用緊性論證( \(\{0,1\}^n\) 有限故 \(\mathbb{R}^n\) 中的閉方塊緊,區間覆蓋的有限子覆蓋性質)證明可數可加性(相容性 + 緊性 ⟹ 下連續性)——這是 Riesz 表示定理的緊性思想(9.1)在乘積情形的翻版。最後 Carathéodory 延拓(9.1 定理 9.1.2)。 \(\blacksquare\)

例題 9.2.1(無窮擲幣):在 \(\Omega = \{0,1\}^\mathbb{N}\) 上構造 \(\mathbb{P}\) 使座標獨立且 \(\mathbb{P}(\omega_n = 1) = p\) 。證明事件「頻率收斂到 \(p\) 」的機率為 \(1\) 。

解:由延拓定理( \(\mu_n\) = \(n\) 次獨立 Bernoulli 的乘積測度,顯然相容),得 \(\mathbb{P}\) 。頻率 \(S_n(\omega) = \frac{1}{n}\sum_{k \le n} \omega_k\) 是可測函數(有限和的極限,4.3 封閉性)。強大數定律(下)給

\[ \mathbb{P}\left( \left\{ \omega : \lim_n S_n(\omega) = p \right\} \right) = 1. \]

建模的深意:樣本點 \(\omega\) 是一條完整的無窮序列;「擲硬幣一次」= 座標投影;Bernoulli 大數定律從「定理」升級為「模型的內在性質」。Laplace 時代想都不敢想的無窮序列問題,如今是一行測度論構造。

收斂方式的等級表#

公理化後,「隨機變數列的收斂」有四種主要方式,強弱關係值得固定:

\[ \text{a.s. 收斂} \implies \text{依機率收斂} \implies \text{依分佈收斂}, \qquad L^p \text{ 收斂} \implies \text{依機率收斂}. \]

定理 9.2.5(Riesz 子列引理): \(X_n \to X\) 依機率 ⟹ 存在子列 a.s. 收斂。

證明思想:取 \(\mathbb{P}(|X_{n_k} - X| > 2^{-k}) < 2^{-k}\) (依機率收斂的定義逐次選 \(n_k\) ),Borel–Cantelli 第一引理給「僅有限多次超過 \(2^{-k}\) 」a.s.,即 a.s. 收斂。 \(\blacksquare\)

注意與 6.2 的平行:這是 Riesz–Fischer 證明「快收斂子列」步驟的機率版——實變與機率的方法論在此完全互通。反向關係皆不成立(5.2 的尖峰反例同時是 \(L^1\) 不收斂但依機率收斂的例子;9.2 例題 9.2.2 是依機率不 a.s. 的例子)。強大數定律談 a.s.、弱大數定律談依機率、中心極限定理談依分佈——三個大定理各居一層,收斂等級表是讀懂它們關係的鑰匙。

Borel–Cantelli 與強大數定律#

定理 9.2.3(Borel–Cantelli 引理, 1909/1917):事件列 \(\{A_n\}\) 。

  • 第一引理: \(\sum \mathbb{P}(A_n) < \infty \implies \mathbb{P}(A_n \text{ i.o.}) = 0\) (無窮多次發生的機率為零)。
  • 第二引理(需獨立): \(\sum \mathbb{P}(A_n) = \infty \implies \mathbb{P}(A_n \text{ i.o.}) = 1\) 。

證明:第一引理用上連續性: \(\mathbb{P}(\bigcap_{m}\bigcup_{n \ge m} A_n) \le \mathbb{P}(\bigcup_{n \ge m} A_n) \le \sum_{n \ge m} \mathbb{P}(A_n) \to 0\) 。第二引理用獨立性與 \(1 - x \le e^{-x}\) : \(\mathbb{P}(\bigcap_{n \ge m} A_n^c) = \prod_{n \ge m}(1 - p_n) \le \prod e^{-p_n} = e^{-\sum p_n} = 0\) 。 \(\blacksquare\)

定理 9.2.4(Kolmogorov 強大數定律, 1933): \(\{X_n\}\) 獨立、 \(\mathbb{E}[X_n] = 0\) 、 \(\sum \frac{\text{Var}(X_n)}{n^2} < \infty\) ,則 \(\frac{S_n}{n} \to 0\) a.s.。

證明思想:Borel–Cantelli 截斷法——把「 \(S_n/n \to 0\) 除非有限多個例外」化為「對每個 \(k\) ,最終 \(|S_n/n| \le 1/k\) 」,後者用 Chebyshev + Borel–Cantelli 控制尾事件的機率,尾和估計依賴 \(\sum \text{Var}(X_n)/n^2\) 。 \(\blacksquare\)

Borel 1909 年的原始證明(等概率情形)有漏洞,Cantelli、Kolmogorov 逐步補嚴——強大數定律是測度論工具箱(上連續性、獨立性、Chebyshev、Borel–Cantelli)的第一次全面實戰,也直接驗證了公理化的價值:舊理論連陳述都做不清楚的定理,新框架下有完整證明。

例題#

例題 9.2.2:證明「幾乎必然收斂」不等價於「依機率收斂」,並指出何者蘊含何者。

解:a.s. ⟹ 依機率: \(\mathbb{P}(|X_n - X| > \varepsilon) \le \mathbb{P}(\bigcup_{m \ge n} \{|X_m - X| > \varepsilon\}) \downarrow \mathbb{P}(N) = 0\) ,其中 \(N\) 是不收斂點集(a.s. 即 \(\mathbb{P}(N) = 0\) )。反例(依機率 ⇏ a.s.):在 \([0,1]\) 上取 \(X_n = \chi_{I_n}\) , \(I_n\) 是滑動區間( \([0,1], [0,\frac12], [\frac12,1], [0,\frac13], \dots\) ),則每個 \(x\) 屬於無窮多個 \(I_n\) ( \(\limsup I_n = [0,1]\) ),故 \(X_n \not\to 0\) a.s.;但 \(\mathbb{P}(|X_n| > \varepsilon) = \ell(I_n) \to 0\) 。Borel–Cantelli 的 \(\sum\) 判準正是判定 a.s. 收斂的工具:本例 \(\sum \ell(I_n) = \infty\) ,第一引理不適用。

為何公理化成功了#

Kolmogorov 公理的成功因子,值得與 von Mises 的失敗對照:

  1. 分離模型與詮釋:不回答「機率是什麼」,只規定「機率如何運算」。
  2. 繼承整個分析學:200 年的積分、收斂、完備性理論免費入場。
  3. 允許無窮構造:延拓定理使隨機過程(第 9 章之後的無窮維對象)可嚴格定義。
  4. 條件期望的抽象化(9.3):超越初等機率「以事件為條件」的框架。

隨後的發展勢不可擋:Lévy(1934–37)的穩定分佈與隨機過程、Wiener(1923 已用測度論構造布朗運動,早於公理化!)與 Kolmogorov 方程(1931)、Itô 積分(1944)、Malliavin 分析(1970s)——整座現代機率論大廈都蓋在 1933 年那本小冊子的地基上。

與其他章節的關聯#

  • 承 9.1:機率空間就是 \(\mu(X) = 1\) 的測度空間;延拓定理 = Carathéodory + 緊性。
  • 承 4–8 章:翻譯表中的每項對應都是前章定理的直接複用。
  • 啟 9.3:條件期望是公理化框架中最深的抽象,R–N 定理是其存在性的依據。
  • 調和分析:隨機傅立葉級數(Random Fourier series)、Wiener 測度在函數空間上的構造(Wiener 1923 是「函數空間上的測度」的發明)。
  • 數理統計:概似函數、假設檢驗的嚴格理論(Neyman–Pearson 1933,同年!)以密度(R–N 導數)為語言。

本節要點#

  1. 機率 = 總測度 \(1\) 的測度;翻譯表使全部分析學工具免費入場。
  2. Kolmogorov 延拓定理:相容有限維分佈 ⟹ 唯一無窮維過程;緊性是可數可加性的關鍵。
  3. 無窮擲幣模型:大數定律成為模型的內在性質。
  4. Borel–Cantelli 引理是 a.s. 收斂與尾部事件的基本判準。
  5. 公理化的成功策略:分離數學與詮釋,繼承既有理論。