跳轉到

2.2 期望值與變異數#

本章導言#

一個分布有無窮多細節，但人類需要摘要。1657 年 Huygens 的「公平價格」給出第一個摘要數——期望值；1885 年前後，Chebyshev 的「離散度」給出第二個——變異數。本節講述這兩個數字的歷史、性質與證明思想，它們是機率論從描述走向定理（大數法則、中央極限定理）的發動機。

期望值：從賭桌到分析學#

對離散隨機變數 \(X\) ，期望值定義為：

\[ \mathbb{E}[X] = \sum_i x_i \, P(X = x_i). \]

連續情形為 \(\mathbb{E}[X] = \int x f(x)\, dx\) 。這個概念的名字經歷了三個階段：Huygens 1657 年稱之「期望」（expectatio），指公平賭局的應得份額；Laplace 時代稱「數學期望」；二十世紀初 Frechet 與蘇聯學派以「平均」（moyenne）強調其本質——機率加權的平均值，即分布的重心。

期望值的基本性質（均由定義的線性推出）：

\[ \mathbb{E}[aX + bY] = a\,\mathbb{E}[X] + b\,\mathbb{E}[Y], \qquad \mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y] \ \text{（若 } X, Y \text{ 獨立）}. \]

期望值的線性不需要獨立性——這是它最強大的性質，使複雜系統的分析常能「只靠期望值」完成（如 6.2 節馬可夫鏈的穩態計算）。

變異數：離散度的誕生#

期望值告訴你重心，不告訴你散布。變異數定義為偏差平方的期望：

\[ \operatorname{Var}(X) = \mathbb{E}\left[(X - \mu)^2\right], \qquad \mu = \mathbb{E}[X], \]

展開得實用的公式 \(\operatorname{Var}(X) = \mathbb{E}[X^2] - (\mathbb{E}[X])^2\) 。標準差 \(\sigma = \sqrt{\operatorname{Var}(X)}\) 恢復了原單位。獨立情形的重要公式：

\[ \operatorname{Var}(X + Y) = \operatorname{Var}(X) + \operatorname{Var}(Y) \quad (X \perp Y). \]

「平方」的選擇有歷史理由：絕對值偏差 \(E|X - \mu|\) 不可微、難以運算，而平方偏差在 Gauss–Legendre 的最小平方法（1805–1809）中展現閉合的微積分性質。Fisher 在 1922 年前後主張用 \(n\) 而非 \(n-1\) 為分母（MLE 觀點），與傳統的 \(n-1\) （不偏觀點，Gosset/Student 1908 年已隱含）形成著名論戰——見 8.1、9.1 節。

Chebyshev 不等式：弱條件下的強保證#

變異數之所以重要，是因為一條奇蹟般的定理。Chebyshev 不等式（1867 年發表，但 Chebyshev 早在 1846 年講義中使用）：

\[ P(|X - \mu| \ge k\sigma) \le \frac{1}{k^2}, \qquad k > 0. \]

證明只有三行：對任意 \(\varepsilon > 0\) ，

\[ \operatorname{Var}(X) = \mathbb{E}[(X-\mu)^2] \ge \mathbb{E}\left[(X-\mu)^2 \mathbf{1}\{|X - \mu| \ge \varepsilon\}\right] \ge \varepsilon^2 \, P(|X - \mu| \ge \varepsilon). \]

取 \(\varepsilon = k\sigma\) 即得。它的偉大之處在於對任何分布、任何形狀都成立——只知道變異數就能得到尾部機率的普適上界。代價是界很鬆（例如 \(k = 3\) 時上界 \(\frac{1}{9} \approx 0.111\) ，而常態分布的實際值約 0.0027）。這種「條件極弱、結論粗糙」的不等式，正是十九世紀數學家證明極限定理的唯一工具，Markov 不等式 \(P(X \ge a) \le \frac{\mathbb{E}[X]}{a}\) （ \(X \ge 0\) ）是它的特例與前奏。

動差：分布的座標系#

\(\mathbb{E}[X^k]\) 稱為 \(k\) 階動差（moment，借用物理力矩之詞，Karl Pearson 1893 年首次用於統計）。期望值是 1 階動差、變異數是 2 階動差與 1 階的組合。Pearson 的動差法（1894 年起）企圖用前幾階動差辨識分布，成為 Fisher 動差法（method of moments）估計與最大概似法（8.2 節）競爭的起點。高階動差的兩個標準化版本：

\[ \text{偏態（skewness）} = \mathbb{E}\left[\left(\frac{X - \mu}{\sigma}\right)^3\right], \qquad \text{峰態（kurtosis）} = \mathbb{E}\left[\left(\frac{X - \mu}{\sigma}\right)^4\right] - 3. \]

常態分布偏態 0、峰態 0（Fisher 約定）——這兩個數字在金融風險管理（厚尾偵測）中至今是標準診斷量。

一個具體例題#

例題 2.2.1：保險公司對某類保單，一年內理賠次數 \(N\) 服從 \(P(N = 0) = 0.8\) 、 \(P(N = 1) = 0.15\) 、 \(P(N = 2) = 0.05\) ；每次理賠金額為固定 50 萬元。總理賠 \(S = 50 N\) （萬元）。(a) 求 \(\mathbb{E}[S]\) 與 \(\operatorname{Var}(S)\) ；(b) 用 Chebyshev 不等式估計 \(P(S \ge 150)\) 的上界；(c) 精確計算並比較。

解：

(a) 先算 \(N\) 的動差：

\[ \mathbb{E}[N] = 0 \times 0.8 + 1 \times 0.15 + 2 \times 0.05 = 0.25, \]
\[ \mathbb{E}[N^2] = 0 + 1 \times 0.15 + 4 \times 0.05 = 0.35, \qquad \operatorname{Var}(N) = 0.35 - 0.0625 = 0.2875. \]

由線性： \(\mathbb{E}[S] = 50 \times 0.25 = 12.5\) 萬元；由齊次性 \(\operatorname{Var}(S) = 50^2 \times 0.2875 = 718.75\) ， \(\sigma_S \approx 26.8\) 萬元。

(b) \(S \ge 150 \iff N \ge 3\) 。用 Chebyshev（單邊事件用雙邊界保守估計）： \(|S - 12.5| \ge 137.5\) ，故

\[ P(S \ge 150) \le P(|S - 12.5| \ge 137.5) \le \frac{718.75}{137.5^2} \approx 0.038. \]

(c) 精確值： \(P(N \ge 3) = 0\) （分布只到 2）！

比較的教訓：Chebyshev 給出 0.038 的上界，而真值是 0——界鬆了，但方向正確、且無需知道分布即可宣稱。在實務中（分布未知、只有樣本變異數），這種「保證性」正是變異數存在的理由：它是可估計的風險指標，而精確尾部機率永遠依賴於你未必敢相信的分布假設。

歷史啟示#

  • 兩個數字統治世界：均值與標準差概括了絕大多數科學數據的摘要需求——「 \(\bar{x} \pm s\) 」是科學文獻中出現頻率最高的數學表達式。
  • 平方的勝利：平方偏差因運算便利勝過絕對偏差，Gauss 1816 年親自比較過兩者的估計性質；「方便」是數學選擇的合法理由。
  • 弱條件定理的戰略價值：Chebyshev 不等式不精確但普適，這種「不漂亮但有用」的結果支撐起極限理論的第一代證明。
  • 動差是分布的座標：就像傅立葉係數之於函數（見《微積分》教材 10.1 節），動差為分布提供了分析座標，生成函數（2.3 節）是它的整合工具。

與其他章節及領域的關聯#

  • 2.1 節：期望與變異數是對 PMF/PDF 的函數型泛函（求和或積分）。
  • 2.3 節：動差生成函數把所有動差打包，是本節的「升級版」。
  • 3.2 節：常態分布完全由 \(\mu, \sigma\) 決定——「均值與標準差」的統治在常態世界達到極致。
  • 5.1、5.2 節：大數法則由 \(\operatorname{Var}(\bar{X}) = \sigma^2/n\) 直接證明；中央極限定理則精確刻畫 \(\bar{X}\) 波動的形狀。
  • 8.1 節：估計量的優劣以偏誤與變異數衡量；「效率」是變異數的比較。
  • 金融：Markowitz 1952 年的投資組合理論把「期望報酬 — 變異數」二維空間變成現代風險管理的語言。
  • 物理：動差對應力矩、轉動慣量（見《微積分》教材 7.3 節），統計力學的漲落理論以方差連結微觀與宏觀。

練習#

  1. 擲一顆公平骰子，求點數 \(X\) 的期望值、變異數與標準差。
  2. 設 \(X\) 的 PMF 為 \(P(X = k) = \binom{3}{k} (0.4)^k (0.6)^{3-k}\) ， \(k = 0, 1, 2, 3\) 。求 \(\mathbb{E}[X]\) 、 \(\operatorname{Var}(X)\) （可用 \(\operatorname{Var} = E[X^2] - (EX)^2\) ）。
  3. 對例題 2.2.1 的 \(N\) ，用 Markov 不等式估計 \(P(N \ge 3)\) （注意 \(N \ge 0\) ），並與 Chebyshev 結果比較哪個較緊。
  4. 證明： \(\operatorname{Var}(X) = 0 \iff P(X = \mathbb{E}[X]) = 1\) （變異數為零當且僅當隨機變數「幾乎是常數」）。
  5. 思考題：Gauss 曾比較平均絕對偏差與標準差作為誤差指標。查閱或推導常態分布下兩者的關係，並討論為何金融界近年重新擁抱「絕對偏差」與 CVaR 類指標。

進階研讀：期望與變異數的五個深化場景#

場景一：期望值的條件化與塔性質。 \(\mathbb{E}[\mathbb{E}[X \mid Y]] = \mathbb{E}[X]\) （重複條件化定律，也稱全期望公式）是條件期望（4.3 節）的支柱，也是隨機過程中「首步分析」的引擎：對隨機漫步的停留時間 \(T\) ， \(\mathbb{E}[T] = 1 + \mathbb{E}[T_{\text{下一步後}}]\) 型遞迴可以解出 Pascal 通信中 \(V(a,b)\) 的期望版。Gambler's ruin 的期望局數由此輕鬆可得。

場景二：Cauchy–Schwarz 與共變異數的誕生。由 \((\mathbb{E}[(X-\mu)(Y-\nu)])^2 \le \operatorname{Var}(X)\operatorname{Var}(Y)\) （Cauchy–Schwarz）可定義相關係數並證明 \(|\rho| \le 1\) （4.2 節）。這條不等式是期望值理論中「平方技術」的極致：它把「兩個量的協同變化」變成可計算的實數，開啟了迴歸分析（10.1 節）與多變量統計。

場景三：期望不存在的分布。Cauchy 分布（密度 \(f(x) = \frac{1}{\pi(1+x^2)}\) ）的主值積分為 0，但 \(\int |x| f(x)\, dx = \infty\) ，故期望值不存在（不是 0！）：對稱性給出的「0」在絕對可積條件失效時是陷阱。Kolmogorov 公理把期望值定義限制在 \(\mathbb{E}|X| < \infty\) 上，正是為了排除這種病態。St. Petersburg 悖論（1.1 節）是同一家族的離散成員。

場景四：Cramér–Rao 下界與「最準的估計」。任何不偏估計量的變異數都有下界： \(\operatorname{Var}(\hat{\theta}) \ge \frac{1}{n I(\theta)}\) ， \(I\) 為 Fisher 資訊量（Cramér, 1946；Rao, 1945；Fisher 1922 年已提出思想）。變異數由「描述性統計量」升格為「最優性判準」——能否達到此下界定義了「有效估計量」。這條線索貫穿第八章全部內容。

場景五：Chebyshev 譜系與大數法則的三代證明。Chebyshev 1867 年以不等式證明有限變異數版本的弱大數法則；其學生 Markov 1906 年以「截尾技巧」把條件放寬到期望存在即可；Kolmogorov 1933 年以不等式鏈證明強大數法則（幾乎必然收斂）。三代證明共用同一武器——對二階動差的控制——顯示一個好的不等式可以餵養五十年的理論。詳見 5.1 節。

名詞速查表（本節出現的核心術語）#

  • 期望值：機率加權平均 \(\mathbb{E}[X]\) ，分布的重心；具線性。
  • 變異數： \(\operatorname{Var}(X) = \mathbb{E}[(X-\mu)^2]\) ，分布的散布。
  • 標準差： \(\sigma = \sqrt{\operatorname{Var}(X)}\) ，與原量同單位的散布度。
  • Chebyshev 不等式： \(P(|X - \mu| \ge k\sigma) \le 1/k^2\) ，普適尾部上界。
  • Markov 不等式： \(P(X \ge a) \le \mathbb{E}[X]/a\) （ \(X \ge 0\) ）。
  • 動差： \(\mathbb{E}[X^k]\) ；偏態與峰態是 3、4 階的標準化。
  • 全期望公式： \(\mathbb{E}[\mathbb{E}[X \mid Y]] = \mathbb{E}[X]\) 。
  • Cramér–Rao 下界：不偏估計量變異數的理論最小值。
  • Cauchy 分布：期望值不存在的經典連續分布。

年表速查（本節涉及的關鍵年份）#

  • 1657：Huygens《論骰子遊戲的推論》確立期望值運算。
  • 1738：Daniel Bernoulli 對數效用回應 St. Petersburg 悖論。
  • 1805–1809：Legendre 與 Gauss 建立最小平方法，平方誤差成為標準。
  • 1816：Gauss 比較各類誤差指標，論證標準差之便。
  • 1846、1867：Chebyshev 發展並發表其不等式。
  • 1893：Karl Pearson 引入「動差」一詞與動差法。
  • 1906：Markov 截尾技巧放寬大數法則條件。
  • 1908：Student（Gosset）研究樣本變異數的分布。
  • 1922：Fisher 以最大概似觀點重審估計，效率概念成形。
  • 1931：Kolmogorov 論期望值的存在條件與遍歷理論。
  • 1945–1946：Cramér–Rao 下界發表。
  • 1952：Markowitz 投資組合理論，「期望—方差」框架誕生。

深化問答三則#

問：為什麼期望值的線性如此重要？ 答：因為它使「總和的期望 = 期望的總和」在完全不知道分布形狀、甚至變數間高度相依的情況下依然成立。蒙地卡羅方法的誤差分析、馬可夫鏈的穩態、排隊論的 Little 公式、組合隨機結構的分析，全部依賴這一條。可以說線性是機率論中最被高頻使用的性質。

問：變異數為什麼用平方而不是絕對值或四次方？ 答：三次候選各有理由：絕對值（MAD）穩健但不可微；四次方對極端值過敏。平方的獨特優勢是可加性：獨立變數的方差相加，這使誤差累積的數學（ \(\sigma_{\bar{X}} = \sigma/\sqrt{n}\) ）封閉而簡潔，成為大數法則與中央極限定理的代價低廉的入場券。歷史選擇的標準不是「公平」而是「好用」。

問：Chebyshev 不等式那麼鬆，為什麼還值得學？ 答：因為它的價值不在緊而在免費：不假設分布、只假設變異數有限。在理論上它是極限定理的第一台引擎；在實務上當你只有樣本方差、不敢猜分布形狀時，它是唯一可以無條件宣稱的保證。「嚴格但粗」的結果與「精緻但脆弱」的結果是互補的兩種數學資產。

（本節完）