跳轉到

8.1 點估計與不偏性#

本章導言#

前七章回答「機率會發生什麼」；從本章起回答反方向的問題：「資料告訴我們什麼」。統計推論的起點是點估計：用樣本的一個數值猜測未知參數。什麼樣的估計是「好」的？不偏性、一致性、有效性——這些準則在十九世紀末至 1950 年代由 Pearson、Fisher、Neyman、Cramér–Rao 逐步確立。本節講述估計理論的誕生與三大準則的歷史。

統計模型與估計量#

統計模型：樣本 \(X_1, \ldots, X_n\) 為來自分布 \(f(x; \theta)\) 的 iid 觀測， \(\theta \in \Theta\) 未知。估計量（estimator） \(\hat{\theta} = g(X_1, \ldots, X_n)\) 是樣本的函數（統計量）；它的實現值 \(\hat{\theta}(x_1, \ldots, x_n)\) 稱估計值。注意估計量是隨機變數（依賴隨機樣本），因此可以談它的分布、期望與方差——這是統計學與「算一個數」的根本區別。

三大準則：

  1. 不偏性： \(\mathbb{E}[\hat{\theta}] = \theta\) （估計量在參數真值上平均）。
  2. 一致性： \(\hat{\theta} \xrightarrow{P} \theta\) （ \(n \to \infty\) 時依機率收斂，5.1 節大數法則的直接應用）。
  3. 有效性（效率）：在（不偏）估計量中方差最小。

樣本均值與樣本方差：兩個主角#

對均值 \(\mu\) ：樣本均值 \(\bar{X} = \frac{1}{n}\sum X_i\) 是不偏的（ \(\mathbb{E}[\bar{X}] = \mu\) ，期望的線性），方差 \(\operatorname{Var}(\bar{X}) = \frac{\sigma^2}{n}\) （獨立使方差相加，2.2 節）——一致性由大數法則、精度由 \(\frac{1}{\sqrt{n}}\) 律（ \(\sigma/\sqrt{n}\) 稱標準誤，與個別觀測的 \(\sigma\) 區分）。

對方差 \(\sigma^2\) ：候選 \(\frac{1}{n}\sum (X_i - \bar{X})^2\) 有系統性偏小（因為以 \(\bar{X}\) 而非真 \(\mu\) 為中心，用掉了一個自由度）：

\[ \mathbb{E}\left[\frac{1}{n}\sum (X_i - \bar{X})^2\right] = \frac{n-1}{n} \sigma^2. \]

修正分母 \(n - 1\) 得樣本方差 \(S^2 = \frac{1}{n-1}\sum (X_i - \bar{X})^2\) ，不偏。「 \(n - 1\) 之謎」的直觀：估計 \(\bar{X}\) 本身消耗了一個觀測的資訊。歷史上，Gauss（1816 前後）已知此修正；Karl Pearson 的實驗室長期使用 \(n\) （其數據量大，差異可忽略）；1908 年 Student（W. S. Gosset） 導出 \(S^2/\sigma^2\) 的精確分布時明確使用 \(n-1\) （9.1 節）；Fisher 1922 年以幾何詮釋（ \(n\) 維空間中的 \(n-1\) 維子空間，自由度概念）完成理論。「自由度」這個詞由 Fisher 引入統計學，成為 ANOVA 與檢定的基本術語。

一致性與大數法則#

一致性的證明往往就是大數法則： \(\bar{X} \xrightarrow{P} \mu\) 、 \(S^2 \xrightarrow{P} \sigma^2\) （後者需再用一層 \(\bar{X} \xrightarrow{P} \mu\) 與控制 \(\frac{1}{n}\sum X_i^2\) ，即大數法則的二次應用）。歷史上「一致性」作為正式準則由 Fisher（1922）提出（consistent），其數學化（依機率收斂）則隨 Kolmogorov 公理化（5.3 節）完成。一致性是估計量的「底線要求」：n 夠大時必須逼近真值；不偏性與效率則是有限樣本的品質指標——三者的緊張關係（不偏但低效、有偏但一致）是估計理論的日常。

Cramér–Rao 下界：效率的天花板#

Cramér–Rao 不等式（Rao 1945、Cramér 1946；思想源於 Fisher 1922–25 的資訊量概念）：任何不偏估計量滿足

\[ \operatorname{Var}(\hat{\theta}) \ge \frac{1}{n\, I(\theta)}, \qquad I(\theta) = \mathbb{E}\left[\left(\frac{\partial}{\partial \theta} \log f(X; \theta)\right)^2\right] \]

為單觀測的 Fisher 資訊量。直觀： \(I\) 度量分布對參數變化的「敏感度」——似然函數對 \(\theta\) 越尖銳，資料越能分辨參數，估計越準。達到下界的估計量稱有效估計量。常態均值是標準例子： \(\hat{\mu} = \bar{X}\) 的方差 \(\frac{\sigma^2}{n}\) 恰達到 Cramér–Rao 下界（因 \(I(\mu) = \frac{1}{\sigma^2}\) ）——樣本均值不僅是自然的選擇，還是最優的選擇（在常態模型下）。Cramér–Rao 理論把「哪個估計量最好」從品味問題變成可證明的命題，是數理統計成熟的里程碑。

一個具體例題#

例題 8.1.1：某零件壽命服從 \(Exp(\lambda)\) （速率參數），觀測到 5 個壽命（小時）：820, 950, 1100, 720, 1410。(a) 以 \(\hat{\lambda}_1 = \frac{1}{\bar{X}}\) 估計 \(\lambda\) ，求其偏誤；(b) 以 \(\hat{\lambda}_2 = \frac{n-1}{n} \cdot \frac{1}{\bar{X}}\) 修正，驗證不偏；(c) 計算兩者的標準誤並比較。

解：

(a) 已知 \(\bar{X} \sim \Gamma(n, \lambda)\) （3.3 節）， \(\mathbb{E}[\frac{1}{\bar{X}}] = \lambda \cdot \frac{n}{n-1}\) （Gamma 的倒數動差）。故

\[ \mathbb{E}[\hat{\lambda}_1] = \frac{n}{n-1}\lambda = \frac{5}{4}\lambda = 1.25\,\lambda \quad\Rightarrow\quad \text{偏誤} = 0.25\lambda. \]

倒數估計系統性偏大——不偏性可能在意想不到的地方破產（這裡是 Gamma 倒數動差）。

(b) 修正量 \(\hat{\lambda}_2 = \frac{n-1}{n}\hat{\lambda}_1\) ：

\[ \mathbb{E}[\hat{\lambda}_2] = \frac{n-1}{n} \cdot \frac{n}{n-1}\lambda = \lambda. \quad \checkmark \]

本題數據： \(\bar{X} = \frac{820 + 950 + 1100 + 720 + 1410}{5} = \frac{5000}{5} = 1000\) 。 \(\hat{\lambda}_1 = 0.001\) 、 \(\hat{\lambda}_2 = 0.0008\) （即平均壽命估計 \(\frac{1}{\lambda} = 1250\) 小時）。

(c) 由 Gamma 方差 \(\operatorname{Var}(\bar{X}) = \frac{n}{\lambda^2}\) 與二階倒數動差（ \(\mathbb{E}[\bar{X}^{-2}] = \frac{n^2 \lambda^2}{(n-1)(n-2)}\) ）：

\[ \operatorname{Var}(\hat{\lambda}_1) = \frac{n^2\lambda^2}{(n-1)^2(n-2)} \approx \frac{\lambda^2}{n - 2} \ \text{（大 } n\text{）}. \]

代入 \(\lambda = 0.0008\) ： \(\operatorname{Var} \approx \frac{6.4 \times 10^{-7}}{3} \approx 2.13 \times 10^{-7}\) ，標準誤 \(\approx 4.6 \times 10^{-4}\) 。修正版 \(\hat{\lambda}_2 = \frac{n-1}{n}\hat{\lambda}_1\) 的方差乘上 \(\left(\frac{n-1}{n}\right)^2 = 0.64\) ——不偏化使方差下降（本例中）。這展示了準則間的微妙互動：偏誤的消除有時同時改善方差；但也存在相反情形（有偏的 MLE 常比不偏版方差小，如方差估計的 \(n\) vs. \(n-1\) 之爭）——無免費的午餐，準則需按目的取捨（預測用 MSE 綜合偏誤與方差： \(\text{MSE} = \text{偏誤}^2 + \text{方差}\) ，Hodges 估計與 James–Stein 1961 年的收縮估計是著名的「允許有偏反而全面更準」案例）。

歷史啟示#

  • 「好」需要定義：在 Fisher 之前，「估計」是直覺（用平均）；之後，「好」成為可證明命題（不偏、一致、有效、達 Cramér–Rao 界）——定義準則本身就是重大發明。
  • 自由度的發現： \(n-1\) 修正背後的幾何（樣本空間維數）是 Fisher 幾何學派的勝利——統計學獲得了自己的線性代數。
  • 準則衝突是常態：不偏 vs. 有效 vs. 一致的張力，最終由損失函數（MSE、風險）統一——決策論（Wald 1950）成為統計學的仲裁者。
  • 資訊量連通兩界：Fisher 資訊量既是估計下界的分子、也是 9.2 節檢定功效與 9.3 節貝氏後驗漸近形狀的核心——一個概念統治了整個推論理論。

與其他章節及領域的關聯#

  • 2.2、5.1 節：期望、方差與大數法則是估計量的分析工具。
  • 3.3 節：卡方分布承載 \(S^2\) 的抽樣分布（ \((n-1)S^2/\sigma^2 \sim \chi^2_{n-1}\) ）。
  • 8.2 節：最大概似法是估計量的主要工廠，其漸近效率由 Cramér–Rao 界評判。
  • 8.3、9.1、9.2 節：區間估計與檢定是點估計的誤差學擴充。
  • 9.3 節：貝氏估計（後驗均值）以不同的「好」為準則（後驗期望損失）。
  • 10.1 節：迴歸係數是估計理論的多維版；Gauss–Markov 定理是最小平方法的有效性證明。
  • 機器學習：偏誤—方差分解（bias–variance tradeoff）是模型選擇的核心原理，直接源於本節 MSE 分解；正則化（收縮）是 James–Stein 思想的現代化身。

練習#

  1. 證明 \(\mathbb{E}\left[\frac{1}{n}\sum (X_i - \bar{X})^2\right] = \frac{n-1}{n}\sigma^2\) （展開平方和、用 \(\mathbb{E}[(X_i - \bar{X})(X_j - \bar{X})] = 0\) 對 \(i \ne j\) ）。
  2. 對 \(U(a, 0)\) （ \(\theta = a\) 未知），比較 \(\hat{a}_1 = 2\bar{X}\) 與 \(\hat{a}_2 = \frac{n+1}{n} X_{(n)}\) （最大觀測的修正）：證明兩者皆不偏，並計算方差比較效率。
  3. 對例題 8.1.1，改用 \(n = 30\) 個觀測，計算 \(\hat{\lambda}_1\) 的偏誤比例與標準誤，討論「大樣本下偏誤的消失與方差的主導」。
  4. 導出常態模型 \(N(\mu, \sigma^2)\) （ \(\sigma\) 已知）下 \(\mu\) 的 Fisher 資訊量 \(I(\mu) = \frac{1}{\sigma^2}\) ，並驗證 \(\bar{X}\) 達到 Cramér–Rao 界。
  5. 思考題：James–Stein 估計在 \(p \ge 3\) 維常態均值問題中「全面支配」樣本均值（MSE 處處更小），代價是不偏。請討論：你願意用「平均更準」換「可能系統性偏向」嗎？這與統計的「無偏傳統」有何張力？

進階研讀：估計理論的五個深化場景#

場景一：充分性與資料壓縮。Fisher（1922）的充分統計量：若 \(T\) 的條件分布不依賴 \(\theta\) （ \(f(x|\theta) = h(x) \cdot g(T; \theta)\) ，因子分解定理），則 \(T\) 保留了樣本中關於 \(\theta\) 的全部資訊——資料可以壓縮而無損失。常態均值的 \(\bar{X}\) 、Gamma 的 \((\bar{X}, \text{幾何均值})\) 皆充分。充分性是「為何只需看摘要統計」的理論根據，也是指數族分布的特徵性質（Darmois–Koopman–Pitman）。

場景二：Rao–Blackwell 化。Rao–Blackwell 定理（1945–47）：任何估計量經充分統計量條件化（ \(\hat{\theta}^* = \mathbb{E}[\hat{\theta} \mid T]\) ）後，MSE 不增。這是條件期望（4.3 節）在統計推論中的直接應用，也提供了改進估計的機械程序：隨便一個估計 + 充分統計量 → 更好的估計。

場景三：Lehmann–Scheffé 與最優無偏。結合充分性與完備性，Lehmann–Scheffé 定理（1950）：完備充分統計量的不偏函數是唯一的一致最小方差無偏估計（UMVUE）。樣本方差 \(S^2\) 對常態方差就是 UMVUE——「 \(n-1\) 」的最優性被正式證明。估計理論至此完成「找到唯一最優解」的古典計畫。

場景四：穩健統計的反叛。Cramér–Rao 的最優性依賴模型正確；實務中離群值使 \(\bar{X}\) 崩潰。Huber（1964）的 M 估計、樣本中位數、trimmed mean 提供「模型錯誤時仍體面」的穩健估計；Tukey 的「穩健性 vs. 效率」權衡曲線成為標準教材。這是「假設的世界」與「數據的世界」的永恆張力之制度化。

場景五：現代的收縮與貝氏橋樑。James–Stein（1961）、ridge 迴歸（Hoerl–Kennard 1970）、lasso（Tibshirani 1996）都是「有意引入偏誤以壓低方差」的收縮估計，其貝氏解釋（先驗把參數拉向 0）使頻率與貝氏傳統在此會合（9.3 節）。機器學習的「正則化革命」本質上是估計理論「偏誤—方差權衡」的大規模工程化——Fisher 1922 年的問題以神經網路的形式續寫。

名詞速查表（本節出現的核心術語）#

  • 估計量 / 估計值：樣本的隨機函數 / 其實現值。
  • 不偏性： \(\mathbb{E}[\hat{\theta}] = \theta\) 。
  • 一致性： \(\hat{\theta} \xrightarrow{P} \theta\) （大數法則的統計化身）。
  • 標準誤：估計量的標準差，精度 \(\sim \frac{\sigma}{\sqrt{n}}\) 。
  • 自由度：獨立資訊的維數； \(n - 1\) 修正的幾何根源。
  • MSE 分解：偏誤² + 方差，預測準度的會計式。
  • Fisher 資訊量：似然對參數的敏感度，效率的度量。
  • Cramér–Rao 下界：不偏估計方差的理論最小值。
  • 充分統計量：保留全部參數資訊的資料摘要。
  • Rao–Blackwell 化：條件化於充分統計量以改進估計。
  • 穩健估計：對模型偏離與離群值不敏感的估計（中位數、M 估計）。

年表速查（本節涉及的關鍵年份）#

  • 1805–1809：最小平方法與誤差律（估計的史前史）。
  • 1816：Gauss 討論方差估計的修正。
  • 1908：Student 導出 \(S^2\) 分布、使用 \(n-1\) 。
  • 1922：Fisher《論估計的數學基礎》，一致性、效率、充分性。
  • 1925：Fisher 資訊量正式化。
  • 1945–47：Rao–Blackwell 定理；Rao 提出 Cramér–Rao 界。
  • 1946：Cramér《統計學的數學方法》。
  • 1950：Wald 統計決策論；Lehmann–Scheffé 定理。
  • 1961：James–Stein 收縮估計。
  • 1964：Huber 穩健 M 估計。
  • 1970：ridge 迴歸。
  • 1996：lasso。

深化問答三則#

問：不偏性為什麼被視為「神聖」又飽受批評？ 答：神聖面：不偏估計在「多次重複研究」的意義下不會系統性誤導——這契合科學的「避免系統誤差」倫理（Fisher 時代的實驗傳統）。批評面：存在不偏但荒謬的估計（如估計 \(\theta^2\) 的不偏版可能出現負值）；且 James–Stein 證明多維時「有偏更準」。現代的共識：不偏性是報告的衛生要求（校正項的依據），不是最優性的判準（那屬於 MSE 與決策論）。

問：樣本方差用 \(n - 1\) ，「永遠」對嗎？ 答：分目的。做 \(\sigma^2\) 的無偏估計（如後續構造 \(\chi^2\) 檢定、t 檢定）： \(n-1\) 正確（且是 UMVUE）。做 MLE 或預測： \(\frac{1}{n}\) 版（Fisher 主張）漸近更優、且在 MSE 準則下有時更好。實務規則：下游是檢定與區間 → \(n-1\) ；下游是模型估計與預測 → \(n\) 或正則化版本。數字的選擇反映用途，不是道德。

問：Fisher 資訊量為什麼叫「資訊」？ 答： \(I(\theta) = \mathbb{E}[(\partial \log f)^2]\) 度量「分布形狀對 \(\theta\) 的可辨識度」：似然尖銳（改一點 \(\theta\) 、資料機率大變）則資訊多。它與 Shannon 資訊（4.3 節場景四）不同但有深刻聯繫：大樣本下後驗的 KL 散度由 Fisher 資訊決定（漸近常態理論），且 Kullback–Leibler 的局部近似正是 \(\frac{1}{2} I(\theta)(d\theta)^2\) 。兩個「資訊」在漸近理論中匯合，是二十世紀資訊與統計統一的縮影。

（本節完）