跳轉到

8.2 Maximum Likelihood：Fisher（1922）#

本章導言#

拿到資料之後，哪個參數值最可信？最大概似法（Maximum Likelihood, MLE）的回答：使觀測到手頭資料的機率最大的那個。這個看似樸素的原則，由 Ronald Fisher（費雪，1890–1962） 在 1912–1922 年間鑄成完整理論，成為二十世紀統計學最重要的單一方法。本節講述 MLE 的定義、性質與歷史——以及它如何以一致性、效率與漸近常態三重奏征服統計學。

概似函數：把機率倒過來看#

設樣本 \(x_1, \ldots, x_n\) 來自 \(f(x; \theta)\) 。概似函數把「參數的函數」倒轉為「資料的函數」：

\[ L(\theta) = \prod_{i=1}^n f(x_i; \theta), \qquad \hat{\theta}_{MLE} = \arg\max_\theta L(\theta). \]

實務上最大化對數概似 \(\ell(\theta) = \sum \log f(x_i; \theta)\) （連乘變連加，求導方便）。注意： \(L\) 不是 \(\theta\) 的機率分布（不歸一），它是「參數的可信度剖面」。取對數、求導、令零，即得估計量。歷史先聲：Gauss（1809）的誤差理論實質上就是在常態假設下最大化概似（見 3.2 節）；Daniel Bernoulli 與 Lagrange（1770s）討論過「最可信參數」的早期版本；Fisher 1912 年的學生論文提出「absolute criterion」，1922 年《論估計的數學基礎》命名並系統化。

指數族的便利#

常態、二項、Poisson、Gamma、Beta 同屬指數族，其對數概似為：

\[ \ell(\theta) = \frac{\eta(\theta) \cdot T(x) - A(\theta)}{\phi} + \log h(x), \]

最大值滿足「樣本動差 = 理論動差」的方程（MLE 與動差法在此重合）。兩個標準例子：

  • Bernoulli： \(\ell(p) = k \log p + (n-k)\log(1-p)\) ， \(\ell'(p) = \frac{k}{p} - \frac{n-k}{1-p} = 0 \Rightarrow \hat{p} = \frac{k}{n}\) ——MLE 恰為頻率。
  • 常態： \(\hat{\mu} = \bar{X}\) 、 \(\hat{\sigma}^2 = \frac{1}{n}\sum (X_i - \bar{X})^2\) （注意分母 \(n\) ，非 \(n-1\) ——MLE 偏小，8.1 節的 \(n\) vs. \(n-1\) 之爭的來源）。

三重漸近性質#

Fisher 證明（1922–25，嚴格化歸功 Cramér 1946）MLE 的漸近三性質（正則條件下）：

  1. 一致性： \(\hat{\theta}_{MLE} \xrightarrow{P} \theta\) 。
  2. 漸近常態： \(\sqrt{n}(\hat{\theta} - \theta) \xrightarrow{d} N\left(0, \frac{1}{I(\theta)}\right)\) ， \(I\) 為 Fisher 資訊量（8.1 節）。
  3. 漸近有效：漸近達到 Cramér–Rao 下界——沒有任何方法能漸近地做得比 MLE 更好。

第三條是征服統計學的關鍵：MLE 也許在小樣本奇怪（偏、非穩健），但大樣本下沒有輸家。這條「漸近最優性」是 Fisher 對 Laplace–Gauss 傳統的現代化：最優性從「特定分布的計算」升級為「一般理論的極限定理」。

歷史：Fisher、Pearson 與一場恩怨#

Fisher 的 MLE 誕生於與 Karl Pearson 的激烈衝突。Pearson 的動差法（1894 起）是當時的主流估計方法；Fisher 1922 年論文以「一致性、效率、充分性」三大準則衡量，結論：MLE 在效率上普遍碾壓動差法，並攻擊 Pearson 早年著作的錯誤。Pearson 反擊（甚至動用學生驗算），兩人交惡三十年。Fisher 也在 1935 年與 Neyman 論戰（信賴區間 vs. Fisher 的似然論，9.2 節），與貝氏學派論戰（先驗是偏見，1.3 節）。Fisher 一生與所有學派為敵，卻為所有學派提供了武器——他的概似框架、方差分析、隨機化實驗設計，至今仍是統計學的通用語言。歷史的諷刺：Fisher 的遺傳學觀點（優生學）在二十一世紀被重新批判，其統計遺產卻愈發根深蒂固。

一個具體例題#

例題 8.2.1：觀測 \(n\) 個獨立樣本來自 \(Exp(\lambda)\) （平均壽命 \(\frac{1}{\lambda}\) ）。(a) 導出 MLE；(b) 求其漸近分布；(c) 對例題 8.1.1 的數據（ \(\bar{X} = 1000\) ， \(n = 5\) ）計算 95% 漸近信賴區間；(d) 與精確方法比較。

解：

(a) \(\ell(\lambda) = n \log \lambda - \lambda \sum x_i\) 。 \(\ell'(\lambda) = \frac{n}{\lambda} - \sum x_i = 0\) ：

\[ \hat{\lambda}_{MLE} = \frac{n}{\sum x_i} = \frac{1}{\bar{X}}. \]

（與 8.1 節的 \(\hat{\lambda}_1\) 相同——MLE 不必不偏，本例偏誤 \(0.25\lambda\) 。）

(b) Fisher 資訊量： \(\log f = \log \lambda - \lambda x\) ， \(\frac{\partial^2 \log f}{\partial \lambda^2} = -\frac{1}{\lambda^2}\) ，故 \(I(\lambda) = \frac{1}{\lambda^2}\) 。漸近分布：

\[ \hat{\lambda} \approx N\left(\lambda, \frac{\lambda^2}{n}\right), \qquad \text{標準誤} \approx \frac{\hat{\lambda}}{\sqrt{n}}. \]

(c) 代入 \(\hat{\lambda} = 0.001\) 、 \(n = 5\) ：標準誤 \(\approx 0.000447\) ，95% 區間：

\[ 0.001 \pm 1.96 \times 0.000447 = (0.000124, \, 0.001876). \]

(d) 精確方法： \(2\lambda \sum X_i = 2\lambda n \bar{X} \sim \chi^2_{2n}\) （Gamma–卡方恆等，3.3 節），故精確區間：

\[ \left(\frac{\chi^2_{10, \, 0.975}}{2n\bar{X}}, \, \frac{\chi^2_{10, \, 0.025}}{2n\bar{X}}\right) = \left(\frac{3.25}{10000}, \, \frac{20.48}{10000}\right) = (0.000325, \, 0.002048). \]

比較的教訓：漸近區間 (0.000124, 0.001876) 不對稱地偏離精確區間 (0.000325, 0.002048)—— \(n = 5\) 太小，漸近理論失真（尤其是 \(\hat{\lambda}\) 的右偏歪使常態近似低估右尾）。漸近理論是 \(n\) 大時的「護照」，不是小樣本的「出生證明」——實務上應檢查 \(n\sqrt{I}\) 的量級、或像 (d) 一樣尋找樞紐量的精確分布（此處 Gamma 的可加性送了禮物）。

歷史啟示#

  • 一條原則生成方法：MLE 的力量在「單一原則、全分布適用」——不必為每個分布發明估計法，這是方法論的統一（Fisher 的雄心：「估計的數學基礎」）。
  • 漸近最優性是真正的武器：小樣本的毛病不礙事，因為統計實務由「大樣本漸近」承載——1930 年代後統計學的漸近轉向由此發動。
  • 爭論的建設性：Fisher–Pearson 之爭逼迫雙方精確化（動差法的漸近性、MLE 的正則條件都因論戰而清楚）——學術衝突作為理論精煉爐。
  • MLE 不免疫於模型錯誤：它最大化的是「模型下的機率」；模型錯了，最優也是錯的最優（穩健統計的反叛，8.1 節場景四）。

與其他章節及領域的關聯#

  • 3.1–3.3 節：各分布的 MLE 是本節的素材庫。
  • 8.1 節：效率準則與 Cramér–Rao 界是 MLE 漸近性的評判標準。
  • 8.3、9.2 節：MLE 的漸近常態直接生成 Wald 檢定與信賴區間。
  • 9.3 節：貝氏觀點下的 MLE 是「平坦先驗的後驗眾數」——兩大傳統的技術交點。
  • 10.1 節：線性迴歸的 MLE（常態誤差）= 最小平方解；廣義線性模型（GLM）以迭代 MLE 為引擎。
  • 機器學習：交叉熵損失 = 負對數概似；深度學習的訓練就是（隨機化的）MLE——Fisher 1922 年的方法以梯度下降的形式統治了人工智慧。
  • 心理計量與生態：Rasch 模型、佔有率模型（Otis 1930s 的動物族群估計）皆以概似為骨架。

練習#

  1. 對 Bernoulli( \(p\) ) 樣本導出 MLE \(\hat{p} = \frac{k}{n}\) ，計算其偏誤與方差，並驗證漸近達 Cramér–Rao 界（ \(I(p) = \frac{1}{p(1-p)}\) ）。
  2. 對 Poisson( \(\lambda\) ) 樣本：求 MLE、漸近標準誤，並對觀測 \(n = 20\) 、總計數 \(= 50\) 給出 95% 漸近區間。
  3. 對 \(N(\mu, \sigma^2)\) （兩參數皆未知）：證明 \(\hat{\mu} = \bar{X}\) 、 \(\hat{\sigma}^2 = \frac{1}{n}\sum(X_i - \bar{X})^2\) ，並計算 \(\hat{\sigma}^2\) 的偏誤。
  4. 仿例題 8.2.1(d)，以精確卡方法重算 \(n = 20\) 、 \(\bar{X} = 1000\) 時 \(\lambda\) 的 95% 區間，與漸近區間比較，評論 \(n = 20\) 時漸近近似的品質。
  5. 思考題：MLE 最大化「模型下的機率」，因此可能嚴重依賴模型選擇。請以「資料明顯厚尾卻誤用常態 MLE 估計 99% 分位數」為例，討論模型風險與穩健替代（經驗分位數、極值理論）的取捨。

進階研讀：概似方法的五個深化場景#

場景一：概似原理與眾多推論的統一。概似原理（Birnbaum 1962）：全部實驗資訊包含在概似函數中。MLE、貝氏（後驗 \(\propto L \times \pi\) ）、Fisher 的 fiducial、Neyman 的區間——都可視為對 \(L\) 的不同操作。「讀出 \(L\) 的一切」是統計推論的統一藍圖，儘管各學派對「如何讀」仍爭論至今。

場景二：EM 演算法。存在隱變數或缺失資料時直接最大化困難，Dempster–Laird–Rubin（1977）的 EM 演算法：E 步（在當前參數下填補隱變數的期望，條件期望！）+ M 步（最大化補全後的概似），保證概似單調上升。HMM（6.2 節場景四）的 Baum–Welch、混合模型、遺傳學的基因型缺失估計皆以 EM 為心臟——它是 MLE 在不完全資料世界的引擎。

場景三：漸近理論的精緻化。三重性質的正則條件、超效率（Hodges 估計在單點突破 Cramér–Rao 界、Le Cam 1953 的病態分析）、邊界參數（ \(\hat{\theta}\) 在邊界時極限是半常態而非常態）、非正則情形（如 \(U(0, \theta)\) 的 MLE 收斂速度 \(n\) 而非 \(\sqrt{n}\) ）——漸近理論的地圖遠比「三條性質」複雜，這些角落是博士課程的日常。

場景四：概似與資訊準則。模型選擇：Akaike 資訊準則（AIC, 1974）以 \(\text{AIC} = -2\ell + 2k\) （ \(k\) = 參數數）在「擬合好」與「簡潔」間定價；BIC（Schwarz 1978）把懲罰換成 \(\frac{k}{2}\log n\) ，具貝氏解釋。MLE 從「估參數」擴張為「選模型」，統計學的議程從推論轉向學習——這是 1970 年代向機器學習的過渡樞紐。

場景五：機器學習中的 MLE。深度學習的訓練目標（最小化交叉熵）正是最大概似；隨機梯度下降是「不可行精確最大化」的數值替代；正則化對應先驗（MAP 估計 = MLE + 對數先驗懲罰）。可以說：Fisher 1922 年的概似原理 + 1950 年代的數值優化 + 2010 年代的 GPU = 深度學習。統計推論的古典核心以完全不同的姿態回到了舞台中央。

名詞速查表（本節出現的核心術語）#

  • 概似函數： \(L(\theta) = \prod f(x_i; \theta)\) ，資料對參數的可信度剖面。
  • MLE：最大化概似的估計量；對數概似求導取零。
  • 漸近常態： \(\sqrt{n}(\hat{\theta} - \theta) \to N(0, 1/I)\) 。
  • 漸近有效：漸近達 Cramér–Rao 界（正則條件下 MLE 的特權）。
  • Fisher 資訊量： \(I = -\mathbb{E}[\ell''(\theta)]\) ，標準誤的倒數平方。
  • 樞紐量：分布不依賴參數的統計量，精確區間的原料。
  • EM 演算法：隱變數下的 MLE 迭代法（E 步 + M 步）。
  • AIC/BIC：概似 + 複雜度懲罰的模型選擇準則。
  • MAP：最大後驗 = MLE + 先驗懲罰。

年表速查（本節涉及的關鍵年份）#

  • 1770s：Bernoulli、Lagrange 的早期「最可信估計」討論。
  • 1809：Gauss 誤差律下的最大概似雛形。
  • 1894 起：Pearson 動差法（對手方法）。
  • 1912：Fisher 學生論文的 absolute criterion。
  • 1922：Fisher《論估計的數學基礎》，MLE 命名與三準則。
  • 1925：Fisher 資訊量與效率理論。
  • 1934–35：Fisher–Neyman 論戰。
  • 1946：Cramér 嚴格化漸近理論。
  • 1948：Aitken 等推廣；同年 Shannon 資訊論為模型選擇鋪路。
  • 1962：Birnbaum 概似原理。
  • 1974：Akaike AIC。
  • 1977：Dempster–Laird–Rubin EM 演算法。
  • 1978：Schwarz BIC。

深化問答三則#

問：MLE 為什麼「不偏」不是它的目標？ 答：Fisher 的設計哲學是「最大化資料的支持度」，不是「平均而言命中」。例題 8.2.1(a) 顯示 MLE 系統性偏大 \(0.25\lambda\) （ \(n = 5\) ），但漸近偏誤以 \(\frac{1}{n}\) 速度消失、方差以 \(\frac{1}{n}\) 速度下降——漸近時偏誤相對方差可忽略。Fisher 甚至認為「不偏性是奇怪的準則」（他與 Neyman 對此長期論戰）。現代評價：小樣本不偏性的價值視用途（校正報告 vs. 預測）而定，MLE 的地位由漸近有效性與通用性支撐。

問：概似函數「不是機率分布」，這為什麼重要？ 答：因為它防止一類常見錯誤：對 \(L(\theta)\) 求積分、算「參數的機率」（那是貝氏後驗的前提，需要先驗）；或比較不同樣本量下的 \(L\) 絕對值（樣本越多 \(L\) 越小是必然，不是擬合變差）。概似是相對的支持度函數：只有同一資料、同一模型下的比較才有意義。Fisher 把「支持度」與「機率」分離，是他與貝氏學派的根本分歧點（9.3 節將重現）。

問：EM 演算法與條件期望有什麼關係？ 答：E 步的本質就是 4.3 節的條件期望：在「當前參數 + 觀測資料」的條件下，計算完全資料概似的期望。一個百年前的概念（Huygens 的公平價格 → Kolmogorov 的公理定義）在 1977 年成為演算法的引擎——統計學的歷史常以「舊數學的新崗位」為主旋律。M 步則回到 MLE 本身。整個 EM 是「條件期望 + 概似最大化」的循環，兩章知識的合體。

（本節完）