跳轉到

10.1 迴歸與最小平方法#

本章導言#

「以直線概括數據」是統計學最常用的操作。最小平方法（Legendre 1805 發表、Gauss 1809 賦予機率基礎）與 迴歸（Galton 1885 年對身高的研究）的合流，使「預測」成為可計算的科學。本節講述從天文學的軌道修正到機器學習的梯度下降，最小平方思想的兩百年旅程。

最小平方法的誕生#

1801 年天文學家發現穀神星 Ceres 後失蹤，Gauss 以自創的最小平方法從少量觀測預測其軌道，Ceres 於 1801 年 12 月被重新找到——最平方法的「出世傳奇」。1805 年 Legendre（勒讓德，1752–1833） 在《計算彗星軌道的新方法》附錄中首次發表方法（引發與 Gauss 的優先權之爭，Gauss 聲稱 1795 年已使用）；1809 年 Gauss 以常態誤差律證明其最優性（3.2 節）。

線性模型：

\[ y = \beta_0 + \beta_1 x + \varepsilon, \qquad \hat{\beta}_1 = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2} = \frac{\operatorname{Cov}(x, y)}{\operatorname{Var}(x)} = r \frac{s_y}{s_x}. \]

斜率的第三種寫法揭示身份：迴歸係數 = 相關係數 × 標準差比（4.2 節）——Galton 的相關與 Gauss 的最小平方在此合體。多維推廣 \(\hat{\beta} = (X^\top X)^{-1} X^\top y\) （正規方程），求解依賴矩陣論（高斯消元法正是 Gauss 為此發展的）。

Galton 的迴歸與「向平均回歸」#

Francis Galton（高爾頓，1822–1911） 1885 年研究父子身高：兒子身高對父親身高作圖，發現迴歸線斜率約 \(\frac{2}{3}\) ——高個父親的兒子平均較矮、矮個父親的兒子平均較高。Galton 稱之「regression to mediocrity」（向平庸回歸），此詞成為「迴歸」的方法名。數學本質（4.2 篝）： \(\rho < 1\) 時兩個方向的迴歸線都不重合於 \(y = x\) ——迴歸效應是相關性的必然，不是生物學的拉力。Galton 更深的遺產：他把「以均值為中心、以相關為結構」的分析範式傳給了 Pearson，催生了《Biometrika》（1901）與整個生物統計學派。

Gauss–Markov 定理：BLUE#

Gauss–Markov 定理（Gauss 1809 的最優性論證，Markov 1900 年代以嚴格不等式重證）：在線性模型 \(y = X\beta + \varepsilon\) 、 \(\mathbb{E}[\varepsilon] = 0\) 、 \(\operatorname{Var}(\varepsilon) = \sigma^2 I\) （不要求常態！）下，最小平方估計量是線性不偏估計量中方差最小者（BLUE）。結合常態假設則升級為 MLE 且達 Cramér–Rao 界（8.1、8.2 節）。推斷工具： \(R^2\) （解釋方差比例， \(R^2 = r^2\) 單變數）、F 檢定（整體顯著性）、係數 t 檢定（9.1 篝 Student 的推廣）、殘差診斷（常態 Q-Q、異方差、自相關——Durbin–Watson 1950）。

病態與解藥：多重共線與正則化#

最小平方法的弱點在 1960–70 年代集中暴露：

  • 多重共線：解釋變數高度相關使 \(X^\top X\) 接近奇異，係數估計爆炸。ridge 迴歸（Hoerl–Kennard 1970）以 \(\|\beta\|^2\) 懲罰收縮（偏誤換方差，8.1 篝 James–Stein 的精神）；lasso（Tibshirani 1996）以 \(\|\beta\|_1\) 產生稀疏解（自動變數選擇）。
  • 維度詛咒：變數多於樣本（ \(p > n\) ，基因組學時代）時正規方程無解，正則化成為必需——機器學習的「正則化革命」（10.2 節場景五）直接繼承此線。
  • 非線性與基展開：多項式迴歸、樣條（Wahba 1990 的光滑化理論）、廣義可加模型（Hastie–Tibshirani 1990）——「線性模型 + 特徵工程」通向現代預測學。

逐步的哲學轉向：從 Fisher 傳統的「解釋性建模」（係數、檢定、因果敘事）到 Breiman（2001）的「預測性建模」（泛化誤差、交叉驗證）——迴歸的名稱未變，靈魂已改。

一個具體例題#

例題 10.1.1：10 家分店的廣告投入 \(x\) （萬元）與月銷售 \(y\) （十萬元）： \(\bar{x} = 5\) 、 \(\bar{y} = 12\) 、 \(\sum (x_i - \bar{x})^2 = 40\) 、 \(\sum (x_i - \bar{x})(y_i - \bar{y}) = 26\) 、 \(\sum (y_i - \bar{y})^2 = 21\) 。(a) 求迴歸線與 \(R^2\) ；(b) 求 \(\hat{\beta}_1\) 的標準誤（ \(\sigma^2\) 估計）與 95% 信賴區間；(c) 預測 \(x = 7\) 時的 \(y\) 與信賴區間；(d) 解釋因果與相關的注意事項。

解：

(a)

\[ \hat{\beta}_1 = \frac{26}{40} = 0.65, \qquad \hat{\beta}_0 = 12 - 0.65 \times 5 = 8.75, \]

迴歸線 \(\hat{y} = 8.75 + 0.65 x\) 。 \(R^2 = \frac{26^2}{40 \times 21} = \frac{676}{840} \approx 0.805\) ——廣告解釋了 80.5% 的銷售變異。

(b) 殘差方差：

\[ \hat{\sigma}^2 = \frac{\sum (y_i - \hat{y}_i)^2}{n - 2} = \frac{\sum (y_i - \bar{y})^2 - \hat{\beta}_1^2 \sum (x_i - \bar{x})^2}{8} = \frac{21 - 0.65^2 \times 40}{8} = \frac{4.1}{8} = 0.5125, \]
\[ SE(\hat{\beta}_1) = \sqrt{\frac{\hat{\sigma}^2}{\sum (x_i - \bar{x})^2}} = \sqrt{\frac{0.5125}{40}} \approx 0.1132. \]

95% 區間（ \(t_{0.975, 8} = 2.306\) ，9.1 節！）：

\[ 0.65 \pm 2.306 \times 0.1132 = (0.389, \, 0.911). \]

(c) 點預測 \(\hat{y}(7) = 8.75 + 4.55 = 13.3\) 。預測區間比均值信賴區間寬（多含殘差 \(\sigma^2\) ）：

\[ SE_{\text{pred}} = \hat{\sigma} \sqrt{1 + \frac{1}{n} + \frac{(7 - 5)^2}{40}} = 0.7159 \sqrt{1 + 0.1 + 0.1} = 0.7159 \times 1.0954 \approx 0.784, \]
\[ 13.3 \pm 2.306 \times 0.784 = (11.49, \, 15.11) \ \text{十萬元}. \]

注意「 \(x = 7\) 距 \(\bar{x}\) 較遠」的 \(\frac{(7-5)^2}{40}\) 項——外推越遠、區間越寬（槓桿效應），這條幾何事實是「外推需謹慎」的定量根據。

(d) 說明：迴歸係數 0.65 是條件均值差，不是因果效應。若分店規模（混雜因素）同時驅動廣告與銷售，係數混入「規模效應」。區分觀測與干預需實驗（隨機化, Fisher 1935）或因果模型（9.2 篝場景五、Pearl do-演算）。「廣告增加 1 萬 → 銷售增 0.65 十萬」只有在隨機化試驗或可辯護的因果假設下才能宣稱——相關的數學精確，因果的宣告需要科學。

歷史啟示#

  • 三次發明、一次命名：Gauss（軌道）、Legendre（彗星）、Galton（遺傳）各自到達最小平方/迴歸；「regression」這個遺傳學名詞成為通用方法名——命名權的偶然性不改變思想的必然性。
  • 誤差律 → 最優性 → 推斷：1809 年的最優性證明、1900s 的 Markov 嚴格化、1930s 的 t/F 推斷——最小平方法的成熟用了三代人。
  • 正則化是估計理論的勝利：ridge/lasso 是「偏誤換方差」理論（8.1 篝）的工程勝利——古典的收縮思想在資料科學時代成為預設。
  • 解釋 vs. 預測的世紀分岔：同一條迴歸線，Fisher 學派問「係數顯著嗎」、機器學習問「泛化誤差多小」——兩種問題都合法，混淆它們是當代資料科學的頭號混亂。

與其他章節及領域的關聯#

  • 3.2 節：常態誤差是迴歸推斷的模型；熱核捲積的觀點（7.3 節場景五）連通 Black–Scholes。
  • 4.2 節：斜率 = 相關 × 標準差比；共變異矩陣的幾何。
  • 8.1–8.3 節：BLUE、Cramér–Rao、t 檢定是迴歸推斷的理論供應商。
  • 9.1 節：係數的 t 檢定是 Student 分布的多維推廣。
  • 10.2 節：蒙地卡羅與 bootstrap（Efron 1979）為複雜迴歸提供推斷。
  • 計量經濟學：IV 工具變數（Wright 1928）、GMM、面板數據——迴歸的社會科學擴張；Frisch–Waugh 定理（1933）是「控制變數」的幾何。
  • 機器學習：線性回歸 → 邏輯回歸（Cox 1958）→ 神經網路；「梯度下降解最小平方」是深度學習訓練的最簡原型。

練習#

  1. 對例題 10.1.1，驗證 \(r = \sqrt{0.805} \approx 0.897\) 與 \(\hat{\beta}_1 = r \frac{s_y}{s_x}\) 的一致性（ \(s_x^2 = 40/9\) 、 \(s_y^2 = 21/9\) ）。
  2. 證明正規方程 \(\hat{\beta} = (X^\top X)^{-1} X^\top y\) 使殘差平方和最小（對 \(\beta\) 求導、檢查凸性），並說明殘差向量與 \(\hat{y}\) 正交（幾何詮釋）。
  3. 兩個解釋變數高度相關（ \(r = 0.95\) ）：解釋為何各係數的標準誤暴漲而 \(R^2\) 幾乎不變，並討論這對「變數重要性」解讀的影響。
  4. 用 lasso 的思想說明：當 \(p > n\) 時為何需要懲罰，且 \(\ell_1\) 懲罰為何產生「精確零」而 \(\ell_2\) 不會（提示：幾何——菱形 vs. 橢圓的頂點）。
  5. 思考題：Simpson 悖論（4.2 篝場景二）在迴歸中的版本：加入混雜變數後係數反號。請設計一個藥效研究的例子（年齡為混雜），展示「邊際斜率」與「條件斜率」的差異，並討論該報告哪一個。

進階研讀：迴歸思想的五個深化場景#

場景一：從線性到廣義線性模型。Nelder–Wedderburn（1972）的 GLM 統一了：常態（線性回歸）、二項（邏輯回歸, Cox 1958）、Poisson（計數回歸）——以連結函數 \(g(\mathbb{E}[y]) = X\beta\) 擴張最小平方思想，以 IRLS（迭代重加權最小平方 = Fisher scoring）求解。GLM 是現代統計軟體的骨幹（glm() 的四十年）。

場景二：穩健迴歸與離群值。最小平方對離群值過敏（平方放大極端殘差）。Huber 的 M 估計（1964，8.1 篝場景四）、LAD（最小絕對偏差，Laplace 1793 曾主張！）以損失函數的選擇控制穩健性；RANSAC（1981，電腦視覺）以隨機子集投票對抗大比例噪聲——「損失函數的設計」成為建模的顯式選項。

場景三：混合效應與縱貫數據。重複測量（同一人多次觀測）違反獨立性（4.1 篝）；混合效應模型（Laird–Ware 1982）以「固定效應 + 隨機效應」建模組內相關，其「隨機效應的收縮」正是分層貝氏（9.3 篝場景一）的頻率版。教育（學生嵌套於學校）、醫學（療程嵌套於病人）、面板經濟學共用此框架。

場景四：因果迴歸的工程化。Rubin 的潛在結果框架（1974）與 Pearl 的圖模型（1995）把「因果效應」變成可計算量：傾向分數匹配（Rosenbaum–Rubin 1983）、雙重差分、工具變數——觀測資料上「逼近隨機化」。2021 年諾貝爾經濟學獎（Angrist–Imbens 的自然實驗方法）標誌「相關到因果」的計量革命成熟。

場景五：從最小平方到深度學習。神經網路的訓練 = 以 SGD 最小化損失（均方誤差或交叉熵），反向傳播是鏈鎖律（《微積分》教材 2.2 節）的規模化實現；正則化（dropout、weight decay）、早停、資料擴增全是「偏誤換方差」的變奏（8.1 篝場景五）。最小平方法的 1805 年思想——以殘差平方和定義「擬合」——以 GPU 的形式處理萬億參數，是數學史上最長壽的優化目標之一。

名詞速查表（本節出現的核心術語）#

  • 最小平方法：最小化殘差平方和的擬合原則（Legendre 1805）。
  • 迴歸係數： \(\hat{\beta}_1 = r \frac{s_y}{s_x}\) ，條件均值的斜率。
  • 正規方程： \(\hat{\beta} = (X^\top X)^{-1} X^\top y\) 。
  • Gauss–Markov 定理：BLUE——線性不偏中的方差最小者。
  • ** \(R^2\) **：解釋方差比例；單變數下 \(R^2 = r^2\) 。
  • 迴歸效應： \(\rho < 1\) 時極端值的必然回縮（Galton）。
  • 槓桿效應：外推點的預測區間寬度隨距離平方增長。
  • ridge / lasso： \(\ell_2 / \ell_1\) 正則化，收縮與稀疏。
  • GLM：廣義線性模型，連結函數的統一框架。
  • 傾向分數：觀測研究中逼近隨機化的平衡工具。

年表速查（本節涉及的關鍵年份）#

  • 1793：Laplace 最小絕對偏差思想。
  • 1801：Gauss 以最小平方找回 Ceres。
  • 1805：Legendre 發表最小平方法。
  • 1809：Gauss 誤差律與最優性。
  • 1885：Galton 迴歸與相關。
  • 1896：Pearson 相關的數學化。
  • 1921–28：Wright 家族的工具變數與路徑分析。
  • 1933：Frisch–Waugh 定理。
  • 1958：Cox 邏輯回歸。
  • 1964：Huber 穩健 M 估計。
  • 1970：ridge 迴歸。
  • 1972：Nelder–Wedderburn GLM。
  • 1983：Rosenbaum–Rubin 傾向分數。
  • 1996：Tibshirani lasso。
  • 2001：Breiman「兩種文化」。

深化問答三則#

問：最小平方「最小化的是什麼」比「怎麼算」更重要嗎？ 答：重要得多。算法（正規方程、QR、SGD）只是求解器；目標函數的選擇（平方 vs. 絕對值 vs. Huber vs. 極大概似）定義了「什麼算擬合好」，直接決定估計的統計性質（效率、穩健、貝氏對應）。Fisher 的概似視角（8.2 節）把兩者統一：常態誤差下 MLE = 最小平方——損失函數 = 誤差分布的負對數。理解這一點，機器學習的損失設計（focal loss、contrastive loss）就不再神秘：都是在為「誤差的真實分布」建模。

問：Galton 的迴歸效應與「 regress 治療後回歸平均」如何區分？ 答：兩者是同一數學的不同語義。Galton 的 \(\rho < 1\) 迴歸是總體層面的必然（父母極端、兒子趨中），不需要任何因果機制；「治療後回歸」是個體層面的選擇偏誤（因極端症狀而就診 → 症狀自然回歸 → 被誤讀為療效）。區分的工具是「對照組」（安慰劑組同樣回歸）——Fisher 1935 年隨機化設計的深層目的之一正是吸收迴歸效應。迴歸數學與實驗設計在此完成閉環。

問：為什麼「線性模型」在深度學習時代仍占教學核心？ 答：三個理由。其一，可解析性：係數、標準誤、信賴區間的完整推斷理論只在線性世界封閉（Gauss–Markov、Cramér–Rao、t/F）——它是理解「推斷是什麼」的最小完整標本。其二，對比性：神經網路的行為（過擬合、正則化、雙下降）唯有與線性基準對照才能被理解（2020 年代理論界正是用線性模型分析深度學習）。其三，承上啟下：線性模型是 GLM、混合模型、因果模型與深度學習的共同祖先——學會它的每個部件（殘差、槓桿、正則化），都是在為後繼模型買單。

（本節完）