跳轉到

4.2 共變異數與相關係數#

本章導言#

獨立性是全有全無的判斷，科學需要的是程度：「身高與體重關聯多強？」1885 年 Galton 的散布圖與 1896 年 Pearson 的公式給出答案——相關係數 \(r\) 。這個十九世紀末的發明把「關聯」變成可計算、可比較、可檢定的數字，催生了整個相關分析與迴歸傳統，也帶來了「相關不等於因果」這個至今仍在流傳的警語。本節介紹共變異數、相關係數及其歷史。

共變異數：同向波動的度量#

兩個隨機變數的共變異數：

\[ \operatorname{Cov}(X, Y) = \mathbb{E}\left[(X - \mu_X)(Y - \mu_Y)\right] = \mathbb{E}[XY] - \mu_X \mu_Y. \]

它度量 \(X, Y\) 偏離各自均值時是否同向（正）、反向（負）或無系統關係（零）。基本性質：

  • 雙線性： \(\operatorname{Cov}(aX + b, cY + d) = ac\, \operatorname{Cov}(X, Y)\) 。
  • 對稱： \(\operatorname{Cov}(X,Y) = \operatorname{Cov}(Y,X)\) ； \(\operatorname{Cov}(X, X) = \operatorname{Var}(X)\) 。
  • 平方和公式的推廣： \(\operatorname{Var}(X + Y) = \operatorname{Var}(X) + \operatorname{Var}(Y) + 2\operatorname{Cov}(X, Y)\) ——相依使風險相加放大或抵消，這是投資組合理論（Markowitz 1952）的全部數學核心。
  • Cauchy–Schwarz 不等式： \(|\operatorname{Cov}(X, Y)| \le \sigma_X \sigma_Y\) ，由 \(\mathbb{E}[(t(X-\mu_X) + (Y-\mu_Y))^2] \ge 0\) 的判別式證得。

相關係數：無單位的關聯度#

共變異數有單位（ \(X, Y\) 單位的乘積），不便比較。Pearson 相關係數標準化之：

\[ \rho_{XY} = \frac{\operatorname{Cov}(X, Y)}{\sigma_X \sigma_Y}, \qquad -1 \le \rho \le 1. \]

\(\rho = \pm 1\) 當且僅當 \(Y = aX + b\) 線性關係精確成立（由 Cauchy–Schwarz 等號條件： \(X - \mu_X\) 與 \(Y - \mu_Y\) 線性相依）。 \(\rho\) 對線性變換不變（ \(X \to aX + b\) 、 \(Y \to cY + d\) 時 \(\rho\) 不變， \(a, c\) 同號時），這使它成為跨尺度可比較的純數字——十九世紀末統計學最成功的發明。

歷史脈絡：Galton 1885 年在「身高遺傳」研究（父子身高散布圖）中提出「co-relation」並以圖形定義；數學公式由 Francis Edgeworth（1885 年起）與 Karl Pearson（1896 年《數學貢獻到進化理論》）完成，故稱 Pearson 相關。Pearson 的學生 G. Udny Yule（1900 年前後）把它帶入社會科學計量。Galton 更深的洞見是迴歸效應：兒子身高對父親身高的迴歸線斜率 \(\rho \frac{\sigma_{\text{子}}}{\sigma_{\text{父}}} < 1\) ，極端父親的兒子趨向群體平均——「向平均回歸」（regression to the mean）一詞由此進入科學，日後更成為所有縱貫研究的混雜陷阱名稱。

不相關不等於獨立#

\(\rho = 0\) 只排除線性關係。經典反例： \(X \sim U(-1, 1)\) 、 \(Y = X^2\) ，則 \(\mathbb{E}[XY] = \mathbb{E}[X^3] = 0\) （奇函數對稱），故 \(\rho = 0\) ，但 \(Y\) 由 \(X\) 完全決定——關聯至極卻相關為零。一般口訣「不相關 \(\neq\) 獨立」的唯一常態例外見 4.1 節。

譜系補充：十九世紀末還發生了相關係數的「正當性論戰」——Kar Pearson vs. Spearman：Spearman（1904）以相關矩陣的秩結構發展因子分析，Pearson 與學生攻擊其「精神能量」解釋，兩派論戰二十年。同期 Charles Spearman 等級相關（1904）提供了對離群值穩健的替代品（以秩代替值），這是「穩健統計」的先聲（Huber 1964 年的 M 估計是其二十世紀集大成）。

樣本相關與其危險#

實務中 \(\rho\) 未知，以樣本相關 \(r\) 估計。三個著名的陷阱，每個都鑄造了歷史教訓：

  1. 偽相關（spurious correlation）：兩個時間序列各有趨勢（都隨時間成長），相關極高卻毫無因果（Yule 1926 年《為什麼我們有時得到無意義的相關》的經典論文）。二十世紀計量經濟學的共整合理論（Engle–Granger 1987）是正式解藥。
  2. 範圍限制：若在 \(X\) 的窄區間內計算相關， \(|r|\) 會遠低於全域值（薄霧效應）——教育測驗效度研究的標準課題。
  3. 離群值主導：單一極端點可以翻轉 \(r\) 的符號（Anscombe 1973 年的四組數據：相同 \(\bar{x}, \bar{y}, s_x, s_y, r\) ，圖形天差地遠——統計學最著名的「先畫圖」教材）。

一個具體例題#

例題 4.2.1：設 \((X, Y)\) 服從例題 4.1.1 的聯合密度 \(f(x,y) = 8xy\) （ \(0 < x < y < 1\) ）。求 \(\operatorname{Cov}(X, Y)\) 與 \(\rho\) ，並判斷關聯方向與強度。

解：由 4.1 節已知 \(f_X(x) = 4x(1 - x^2)\) 、 \(f_Y(y) = 4y^3\) 。

先求各動差：

\[ \mathbb{E}[X] = \int_0^1 x \cdot 4x(1 - x^2)\, dx = 4\left(\frac{1}{3} - \frac{1}{5}\right) = \frac{8}{15}, \]
\[ \mathbb{E}[Y] = \int_0^1 y \cdot 4y^3\, dy = \frac{4}{5}, \]
\[ \mathbb{E}[XY] = \int_0^1 \int_0^y xy \cdot 8xy \, dx\, dy = \int_0^1 8y^2 \cdot \frac{y^3}{3}\, dy = \frac{8}{3} \cdot \frac{1}{6} = \frac{4}{9}. \]
\[ \operatorname{Cov}(X, Y) = \frac{4}{9} - \frac{8}{15} \cdot \frac{4}{5} = \frac{4}{9} - \frac{32}{75} = \frac{100 - 96}{225} = \frac{4}{225} \approx 0.0178 > 0. \]

方差：

\[ \mathbb{E}[X^2] = 4\left(\frac{1}{4} - \frac{1}{6}\right) = \frac{1}{3}, \qquad \operatorname{Var}(X) = \frac{1}{3} - \left(\frac{8}{15}\right)^2 = \frac{1}{3} - \frac{64}{225} = \frac{11}{225}; \]
\[ \mathbb{E}[Y^2] = 4 \cdot \frac{1}{6} = \frac{2}{3}, \qquad \operatorname{Var}(Y) = \frac{2}{3} - \frac{16}{25} = \frac{2}{75}. \]
\[ \rho = \frac{4/225}{\sqrt{11/225} \cdot \sqrt{2/75}} = \frac{4/225}{\frac{\sqrt{22}}{75}} = \frac{4}{3\sqrt{22}} \approx 0.284. \]

解讀： \(\rho \approx 0.28\) 呈中度正相關——這當然由支撐區 \(x < y\) 強制同向（ \(X\) 大則 \(Y\) 至少一樣大）。此例示範：相關係數可以在結構性相依（支撐限制）下數值不大—— \(\rho\) 度量的是線性同步程度，不是相依的「存在性」。看懂這一點，就能理解為何 Anscombe 數據會震驚世人：同一個 \(\rho\) 可以對應天差地遠的相依結構。

歷史啟示#

  • 把關聯變成數字是科學革命：在 Galton 之前，「關聯」只有定性語言； \(\rho\) 使遺傳、心理、社會、經濟首次可量化比較。十九世紀末的統計學革命本質上是「發明了正確的尺度」。
  • 迴歸效應的雙面性：向平均回歸既是真實數學現象（ \(\rho < 1\) 時必然），也成為因果誤判的溫床（治療後回歸平均被誤讀為療效）——同一個數學事實可以是洞見也可以是陷阱。
  • ** \(\rho\) 的哲學侷限**：相關係數只看線性投影，對 \(Y = X^2\) 這種完美相依給零分。這促成了互資訊（Shannon 1948）、距離相關（2007）等超越線性的相依度量——工具的侷限定義了下一代工具的議程。
  • 論戰推進科學：Pearson–Spearman 因子分析之爭、Yule 偽相關之問，顯示統計學的發展伴隨對自身工具的持續懷疑。

與其他章節及領域的關聯#

  • 4.1 節：共變異數是獨立性的「一階影子」；二元常態的 \(\rho\) 兼任獨立指標。
  • 4.3 節：最佳線性預測的係數正是 \(\rho \frac{\sigma_Y}{\sigma_X}\) ——迴歸直線的機率形式。
  • 2.2 節：方差是共變異數的自反特例；Chebyshev 譜系使用同一平方技術。
  • 10.1 節：最小平方法的正規方程以樣本共變異數矩陣為核心； \(R^2 = r^2\) 連結迴歸與相關。
  • 金融：Markowitz 1952 年把「均值—共變異矩陣」變成投資學語言；Beta 係數（資產對市場的迴歸斜率）是相關的工程化身。
  • 因果推論：Pearl（1995）的 do-演算明確區分「觀測相關」與「干預效應」——相關係數的百年教訓被形式化為因果圖語言。

練習#

  1. 設 \(X \sim U(-1, 1)\) 、 \(Y = X^2\) 。計算 \(\operatorname{Cov}(X, Y)\) 、 \(\rho\) ，並驗證「完全相依但相關為零」。
  2. 證明 \(\operatorname{Var}(X + Y) = \operatorname{Var}(X) + \operatorname{Var}(Y) + 2\operatorname{Cov}(X,Y)\) ，並解釋 \(\rho = -1\) 時「完美避險」的意義。
  3. 由 Cauchy–Schwarz 導出 \(|\rho| \le 1\) ，並證明 \(\rho = 1 \iff\) 存在 \(a > 0, b\) 使 \(P(Y = aX + b) = 1\) 。
  4. 對例題 4.2.1，計算 \(\operatorname{Var}(X + Y)\) 並驗證平方和公式；再解釋為何 \(X + Y\) 的方差小於「獨立假設下」的值。
  5. 思考題：Yule 1926 年警告時間序列的偽相關。請舉一個現代實例（如兩個皆上升的指標），說明趨勢如何偽造相關，並討論「差分」或「去趨勢」處理的原理與風險。

進階研讀：相依度量的五個深化場景#

場景一：共變異矩陣與幾何。 \(n\) 維隨機向量的共變異矩陣 \(\Sigma\) 是半正定的對稱矩陣，其特徵分解 \(\Sigma = Q\Lambda Q^\top\) 定義主成分（Pearson 1901、Hotelling 1933）：最大特徵值方向是數據散布最大的方向。相關矩陣是標準化的 \(\Sigma\) 。PCA 至今是資料科學最常用的降維工具，其全部幾何都是本節數學的線性代數化身。

場景二：條件相關與 Simpson 悖論。全域相關 \(\rho(X, Y)\) 可以與分組條件相關符號相反——Simpson 悖論（Yule 1903；Simpson 1951）：整體趨勢與每組內趨勢相反。經典實例是 1973 年 UC Berkeley 研究所錄取率（整体女低於男、系內多數系男女相近）。教訓：相關係數的值依賴你選擇的聚合層級，任何「總體相關」都隱含一個加權決策。

場景三：秩相關與穩健性。Spearman \(\rho_s\) （秩的 Pearson 相關）與 Kendall \(\tau\) （同序對比例）只依賴排序，對單調變換不變、對離群值免疫。現代極值相依分析（尾部相依係數 \(\lambda = P(X > x, Y > y \mid X > x)\) ）也基於秩語言——「看序不看值」是重尾時代的基本衛生習慣。

場景四：互資訊與非線性相依。Shannon 互資訊 \(I(X; Y) = \mathbb{E}\left[\log \frac{f(x,y)}{f_X f_Y}\right]\) 度量「知道 \(Y\) 減少多少 \(X\) 的不確定性」，捕捉一切相依（包括 \(Y = X^2\) ），且 \(I = 0 \iff\) 獨立。它把「相依」與「資訊」統一（Kullback–Leibler 散度，1.3 節場景四），成為特徵選擇（mRMR, 2005）與表示學習（InfoMax 原則）的理論核心。

場景五：Granger 因果與時代局限。Granger（1969）以「 \(X\) 的過去改進 \(Y\) 的預測」定義因果，是相關思想的時間序強化；但 2008 年金融危機與氣候科學的經驗暴露其侷限（預測性因果不等於干預性因果）。Pearl 的結構因果模型（1995 起）以「干預」 \(P(Y \mid do(X))\) 與觀測 \(P(Y \mid X)\) 的分離，完成了相關與因果的數學分野——本節的一切工具都生活在「觀測」那一側。

名詞速查表（本節出現的核心術語）#

  • 共變異數： \(\operatorname{Cov}(X,Y) = \mathbb{E}[(X-\mu_X)(Y-\mu_Y)]\) ，同向波動度量。
  • **相關係數 \(\rho\) **：標準化共變異數， \([-1, 1]\) ，線性關聯度。
  • Cauchy–Schwarz： \(|\operatorname{Cov}| \le \sigma_X \sigma_Y\) ，等號即線性精確。
  • 不相關 \(\neq\) 獨立： \(\rho = 0\) 只排除線性關係；二元常態例外。
  • 迴歸效應： \(\rho < 1\) 時極端值後代趨向平均（Galton）。
  • 偽相關：共同趨勢或第三變數造成的非因果相關（Yule 1926）。
  • Simpson 悖論：聚合層級改變使相關方向反轉。
  • Spearman 等級相關：以秩計算的穩健相關。
  • 共變異矩陣：多變數協方差的矩陣，主成分分析的原料。

年表速查（本節涉及的關鍵年份）#

  • 1885：Galton 提出相關概念與父子身高散布圖。
  • 1885 起：Edgeworth 給出相關的數學公式。
  • 1896：Pearson《數學貢獻到進化理論》，相關係數公式化。
  • 1901：Pearson 主成分的幾何。
  • 1903、1951：Simpson 悖論（Yule、Simpson）。
  • 1904：Spearman 等級相關與因子分析。
  • 1926：Yule 偽相關論文。
  • 1933：Hotelling 主成分分析。
  • 1948：Shannon 互資訊。
  • 1952：Markowitz 投資組合理論。
  • 1969：Granger 因果。
  • 1973：Anscombe 四組數據。
  • 1995：Pearl 因果圖與 do-演算。
  • 2007：距離相關檢定。

深化問答三則#

問：為什麼相關係數對線性變換不變如此重要？ 答：因為科學數據的「單位」是任意的（攝氏 vs. 華氏、公尺 vs. 英尺），關聯度若隨單位改變就失去跨研究可比性。 \(\rho\) 的尺度無關性使「本世紀教育與收入的相關」可以和「另一世紀的相關」直接比較——這種「無量綱化」是統計學對科學方法論的核心貢獻之一（標準化 z 分數、效量 d、Cramér's V 皆同構）。

問：Galton 的迴歸效應為什麼常被誤讀？ 答：因為「向平均回歸」在語義上像因果（「兒子被拉向平均」），數學上卻只是對稱的幾何事實：若父子身高相關 \(\rho < 1\) ，則兒子對父親、父親對兒子的迴歸線都低於 \(\frac{1}{1}\) 斜率——誰也不「拉」誰。誤讀的代價是真實的：評優獎勵後「表現下滑」、懲罰後「表現回升」的觀察，多半是迴歸效應而非獎懲效應，Kahneman 對飛行教練的著名分析即此。

問：相關係數發明一百三十年後，為什麼還沒有被更好的工具取代？ 答：因為它在三個約束下接近最優：可計算（一個動差公式）、可解釋（線性投影的解釋方差 \(r^2\) ）、可推論（Fisher 1915 年的 \(r\) 抽樣分布、z 變換）。更完備的工具（互資訊、距離相關）需要更多數據與假設。統計工具的存活法則與生物一樣：不是最完備者生存，而是最適合大多數情境使用者者生存。

（本節完）