跳轉到

4.1 聯合分布與獨立性#

本章導言#

單一隨機變數的世界過於乾淨，現實總是多變數的：身高與體重、誤差的兩個分量、連續兩天的報酬。把機率語言推廣到多維——聯合分布、邊際、條件、獨立性——是十九世紀誤差理論與二十世紀多變量統計的共同基礎。本節建立多維隨機變數的基本框架，並講述獨立性如何從「直覺假設」升格為「可檢驗的數學條件」。

聯合分布：多維的機率測度#

兩個離散隨機變數 \((X, Y)\) 的聯合 PMF：

\[ p(x, y) = P(X = x, \, Y = y), \qquad \sum_{x}\sum_{y} p(x,y) = 1. \]

連續情形的聯合密度 \(f(x,y)\) 滿足 \(\iint f = 1\) ，事件機率為區域上的二重積分（參見《微積分》教材 7.1 節）。邊際分布由聯合分布「壓掉」一個變數得到：

\[ p_X(x) = \sum_y p(x, y), \qquad f_X(x) = \int_{-\infty}^{\infty} f(x, y)\, dy. \]

歷史上這些概念的出現順序饒有趣味：Laplace 1812 年書中已熟練處理多變數誤差；Gauss 1809 年的多元誤差律（誤差向量 \(\propto e^{-Q}\) ， \(Q\) 為二次型）是聯合常態的先聲；Karl Pearson 1896 年的相關矩陣與 Galton 1885 年的雙變數身高數據，使「聯合分布」從計算工具變成實證研究的對象。二十世紀初 Kolmogorov（1933）把聯合分布定義為乘積空間上的測度，徹底完成形式化。

條件分布：切開的世界#

條件 PMF： \(p(y \mid x) = \frac{p(x,y)}{p_X(x)}\) ；條件密度：

\[ f(y \mid x) = \frac{f(x, y)}{f_X(x)}. \]

注意條件密度是 \(y\) 的合法密度（對 \(y\) 積分為 1）——條件化即「在垂直切片上重新歸一」。Bayes 定理（1.3 節）在密度世界照常成立： \(f(x \mid y) = \frac{f(y \mid x) f_X(x)}{f_Y(y)}\) 。條件分布是迴歸（10.1 節）與條件期望（4.3 節）的地基。

獨立性：互相不知道#

\(X\) 與 \(Y\) 獨立的定義：

\[ P(X \in A, \, Y \in B) = P(X \in A)\, P(Y \in B), \qquad \text{對一切（可測）} A, B. \]

等價條件（依型態）：離散 \(p(x,y) = p_X(x) p_Y(y)\) ；連續 \(f(x,y) = f_X(x) f_Y(y)\) ；一般情形 \(F(x,y) = F_X(x) F_Y(y)\) 。由條件分布看，獨立即 \(f(y \mid x) = f_Y(y)\) ——條件不改變信念。

三個關鍵的推論與陷阱：

  1. 獨立 \(\Rightarrow\) \(\mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y]\) （因 \(\iint xy\, f_X f_Y = \int x f_X \int y f_Y\) ），但反方向不成立——「不相關 \(\neq\) 獨立」是統計學最重要的口訣（4.2 節）。
  2. 獨立對函數封閉： \(X \perp Y\) 時 \(g(X) \perp h(Y)\) ；但「 \(X \perp Y\) 、 \(X \perp Z\) 、 \(Y \perp Z\) 兩兩獨立」不能推出聯合獨立（Bernstein 例子：擲公平硬幣兩次， \(X, Y\) 各記面值， \(Z = X \oplus Y\) ；三者兩兩獨立， \(Z\) 卻由 \(X, Y\) 完全決定）。
  3. 樣本空間中「不相交的事件」不必獨立——獨立性是測度的性質而非集合的性質，這個澄清是 Kolmogorov 公理觀的功勞。

獨立性的歷史值得記述：十七世紀的計算已隱含假設「各局互不影響」，但獨立性作為明確概念直到十九世紀才被命名（Cournot 1843 年《機遇與偶然性理論的說明》首次清晰陳述）；Émile Borel（1871–1956） 1909 年的強大數法則與 Kolmogorov 1933 年的「獨立 \(\sigma\) -代數」定義，把獨立性鑄成現代形式；而 de Finetti 1937 年的表示定理揭示： iid 假設等價於「可交換性 + 混合」，主觀貝氏學派由此證明「客觀的獨立假設」竟是主觀信念結構的投影——這是獨立性概念史上最深刻的轉折（9.3 節）。

聯合常態：獨立與不相關的黃金例外#

二元常態分布：

\[ f(x, y) = \frac{1}{2\pi \sigma_X \sigma_Y \sqrt{1 - \rho^2}} \exp\left(-\frac{1}{2(1 - \rho^2)}\left[\frac{(x - \mu_X)^2}{\sigma_X^2} - \frac{2\rho (x - \mu_X)(y - \mu_Y)}{\sigma_X \sigma_Y} + \frac{(y - \mu_Y)^2}{\sigma_Y^2}\right]\right). \]

它由五個參數 \((\mu_X, \mu_Y, \sigma_X, \sigma_Y, \rho)\) 決定， \(\rho\) 即相關係數（4.2 節）。關鍵定理：二元常態中， \(\rho = 0 \iff\) 獨立。這使「不相關 \(\neq\) 獨立」的一般口訣在常態世界獲得例外豁免——原因在於二元常態密度中交叉項的係數恰由 \(\rho\) 控制， \(\rho = 0\) 時密度直接因式分解為兩個一元常態之積。這個例外是迴歸分析與高斯過程（機器學習的核心工具）能以「協方差矩陣」完整刻畫相依結構的原因。

一個具體例題#

例題 4.1.1：設 \((X, Y)\) 的聯合密度為

\[ f(x, y) = \begin{cases} 8xy, & 0 < x < y < 1, \\ 0, & \text{其他}.\end{cases} \]

(a) 驗證歸一性；(b) 求邊際 \(f_X, f_Y\) ；(c) \(X\) 與 \(Y\) 獨立嗎？(d) 求條件密度 \(f(y \mid x)\) 。

解：

(a) 支撐區為三角形 \(\{0 < x < y < 1\}\) ：

\[ \int_0^1 \int_0^y 8xy \, dx \, dy = \int_0^1 8y \cdot \frac{y^2}{2}\, dy = \int_0^1 4y^3\, dy = 1. \checkmark \]

(b) 邊際：

\[ f_X(x) = \int_x^1 8xy\, dy = 8x \cdot \frac{1 - x^2}{2} = 4x(1 - x^2), \qquad 0 < x < 1; \]
\[ f_Y(y) = \int_0^y 8xy\, dx = 8y \cdot \frac{y^2}{2} = 4y^3, \qquad 0 < y < 1. \]

(c) 檢驗 \(f(x,y) \stackrel{?}{=} f_X(x) f_Y(y)\) ：

\[ f_X(x) f_Y(y) = 4x(1 - x^2) \cdot 4y^3 = 16 x y^3 (1 - x^2) \neq 8xy. \]

且支撐區本身相依（ \(x < y\) 的限制把兩變數綁在一起）—— \(X, Y\) 不獨立。

(d) 條件密度：

\[ f(y \mid x) = \frac{8xy}{4x(1 - x^2)} = \frac{2y}{1 - x^2}, \qquad x < y < 1. \]

這是支撐在 \((x, 1)\) 上的密度（不是 \((0,1)\) ！）——條件分布的支撐隨 \(x\) 變化，是相依性的直觀表現：知道 \(X\) 大，就知道 \(Y\) 至少那麼大。

歷史啟示#

  • 從算術假設到測度定義：獨立性花了一百五十年從「賭局的顯然假設」變成「對一切事件的分解式」，概念的精確化是學科成熟的標尺。
  • 條件分布的支撐陷阱：例題中 \(f(y \mid x)\) 的支撐隨 \(x\) 變化，提醒條件化不僅改形狀、也改定義域——忽略這點是建模的常見錯誤。
  • 兩兩獨立的詐欺：Bernstein 的例子說明直覺的「彼此無關」與數學的「聯合分解」有深溝；多變數世界裡的獨立性必須整體驗證。
  • 例外孕育傳統：二元常態的「 \(\rho = 0 \Rightarrow\) 獨立」例外，直接造就了以協方差矩陣為中心的整個線性統計傳統。

與其他章節及領域的關聯#

  • 1.3 節：條件機率的密度推廣即本節條件分布。
  • 2.2、2.3 節：獨立使動差相乘、MGF 相乘、方差相加——全部運算便利的來源。
  • 4.2、4.3 節：共變異數量化相依、條件期望給出最佳預測。
  • 5.1、5.2 節：大數法則與中央極限定理的前提正是 iid——獨立性是極限理論的入場券。
  • 6 章：馬可夫性質是「弱化版獨立」：忘記過去但保留現在——相依世界的第一步。
  • 9.3 節：de Finetti 定理：iid \(\Leftrightarrow\) 可交換，獨立性的貝氏重詮釋。
  • 機器學習：Naive Bayes 的「特徵條件獨立」假設、獨立成分分析（ICA, 1990s）、與因果發現中「條件獨立」的圖模型（Pearl, 1988）都是本節概念的大規模工程化。

練習#

  1. 擲兩顆公平骰子，設 \(X\) 為第一顆點數、 \(Y\) 為兩顆點數和。寫出 \(P(X = 3, Y = 8)\) 、 \(P(Y = 8)\) 、 \(P(Y = 8 \mid X = 3)\) ，並判斷 \(X, Y\) 是否獨立。
  2. 仿 Bernstein：擲公平硬幣兩次，定義 \(X, Y \in \{0,1\}\) 為第一、二次結果， \(Z = X \oplus Y\) 。驗證三者兩兩獨立但 \(P(X=1, Y=1, Z=1) = 0 \neq \frac{1}{8}\) 。
  3. 設 \((X,Y)\) 聯合密度 \(f(x,y) = e^{-(x+y)}\) （ \(x, y > 0\) ）。證明 \(X \perp Y\) ，求 \(P(X + Y \le 2)\) ，並用 3.3 節 Gamma 分布解釋結果。
  4. 設 \((X,Y)\) 在單位圓盤上均勻分布。求邊際 \(f_X\) ，判斷 \(X, Y\) 是否獨立，並說明「支撐區為矩形」與獨立性的關係（必要不充分？）。
  5. 思考題：Naive Bayes 分類器假設「給定類別，特徵條件獨立」，此假設幾乎總是錯的，但分類效果常出奇地好。請從「獨立性假設的錯誤影響估計、不必然影響決策邊界」的角度討論。

進階研讀：相依結構的五個深化場景#

場景一：Copula——把邊際與相依分開。Sklar 定理（1959）：任何聯合分布可分解為「邊際 + copula（相依結構）」： \(F(x, y) = C(F_X(x), F_Y(y))\) 。高斯 copula 是 2008 年金融危機前 CDO 定價的標準工具（Li 2000 模型），危機後飽受批評——它把厚尾相依錯誤地常態化。Copula 理論教訓：邊際正確不代表聯合正確，相依結構才是風險聚合的要害。

場景二：條件獨立與圖模型。「 \(X \perp Y \mid Z\) 」是比兩兩獨立更精緻的語言：條件獨立允許「經由 \(Z\) 的間接關聯」。Pearl 的貝氏網路（1988）以有向圖編碼條件獨立結構，使高維聯合分布的因子分解可行；因果推論（do-演算, 1995）更把條件獨立讀作因果結構的簽名。獨立性從「假設」升級為「可從資料發現的結構」。

場景三：可交換性與 de Finetti 定理。序列 \(\{X_n\}\) 可交換：對任何排列不變的聯合分布。de Finetti（1937）：無窮可交換 0-1 序列存在 \(\Theta\) 使「給定 \(\Theta\) 後 iid 且 \(P(X_i = 1 \mid \Theta = \theta) = \theta\) 」。翻譯：** iid 模型 = 未知參數的先驗 + 條件獨立**。頻率學派最基礎的 iid 假設，在主觀機率框架中被證明等價於一種信念結構——兩大學派的鴻溝在此顯露出概念的底層相通。

場景四：極值的相依與漸近獨立。兩個重尾變數可以「各自厚尾但幾乎不同時極端」（漸近獨立， \(\chi = 0\) ），也可以「極端時綁定」（漸近相依）。極值相依係數的估計是保險再保（巨災共現）與系統性風險的核心技術。這顯示：相依性在不同分位段可以截然不同，全分布的 copula 語言由此不可替代。

場景五：偽獨立與有限樣本。即使母體獨立，樣本的經驗相關幾乎總是非零（抽樣噪聲）；反之，獨立性檢定（如 G 檢定、距離相關 Székely–Rizzo–Bakirov 2007）的統計功效隨樣本量增長，「未能拒絕獨立」在樣本小時幾乎沒有證據力。實務的深層教訓：獨立性是建模決策，不是可以被資料「證實」的性質——資料只能提供「不相容的證據」。

名詞速查表（本節出現的核心術語）#

  • 聯合分布： \((X,Y)\) 在 \(\mathbb{R}^2\) 上的機率測度，PMF/PDF/DF 三種表達。
  • 邊際分布：聯合分布對一變數求和／積分的結果。
  • 條件分布： \(f(y \mid x) = f(x,y)/f_X(x)\) ，垂直切片的歸一。
  • 獨立性： \(F(x,y) = F_X(x) F_Y(y)\) 對一切 \(x, y\) 。
  • 兩兩獨立 vs. 聯合獨立：前者弱於後者，Bernstein 例子。
  • 二元常態：五參數分布， \(\rho = 0 \iff\) 獨立。
  • Copula：分離邊際與相依結構的連接函數（Sklar 1959）。
  • 條件獨立： \(X \perp Y \mid Z\) ，圖模型與因果推論的基本語言。
  • 可交換性：對排列不變的聯合分布，de Finetti 定理的核心。

年表速查（本節涉及的關鍵年份）#

  • 1809：Gauss 多元誤差律（二次型指數）。
  • 1812：Laplace 系統處理多變數誤差與條件推理。
  • 1843：Cournot 首次清晰陳述獨立性概念。
  • 1885：Galton 雙變數身高數據與相關散布圖。
  • 1896：Pearson 相關矩陣與二元常態理論。
  • 1909：Borel 強大數法則（獨立序列的極限理論起點）。
  • 1933：Kolmogorov 公理化，獨立 \(\sigma\) -代數定義。
  • 1937：de Finetti 表示定理。
  • 1959：Sklar copula 定理。
  • 1988：Pearl 貝氏網路。
  • 1995：Pearl do-演算，因果條件獨立。
  • 2007：距離相關，非線性相依的檢定。

深化問答三則#

問：為什麼「兩兩獨立不等於聯合獨立」在實務上重要？ 答：因為高維系統（感測器網路、金融資產、基因）中「每對都看起來不相關」極易誘導「全體獨立」的結論，而聯合相依可以完全藏在三階以上互動裡（Bernstein 例子的精神）。極限理論的許多結果（強大數法則、不變原理）對「兩兩獨立」失效——依賴結構必須整體指定，這正是後來 copula 與圖模型兩條技術路線的動機。

問：獨立性為什麼是極限理論的「入場券」？ 答：因為獨立使方差可加（ \(\operatorname{Var}(\sum X_i) = \sum \operatorname{Var}(X_i)\) ，線性增長而非二次增長），相對波動 \(\sigma_{S_n}/\mathbb{E}[S_n] \propto 1/\sqrt{n}\) 消失——這正是大數法則的機制。一旦允許普遍相依，方差以 \(n^2\) 速率增長，平均化失效。馬可夫性質（6.2 節）是放寬獨立的最小讓步：只依賴「現在」，歷史的記憶被切斷，方差增長重新可控。

問：條件分布的「支撐隨條件變化」為什麼常被忽略？ 答：因為多數教科書例題（常態等）支撐是全實軸，條件化只改形狀不改範圍。但截斷、選擇效應（survivorship bias）場景中支撐變化是本質的：觀測到倖存的公司，其營收分布的支撐已不同。選擇效應是二十世紀統計學的重大主題（Wald 的選擇性推論、海難倖存者偏差的經典敘事），根源正是條件分布的支撐幾何。

（本節完）