3.3 互資訊與相對熵#

導言：兩個度量，一個理論#

資訊論有兩個基本「落差量」：

• 互資訊 \(I(X;Y)\) ： \(H(X)\) 與 \(H(X \mid Y)\) 之間的落差——知道 \(Y\) 後對 \(X\) 減少了多少不確定性。它度量資訊的傳遞。
• 相對熵（KL 散度） \(D(p \| q)\) ：真實分佈 \(p\) 與模型分佈 \(q\) 之間的落差。它度量分佈的距離。

Shannon 定義了互資訊；Kullback 與 Leibler（1951）命名了相對熵。兩者由一條恆等式緊密相連：

本節建立這兩個量，證明它們的基本性質，並看到它們如何成為第 4 章（容量）、第 5 章（壓縮）、第 8 章（率失真）的通用貨幣。

互資訊：三種等價形式#

三種讀法：

1. 輸入熵 − 曖昧度（通道視角，4.1 節）。
2. 輸出熵 − 雜訊熵（同，對稱）。
3. 個別熵之和 − 聯合熵（獨立的落差）。

由 2.3 節的獨立性刻劃： \(X\) 與 \(Y\) 獨立 \(\iff I(X;Y) = 0\) 。互資訊是「相依程度」的完整度量（比相關係數廣）。

對稱性與範圍#

上界： \(I = H(X) - H(X|Y) \le H(X)\) ，等號 iff \(H(X|Y) = 0\) （ \(Y\) 決定 \(X\) ）。

例題 1：BSC 的互資訊#

等可先驗、錯誤率 \(p\) 的 BSC： \(H(X) = 1\) 、 \(H(X \mid Y) = H_2(p)\) ，故

這正是 BSC 容量（因為等可先驗恰好使 \(I\) 極大）。代入 \(p = 0.1\) ： \(I = 0.531\) bits/use。

例題 2：完全相依#

\(Y = X\) ： \(H(X \mid Y) = 0\) ， \(I(X;Y) = H(X)\) ——最大值。 \(Y = 1 - X\) 同理（知道反相等於知道本身）。互資訊不关心關係的方向，只關心可預測性。

例題 3：連續變數（預告）#

高斯雜訊下的連續互資訊 \(I(X;Y) = \frac12 \log_2(1 + S/N)\) ，這是 AWGN 容量公式（4.2 節）的核心。互資訊是離散與連續理論的通用介面。

互資訊的鏈法則#

以及條件互資訊 \(I(X; Y \mid Z) = H(X \mid Z) - H(X \mid Y, Z)\) 。這些法則使多信源、多跳轉系統的資訊流可逐段計算。

資料處理不等式（DPI）#

若 \(X \to Y \to Z\) 構成馬可夫鏈，則

對訊息的任何確定性或隨機性加工，不可能增加關於源頭的資訊。 這條不等式是資訊理論的「守恆律」，解釋了：

• 串接通道的容量不增（2.3 節例題）。
• 解碼器不可能比通道輸出知道更多（第 6 章解碼器的極限）。
• 機器學習中「資訊瓶頸」理論（Tishby, 1999）：表徵學習是在 \(I(X; T)\) 與 \(I(T; Y)\) 之間取捨（10.3 節）。

例題：DPI 的數值驗證#

\(X\) 等可，經 \(p_1 = 0.1\) BSC 得 \(Y\) ，再經 \(p_2 = 0.2\) BSC 得 \(Z\) 。

• \(I(X;Y) = 1 - H_2(0.1) = 0.531\) 。
• \(I(Y;Z) = 1 - H_2(0.2) = 0.278\) 。
• 總通道等效 \(p = 0.26\) （2.3 節算過）， \(I(X;Z) = 1 - H_2(0.26) = 0.168\) 。
• 驗證 \(0.168 \le \min(0.531, 0.278)\) 。✓

相對熵（KL 散度）#

定義#

（約定 \(0 \log \frac{0}{q} = 0\) ；若 \(p(x)>0\) 而 \(q(x) = 0\) 則 \(D = +\infty\) 。）

直觀：以 \(q\) 為模型對抗真實分佈 \(p\) 時的平均額外驚訝。若用 \(q\) 編碼由 \(p\) 產生的信源，平均碼長為 \(H(p) + D(p\|q)\) 位元（Gibbs 不等式的碼長解讀）——相對熵是「用錯模型」的代價。

Gibbs 不等式：非負性#

證明（Jensen）： \(\log\) 凹，

注意： \(D\) 不對稱（ \(D(p\|q) \ne D(q\|p)\) ）且不滿足三角不等式，故不是真正的距離；但它扮演「資訊距離」的角色，且在統計學（最大似然 = 最小 KL）、機器學習（交叉熵損失）中無所不在。

例題：計算 KL 散度#

\(p = (1/2, 1/4, 1/4)\) 、 \(q = (1/4, 1/4, 1/2)\) ：

反方向： \(D(q\|p) = \tfrac14 \log_2(1/2) + 0 + \tfrac12 \log_2(2) = -0.25 + 0.5 = 0.25\) 。此例恰好對稱，但一般不對稱。

互資訊 = KL 散度的恆等式#

右式是「聯合分佈」與「獨立化的分佈」之間的 KL 散度。由 Gibbs 不等式立即得到：

1. \(I(X;Y) \ge 0\) （互資訊非負！比直接證明簡潔得多）。
2. \(I = 0\) iff \(p(x,y) = p(x)p(y)\) （獨立）。

這條恆等式統一了兩個度量，也統一了 3.2 節「知道不會更糟」的證明： \(H(X) - H(X|Y) = I(X;Y) \ge 0\) 。

相對熵的家族#

交叉熵與機器學習：分類任務以 one-hot 標籤 \(p\) 與模型輸出 \(q\) 計算損失 \(H(p, q) = -\log q(\text{正確類})\) ，最小化交叉熵 = 最小化 KL = 最大似然。深度學習每天在數十億樣本上計算這個量。

Pinsker 不等式： \(D(p\|q) \ge \frac{2}{\ln 2} \,\mathrm{TV}(p, q)^2\) ，其中 TV 是全變差距離——KL 控制統計距離，這是資訊理論與統計學收斂性證明的橋樑。

歷史前因後果#

誰、何時、為什麼#

• 1948 Shannon：定義互資訊（論文中寫作「rate of transmission」），用於通道容量。
• 1951 Kullback & Leibler：在統計假設檢定框架下提出「mean information for discrimination」（KL 散度），論文題目《On Information and Sufficiency》——他們的動機是檢定力，不是通訊。
• 1959 Kullback《Information Theory and Statistics》：系統整合，把 Shannon 資訊與 Fisher 資訊、充分性、假設檢定連成一體。
• 1956–1959 Khinchin、Pinsker：資訊不等式的嚴格化（蘇聯學派）。
• 1975 Blahut：容量與率失真的迭代計算演算法（Blahut–Arimoto），把 \(\max I\) 變成可程式化。

解決了什麼問題#

1. 容量的計算： \(C = \max_{p(x)} I(X;Y)\) ，互資訊的凹性 + 相對熵的非負性使極值問題可解（第 4 章）。
2. 模型選擇與學習：用錯模型的代價（ \(D\) ）首次可量化，導出 AIC 準則（1974）與現代交叉熵訓練。
3. 錯誤指數：通道編碼的錯誤率隨碼長下降的速率由相對熵量決定（Duman–Salehi 上界等，第 4.3 節延伸）。

引發什麼新問題#

1. \(D\) 不是距離：對稱化的需求催生 Jensen–Shannon 散度、Wasserstein 距離（生成對抗網路 GAN 的訓練訊號即是某種資訊散度，10.3 節）。
2. 連續分佈的 \(D\) 良定義但熵不一定（需 Lebesgue 密度），引出絕對連續性條件。
3. 量子版的 \(I\) 與 \(D\) （von Neumann 熵、量子相對熵）違反部分經典不等式（如條件化遞減），開啟量子資訊論（10.3 節）。

與其他領域的關聯#

統計學#

最大似然估計 = 最小化 \(D(p_\theta \| p_{\text{empirical}})\) ；Neyman–Pearson 檢定的錯誤指數 \(\lim \frac{1}{n}\log \beta = -D(p \| q)\) （Stein 引理）；Fisher 資訊是 KL 在參數擾動下的二次項： \(D(p_\theta \| p_{\theta + d\theta}) \approx \frac12 d\theta^T I(\theta) d\theta\) 。

機器學習#

資訊瓶頸（ \(I(X;T)\) 壓縮 vs \(I(T;Y)\) 預測）、t-SNE 的 KL 目標、GAN 的 f-divergence 視角、互資訊特徵選擇。第 10.3 節將詳述。

統計力學#

\(D(p \| q)\) 對應自由能差： \(D = \beta (F - F_{\text{eq}})\) ——偏離平衡的代價。第二定律的資訊版：封閉系統的 KL 不會自發增大（相對於平衡分佈）。

幾何#

資訊幾何（Amari, 1985–）：KL 定義的局部度量是 Fisher 度量，分佈族成為黎曼流形；指數族與混合族是對偶平坦座標。資訊論與微分幾何的深層融合（10.3 節）。

小結與思考題#

互資訊度量「傳遞了多少」、相對熵度量「錯了多少」；恆等式 \(I(X;Y) = D(p(x,y) \| p(x)p(y))\) 把兩者合一，Gibbs 不等式給出非負性，資料處理不等式給出守恆律。這兩把度量衡將貫穿本書剩餘所有章節。

思考題

1. 計算 3.2 節馬可夫鏈例中 \(I(X_n; X_{n+1})\) （等價於 \(H(X_{n+1}) - H(\mathcal{X})\) ），並比較其與熵率的關係。
2. 證明 \(I(X;Y) \le H(X)\) ，並舉出等號與最接近零的兩個極端例子。
3. 用 Gibbs 不等式證明 \(H(p, q) \ge H(p)\) （交叉熵 ≥ 熵），這對機器學習的損失設計有何含義？
4. 驗證 \(D(p\|q) \neq D(q\|p)\) ：用 \(p = (0.8, 0.2)\) 、 \(q = (0.5, 0.5)\) 。
5. DPI 說加工不增資訊。那為什麼「壓縮」還算資訊處理的有益操作？（提示：壓縮保資訊、除雜訊；兩者與 DPI 的關係不同。）

第 3 章完成。下一章：通道與通道容量——把互資訊發揮到極致的地方。

深入探討：相對熵的計算、資訊幾何與 f-散度家族#

一、相對熵的計算範例集（含邊界情況）#

例 1（到均勻的距離）： \(D(p \| u) = \log_2 M - H(p)\) （ \(M\) 為支集大小）。相對熵到均勻 = 熵的虧損——這條恆等式使「最大熵 = 最接近均勻」的說法嚴格化。

例 2（二元的距離）： \(p = \{0.9, 0.1\}\) 、 \(q = \{0.5, 0.5\}\) ：

反方向 \(D(q\|p) = 0.5 \log_2(0.5/0.9) + 0.5\log_2(0.5/0.1) = -0.424 + 1.161 = 0.737\) 。兩方向差 0.21 bits——不對稱性可觀。

例 3（無窮遠）： \(p\) 在 \(x_0\) 有質量而 \(q(x_0) = 0 \Rightarrow D(p\|q) = \infty\) 。支援集必須覆蓋：模型 \(q\) 若否定真實分佈的某個可能結果，代價是無窮——這是模型選擇中「不輕易排除可能性」的數學理由（平滑處理，5.3 節 PPM 的逃脫機率）。

例 4（高斯之間）： \(D(\mathcal{N}(\mu_1,\sigma_1^2) \| \mathcal{N}(\mu_2,\sigma_2^2)) = \log\frac{\sigma_2}{\sigma_1} + \frac{\sigma_1^2 + (\mu_1-\mu_2)^2}{2\sigma_2^2} - \frac12\) （nats）。方差相同時化為 \(\frac{(\mu_1-\mu_2)^2}{2\sigma^2}\) ——正比於歐氏距離平方，這是資訊幾何（第五節）的入門點。

二、f-散度：相對熵的統一推廣#

Csiszár（1967）定義 f-散度：

選不同 \(f\) 得到散度家族：

Gibbs 型不等式對整個家族成立： \(D_f(p\|q) \ge 0\) ，等號 iff \(p = q\) 。資料處理不等式也對整個家族成立（Csiszár 的凸性論證）——3.3 節 DPI 的普適性由此而來。工程含義：GAN（10.3 節）的判別器訓練在「估計密度比 \(p/q\) 」，生成器優化的是某個 \(f\) -散度；選 \(f\) 就選了「在意哪種分佈差異」。

三、互資訊的運算性質：亞可加性與條件互資訊的符號#

亞可加性： \(I(X_1, X_2; Y) \ge I(X_1; Y)\) ——多看一個變數不會減少資訊（對期望成立）。

互資訊的鏈法則（3.3 節已列）的雙向形式：

條件互資訊可正可負（與條件熵可增的情形同理）：explaining away（2.3 節）中 \(I(X;Y|Z) < 0\) 是常態。條件互資訊為零是「條件獨立」的判準，這是 9.2 節因子圖結構的資訊判據。

四、資訊幾何入門：分佈的空間#

3.3 節末提到資訊幾何，這裡給出最小可行的介紹（Amari 1985）：

1. 流形：把參數分佈族 \(\{p_\theta\}\) 視為流形（如高斯族是二維曲面，座標 \((\mu, \sigma)\) ）。
2. 度量：KL 的二階展開定義度量—— \(D(p_\theta \| p_{\theta + d\theta}) \approx \frac12 d\theta^T G(\theta) d\theta\) ，其中 \(G\) 是 Fisher 資訊矩陣。
3. 對偶平坦性：指數族與混合族提供兩組對偶座標（期望參數與自然參數），KL 成為「Bregman 散度」型。
4. 應用：自然梯度（Amari，最陡下降在 Fisher 度量下）是強化學習 TRPO 的理論根據；EM 演算法的收斂分析用對偶幾何；最大熵分佈 = 指數族的截面。

與本書的接口：3.1 節的最大熵原理（變分法）在幾何語言下是「在約束子流形上找與均勻分佈 KL 最近的點」；4.1 節 Blahut–Arimoto 的每步迭代是「交替投影」，收斂由幾何的凸性保證。

五、Chernoff 資訊與錯誤指數（預告 4.3）#

假設檢定 \(p\) vs \(q\) 、各 \(n\) 個樣本的錯誤率指數由 Chernoff 資訊控制：

\(P_{\text{error}} \approx 2^{-n C(p,q)}\) 。特殊值： \(\lambda = 1\) 給 \(D(p\|q)\) （單側錯誤指數，Stein 引理）。工程意義：信號偵測（雷達目標 vs 雜波）、密碼攻擊辨識、異常檢測——凡「分辨兩個分佈」的任務，其本質難度由 Chernoff 資訊定量。這是相對熵家族從通訊理論輸出到統計推斷的最大單一管道。

六、一個跨章的整合例：互資訊如何串起 4.2 的容量公式#

把 3.3 節的定義代入連續通道，完整重推 AWGN 容量（為 4.2 節做完整預演）：

1. 模型： \(Y = X + Z\) ， \(Z \sim \mathcal{N}(0, N)\) 獨立於 \(X\) ，功率約束 \(E[X^2] \le P\) 。
2. 互資訊： \(I(X;Y) = h(Y) - h(Y|X) = h(Y) - h(Z)\) （給定 \(X\) ， \(Y\) 的隨機性只剩雜訊）。
3. 雜訊熵： \(h(Z) = \frac12 \log_2(2\pi e N)\) （固定，與輸入無關）。
4. 輸出熵上界： \(Y\) 的方差 \(\le P + N\) ，由最大熵原理 \(h(Y) \le \frac12\log_2(2\pi e (P+N))\) ，等號在 \(Y\) 高斯時。
5. \(Y\) 高斯 + \(Z\) 高斯 ⟹ \(X\) 高斯。故

注意每一步用了第 3 章的哪件工具：步驟 2 用互資訊的熵差形式（3.3）、步驟 4 用最大熵（3.1）、步驟 3 用微分熵計算（2.2 連續版）。一個容量公式 = 三個資訊度量的聯奏——這就是為什麼第 3 章是全書的地基。

七、補充思考題#

1. 計算 \(p = \{0.8, 0.2\}\) 到 \(q = \{0.5, 0.5\}\) 的 \(D(p\|q)\) 、 \(D(q\|p)\) 、Jensen–Shannon 散度，並驗證 JS ≤ 兩方向 KL 的平均。
2. 用 f-散度的語言解釋：為什麼 TV 距離有「統計可分性」的直接意義（存在一個事件在兩分佈下機率差為 TV）？
3. 資訊幾何中，高斯族的 Fisher 度量是什麼？為什麼「均值方向」在低方差時特別「遠」？
4. 對第六節的推導：若雜訊不是高斯（例如均勻雜訊、方差同為 \(N\) ），容量是更高還是更低？用最大熵論證，並算 \(N = 1\) 、均勻雜訊 \(U[-\sqrt3, \sqrt3]\) 的差值。