跳轉到

10.3 資訊理論的擴張#

導言：從一條通道到萬物互聯#

Shannon 1948 的模型是「一個信源、一條通道、一個收信者」。七十五年後，資訊理論已擴張到：多用戶網路、無線空間自由度（MIMO）、極化碼、量子通道、生物序列、神經網路與智慧本身。本書最後一節是一次地圖巡禮：每個前沿都保留 Shannon 的骨架（熵、互資訊、隨機編碼、圖上的訊息），同時長出新的數學。

網路資訊理論：多於一條通道#

核心模型與成果#

模型 描述 代表結果
多址接入通道（MAC） 多用戶同時發 容量域 \(\sum R_i < C\) 的多面體（Cover 1972）；蜂窩上行
廣播通道 一發多收 超位置編碼（superposition）、Marton 編碼（1979）；下行
中繼通道 經中繼轉發 Cover–El Gamal（1979）界；合作通訊
干擾通道 互為干擾 Han–Kobayashi（1981）；Etkin–Tse–Wang 的高斯容量近似（2008）
分佈式信源 Slepian–Wolf（1973）、Wyner–Ziv（1976） 邊資訊下的壓縮極限

核心驚奇：MAC 的和容量不需要用戶輪流——同時發射 + 連續干擾消除（SIC）可達容量和；廣播的超位置讓強用戶「免費」解出弱用戶的訊息。網路理論顛覆了「資源要分時分頻」的直覺。未解：一般中繼/干擾/回授通道的精確容量至今懸而未決——資訊理論仍有大片處女地。

例題：MAC 容量域#

兩用戶 AWGN MAC，各功率 \(P\) 、雜訊 \(N\) ：

\[ R_1 \le \tfrac12 \log(1 + P/N),\quad R_2 \le \tfrac12 \log(1 + P/N),\quad R_1 + R_2 \le \tfrac12 \log(1 + 2P/N) \]

\(P/N = 10\) 時：單用戶上限 1.73 bps/Hz，和容量 \(0.5\log_2(21) = 2.20\) ——兩人共享比輪流（ \(2 \times 1.73\) 若各半頻寬則 \(1.73\) ）多 27%。這個幾何差異就是 5G NOMA 與 SIC 接收機的理論根源。

MIMO 與空間自由度#

Foschini（1996）與 Telatar（1995/1999）： \(t\) 發 \(r\) 收天線、矩陣通道 \(\mathbf{H}\) ：

\[ C = \log_2 \det\!\left(\mathbf{I} + \frac{\mathrm{SNR}}{t} \mathbf{H}\mathbf{H}^\dagger\right) \]

容量隨 \(\min(t, r)\) 線性成長（豐富散射下）——頻譜效率的自由度從「Hz」擴展為「空間維度」。5G 大規模 MIMO（64–256 天線）把此式發揮到極致：波束成形在空間上分割用戶，等效於空分多址。數學核心 = 奇異值分解（8.3 節的對角化哲學）+ 隨機矩陣理論（大 \(t, r\) 時特徵值分佈收斂到 Marchenko–Pastur 律——隨機矩陣理論成為無線資訊理論的分析語言）。

極化碼：Shannon 的最後一塊拼圖#

Arikan（2008）發現：對 B-DMC 通道做通道合併與分裂（ \(N\) 次遞迴），產生 \(N\) 個子通道，其容量極化——部分趨於 1（完美）、部分趨於 0（全廢），比例恰為 \(C\) 。只用完美子通道傳資料、廢棄其餘：

\[ \text{率可達 } C \text{（漸近），解碼複雜度 } O(N \log N) \]

第一個被嚴格證明在二元通道上達到香農容量、且解碼複雜度低的多項式碼。5G 控制通道（2016 標準化）採用 Polar 碼——Arikan 因此獲 2023 年香農獎。理論上，極化是「通道本身的資訊理論相變」，與 LDPC 的密度進化閾值（10.2 節）遙相呼應；實務上，極化在短碼勝、LDPC 在長碼勝——兩者分治了 5G。

量子資訊理論#

經典工具的量子版：

  • von Neumann 熵 \(S(\rho) = -\mathrm{tr}(\rho \log \rho)\) 。
  • 量子互資訊、量子相對熵、Holevo 界（一個量子位元至多傳 \(\log d\) 經典位元）。
  • 量子通道容量：相干資訊 \(Q = \max(S(B) - S(B|A))\) 型公式；degradable 通道有單字母解，一般通道的加性問題仍開放（量子容量的加性猜想是本領域最大的未解問題）。
  • 量子糾錯：Shor 碼（1995）、表面碼（surface code，容錯量子計算的主選）——經典 LDPC 的量子版（量子 LDPC，2020s 熱點）。

本書工具的延伸：典型序列 → 典型子空間（Schumacher 壓縮）；資料處理不等式在量子中對條件熵的修正催生新的資訊不等式；9.1 節的 \(\mathbb{F}_4\) 是穩定子碼的代數舞台。

生物與神經資訊#

  • DNA 序列：基因組壓縮（LZ 的生物版）、突變模型下的率失真、DNA 儲存的刪除碼（7.3 節）。
  • 神經編碼：視神經每秒約 \(10^6\) 位元級的資訊率（Koch 等估計）；感覺系統的有效編碼假說（Barlow 1961）：神經表徵最大化互資訊、最小化冗餘——與稀疏編碼、壓縮感知（8.1 節）同構。
  • 費米問題式的驗證：視網膜的取樣（8.1 節）、聽覺的對數頻率映射（μ 律量化的生物預演，8.2 節）——演化是壓縮工程師。

機器學習時代的資訊理論#

資訊瓶頸（Tishby–Pereira–Bialek 1999）#

表示學習的目標：壓縮 \(I(X;T)\) 小、預測 \(I(T;Y)\) 大：

\[ \min_T \; I(X;T) - \beta\, I(T;Y) \]

對高斯與離散情況有解析解（類比率失真水填充，8.2 節）；對深網的適用性仍有爭論（binning 估計的偏差），但它是「表示 = 有損壓縮」最清晰的理論框架。

其他交匯#

主題 資訊論角色
交叉熵訓練（3.3 節） 深度學習的預設損失
困惑度（3.2 節） 語言模型的評分 = \(2^{H}\)
VAE / 神經壓縮（8.2 節） 率失真的端到端學習
GAN 的散度視角（3.3 節） f-divergence 家族
互資訊神經估計（MINE 2018） 連續互資訊的可微估計
隱私（差分隱私） 互資訊/相互資訊洩漏度量（9.3 節的延伸）
神經解碼器（10.1、10.2 節） 學習 BP 的訊息函數
語義通訊（6G） 傳「意義」而非位元——回應 1.3 節 Shannon 的「語義排除」，70 年後的挑戰

壓縮即智慧：Hutter Prize（壓縮維基百科測智慧）、Solomonoff 歸納與 AIXI（理論智慧的極限模型）——「最佳預測 = 最佳壓縮 = 通用智慧」是本書第 2–5 章在哲學層面的終點線。

未解問題清單（讀者的獵場）#

  1. 一般中繼通道與干擾通道的容量。
  2. 量子容量的加性/反加性問題。
  3. 有限碼長的多用戶理論（4.3 節的推廣）。
  4. LDPC 錯誤地板的完整組合理論。
  5. 語義資訊的數學：如何度量「意義」而不退回工程約定？
  6. 神經網路的泛化：互資訊界（資訊瓶頸式）是否對深網有效？
  7. 生物系統的資訊效率：演化是否逼近熱力學–資訊極限（Landauer，3.1 節）？

歷史前因後果#

譜系與獎章#

  • 1948 Shannon → 1966 Fano、1968 Gallager（教學化）→ 1972–1981 Cover–Thomas、網路理論 → 1993 Turbo、1996 LDPC 復活 → 2001 密度進化 → 2008 極化 → 2010s 網路編碼（Ahlswede–Cai–Li–Yeung 2000：路由改為線性組合）、MIMO 理論成熟 → 2020s 量子 LDPC、神經解碼、語義通訊。
  • 香農獎（IEEE）得主軌跡即本書地圖：Gallager（1983）、McEliece（2004）、Cover（1990）、Urbanke（2011）、Telatar（2018）、Arikan（2023）、Loeliger/Kschischang/Frey（2024）等。

本書的閉環#

1.1 電報的碼本 → 1.3 Shannon 的抽象 → 2–3 章機率與熵 → 4 章極限 → 5 章壓縮演算法 → 6–7 章代數除錯 → 8 章連續世界 → 9 章數學工具 → 10 章「極限被抵達」。資訊理論的故事，是「工程直覺 → 數學抽象 → 極限定理 → 演算法兌現 → 標準與晶片 → 新邊疆」的螺旋。

與其他領域的關聯（總整理）#

領域 本書中的體現
機率統計 第 2–3 章、4.3 的 AEP/Fano、3.3 的檢定理論
線性代數 6.1 的 \(G/H\) 、9.1 有限體、10.3 MIMO 的 SVD
抽象代數 7.1–7.2 循環碼/BCH/RS、9.3 碼基密碼
傅立葉分析 1.2/8.1 取樣、8.3 OFDM、7.2 RS 的頻域觀點
圖論 9.2 因子圖、10.2 Tanner 圖
統計力學 3.1 最大熵、10.2 密度進化、Bethe 自由能
計算複雜度 6.2 NP-hard 解碼、9.3 McEliece、PCP
微分幾何 3.3 資訊幾何、10.3 延伸
神經科學 10.3 有效編碼、感覺取樣

小結與思考題#

資訊理論從「一條通道」長成「資訊的普適科學」：網路理論重塑資源共享、MIMO 把自由度搬進空間、極化碼證明容量可達、量子與生物擴大疆域、機器學習把熵變成每日訓練損失。Shannon 1948 留下的不是一套完成的作品，而是一套會生長的語法——本書的 30 個小節只是這門語法的前十課。

思考題

  1. 用 MAC 容量域解釋：為什麼 5G 的 NOMA + SIC 可以比 OFDMA 更有效率？何時 OFDMA 反而更好？
  2. 推導 MIMO 容量在 \(t = r = 2\) 、 \(\mathbf{H} = \mathbf{I}\) 時的值，並與 SISO 比較（SNR 相同、總功率相同）。
  3. 極化碼為什麼在短碼（幾十位元）上勝過 LDPC？（提示：LDPC 的密度進化是漸近理論，短碼損失大。）
  4. 資訊瓶頸的 \(\beta\) 控制什麼？ \(\beta \to 0\) 與 \(\beta \to \infty\) 各對應什麼極端？
  5. 選一個未解問題，寫 300 字的研究構想：要什麼工具、預期障礙、如何驗證。

全書終#

從 1837 年 Morse 的點與劃，到 2026 年 5G 基站的極化碼與雲端機房的 RS 糾刪碼；從一個位元的定義，到智慧與壓縮的哲學等式——資訊與通訊理論教會我們：資訊是可度量的，極限是可計算的，而極限是可以被抵達的。願你在這門語法中，找到自己的下一個定理。