第 5 章 霍夫曼與克勞德·香農：資訊理論與資料壓縮演算法的破曉#
本章導言#
信息可以被度量嗎？壓縮存在極限嗎？香農回答了第一問，霍夫曼回答了第二問的最優解。本章三節：5.1 香農熵；5.2 霍夫曼編碼的誕生；5.3 無損壓縮的工程譜系。
5.1 克勞德·香農（Claude Shannon）：在貝爾實驗室用數學精準定義「資訊熵」，為所有數據傳輸奠定極限#
5.1.1 1948 年的兩篇奇蹟論文#
香農（1916–2001，MIT 博士：把布爾代數用於開關電路——2.3 邏輯自動化之路的直系）1948 年在 Bell System Technical Journal 發表《A Mathematical Theory of Communication》。核心定義：資訊量＝不確定性的消除。
\[ H(X) = -\sum_i p_i \log_2 p_i \quad \text{（單位：bit）} \]
三大定理：無損壓縮極限（熵編碼定理：平均碼長可逼近但不可低於熵）、有噪信道編碼定理（存在糾錯碼使傳輸錯誤率任意小）、信道容量公式 \(C = B\log_2(1+S/N)\)。
5.1.2 為什麼「熵」選得如此漂亮#
- 它與統計力學的 Boltzmann 熵同構（von Neumann 建議香農用 entropy 一名的著名軼事：一方面概念相同，另一方面「沒人知道熵是什麼，你在辯論中永遠佔優」——此軼事為口述流傳）；
- 它使「資訊」脫離語義（香農明言與意義無關），成為可工程化的物理量——所有編解碼、存儲、傳輸的工程極限自此有數。
5.1.3 從理論到產業#
香農的同事 Richard Hamming（1950）立刻造出糾錯碼（Hamming 碼）——AT&T 長途電話、後來的 CD、深空通信、Wi-Fi 全部建立在其定理之上。1949 年香農發表《Communication Theory of Secrecy Systems》證明一次一密（OTP）的完美保密性——密碼學同時獲得數學基礎（6 章的伏筆）。
5.1.4 前因後果#
- 前因：電話網工程需求＋布爾邏輯＋統計力學。
- 事件：1948 資訊理論、1950 Hamming 碼、1949 保密系統理論。
- 後果：一切數位通信與存儲的理論地基；5.2 霍夫曼即為「逼近熵」的第一個優雅演算法。
下一節：5.2 霍夫曼編碼