1948：資訊理論 — 香農《通訊的數學理論》、熵與信道容量#

案情#

1948 年 7 月與 10 月，貝爾實驗室的克勞德・香農（Claude Shannon）在《貝爾系統技術期刊》（Bell System Technical Journal）連載發表〈通訊的數學理論〉（A Mathematical Theory of Communication）。他把通訊抽象為「訊息的統計結構」，定義了資訊熵，證明了通道編碼定理——為所有數位通訊與資料壓縮立下理論極限。1949 年該文與 Warren Weaver 的導讀合併成書，影響遍及工程與社會科學。

前因#

1938 年香農的碩士論文已建立開關電路與布林代數的等價（見前案），他在貝爾實驗室繼續思考「通訊」本身。
戰時他在貝爾實驗室從事密碼學工作（1945 年機密報告〈密碼學的數學理論〉），發現密碼與通訊共用同一數學骨架。
工程界長期困惑：頻寬 \(W\) 、功率、雜訊與可傳資訊量之間的定量關係為何？奈奎斯特（1924/28）與哈特利（1928）已給出初步結果。
TVA、雷達、脈衝編碼調變（PCM，Reeves 1938）等戰時技術迫切需要量化基礎。

線索與推理#

香農的偵探式手法是「逐步剝離」：通訊的目的是「在另一端重建訊息」，其工程本質與語義無關——這一大膽的抽象（捨棄意義、只留統計）使問題可解。接著他引入三個關鍵武器。其一，機率語言：訊息源是隨機過程，英文可由字母的一階/二階馬可夫近似描述，冗餘度（redundancy）因此可量化（英文約 75% 冗餘）。其二，熵：以 \(H = -\sum p_i \log_2 p_i\) 度量不確定性，恰好是壓縮的下限——他證明無失真壓縮不可能低於熵。其三，最震撼的定理：通道編碼定理——只要傳輸率低於通道容量 \(C\) ，就存在編碼使錯誤率任意小。當時工程界普遍認為「提高可靠度必須降低速度」，香農證明不必：用夠長的隨機碼即可。更驚人的是取樣定理的正式化：連續訊號每秒 \(2W\) 個取樣即無損，數位化有理。偵探的結論：這是「先畫出理論邊界、讓工程師花五十年去逼近」的罕見案例——今日 LDPC 碼與 Turbo 碼（1990s）終於逼近香農極限。

理論#

離散無記憶信源熵（單位：位元/符號）：

\[ H(X) = -\sum_{i} p_i \log_2 p_i \]

高斯通道容量（Shannon–Hartley 定理）：

\[ C = W \log_2\left( 1 + \frac{S}{N} \right) = W \log_2(1 + \text{SNR}) \quad \text{bits/s} \]

通道編碼定理：對任何 \(R < C\) ，存在碼 \(\{f, g\}\) 使誤碼率 \(P_e \to 0\) （碼長 \(n \to \infty\) ）；反之 \(R > C\) 則 \(P_e\) 必有下界。

取樣定理：頻寬 \(W\) 的訊號可由取樣率 \(f_s \ge 2W\) 完全重建：

\[ x(t) = \sum_{n} x\left( \frac{n}{2W} \right) \operatorname{sinc}\left( 2W t - n \right) \]

率失真理論：有失真壓縮率下界 \(R(D) = \min_{p(\hat x|x):\, E[d]\le D} I(X;\hat X)\) 。

後果#

PCM 數位化、數據機、衛星通訊、CD、Wi-Fi、5G——一切數位通訊的理論天花板皆由香農容量公式給定。
「位元」成為資訊的通用單位，催生 1950–60 年代的資訊科學與認知科學。
壓縮技術系譜：霍夫曼編碼（1952）、算術編碼、ZIP/JPEG/MP3 皆在率失真框架內。
錯誤更正碼（Hamming 1950、RS 碼、Turbo/LDPC）使深空探測與行動通訊成為可能。

冷案檔案#

時間：1948 年 7–10 月刊出，貝爾實驗室。
案由：香農定義資訊熵並證明通道編碼定理，量化通訊的極限。
歷史定位：資訊時代的理論憲章——「位元」的立法者。