跳轉到

11.2 訊息熵與化學熵的統計熱力學同構#

11.2.1 兩個熵，一條公式#

1948 年，Bell 實驗室的 Claude Shannon 為通訊問題尋找「資訊量」 的度量，寫下了

\[ H(p) = -\sum_i p_i \log_b p_i , \]

並自述曾考慮稱之為「information」，最後在 von Neumann 建議下 （傳聞是：「沒有人真正懂熵，你佔盡辯論優勢」）命名為 entropy。 這不是巧合的借用：Shannon 熵與 Gibbs（1878）的統計熵

\[ S = -k_B \sum_i p_i \ln p_i \]

在數學上完全同構，只差常數 \(k_B\) 與對數底。本節的主張是： 這不僅是形式相似，而是同一個數學物件在兩種物理場景的化身—— 「對分佈不確定性的度量」。理解這一同構，能用一套直覺同時駕馭 熱力學與資訊理論。

11.2.2 公理化：為什麼只有一種熵#

定理 11.3（Shannon–Khinchin 公理） 設泛函 \(H(p_1, \dots, p_n)\) 滿足：

  1. 連續性： \(H\) 對每個 \(p_i\) 連續；
  2. 極值性：均勻分佈時最大， \(H(1/n, \dots, 1/n)\) 隨 \(n\) 單調增；
  3. 可加性（鏈式法則）：對獨立系統 \(H(X, Y) = H(X) + H(Y)\) ；
  4. 分解性：合併機率時 $H(p_1, \dots, p_n) = H(p_1 + p_2, p_3, \dots)
  5. (p_1 + p_2)\, H\big(\frac{p_1}{p_1+p_2}, \frac{p_2}{p_1+p_2}\big)$。

則 \(H\) 必為 \(-C\sum_i p_i \log p_i\) ， \(C > 0\) 為任意常數。

化學意義：統計熵被「物理地」要求滿足可加性（兩盒氣體的熵 相加）與廣延性，故 Gibbs 熵不是眾多候選之一，而是唯一符合 熱力學公理的選擇。Shannon 的公理體系反過來解釋了：為什麼 Boltzmann–Gibbs 熵「恰好像公式」——因為它是可加不確定性的唯一 度量。（推廣：多分形系統中可加性失效，出現 Tsallis 熵 \(S_q = \frac{1}{q-1}\big(1 - \sum p_i^q\big)\) ，在複雜流體與 蛋白質能量地貌中有應用。）

11.2.3 熱力學公式全部獲得資訊論身分#

命題 11.1（對照表）

統計熱力學 資訊理論 同構關係
Gibbs 熵 \(S = -k_B \sum p \ln p\) Shannon 熵 \(H = -\sum p \log p\) \(S = k_B \ln 2 \cdot H_2\)
最大熵原理 → Boltzmann 分佈 最大熵原理 → 指數族分佈 Lagrange 乘數同構
自由能 \(F = U - TS\) 變分自由能 \(\mathcal{F} = \langle E\rangle - \beta^{-1} H\) 同一泛函
熱力學第三定律 \(S \to 0\) （ \(T \to 0\) ） 確定事件的 \(H = 0\) 極限一致
混合熵 \(\Delta S = -R\sum x_i \ln x_i\) 交叉熵 \(H(p, q) = -\sum p \ln q\) 同型
熱機效率上限（Carnot） 資料壓縮下限（Shannon 第一定理） 「不可逆性的價格」

變分自由能的深化：對任意試探分佈 \(q\) （Boltzmann 分佈 \(p^*\) 為真分佈），

\[ \mathcal{F}[q] = \sum_i q_i E_i + \beta^{-1} \sum_i q_i \ln q_i \;\ge\; F, \qquad \text{等號} \iff q = p^*, \]

差距恰為 Kullback–Leibler 散度 \(D_{KL}(q \| p^*) = \sum q_i \ln \frac{q_i}{p_i^*} \ge 0\)。這個變分原理是現代變分推斷 （variational inference）、變分自編碼器與 free-energy principle （神經科學）的數學核心——熱力學的自由能最小化與機器學習的 KL 最小化是同一個優化問題。

11.2.4 化學中的資訊熵：三個實例#

例 1（混合理想氣體） 兩種理想氣體混合，\(\Delta S_{\text{mix}} = -R(n_1 \ln x_1 + n_2 \ln x_2)\)。資訊論讀法：混合前「隨機取一 分子屬於哪種」的不確定性為 0，混合後為 \(H(x_1, x_2)\) —— 混合就是喪失資訊，而宇宙不償還資訊（第二定律的資訊版）。 同一公式用於理想溶液與高分子 Flory–Huggins 理論的 組合熵項。

例 2（蛋白質折叠：能量—熵拔河） 折叠態低能量但構象受限 （低熵）；去折叠態高熵但高能。折疊自由能

\[ \Delta G_{\text{fold}} = \Delta H - T \Delta S \]

中兩項互相抵消，故蛋白質「勉強穩定」——$\Delta G_{\text{fold}} \approx -40 \(到\) -60\,\mathrm{kJ/mol}$，只相當於幾個氫鍵。 生命系統運作在熵—能量的邊緣，而計算 \(\Delta S\) 正是 構象系綜的 Shannon 熵（配分函數取對數，見 11.1）。

例 3（分子指紋的資訊量） 10.1 的 ECFP 指紋有 \(b = 2048\) 位元， 若每個位元獨立且為 1 的機率 \(p = 0.02\) ，其熵為

\[ H = b\, H_2(p) = 2048 \times \big(-p\log_2 p - (1-p)\log_2(1-p)\big) \approx 2048 \times 0.141 \approx 289\ \text{bits} . \]

這 289 bits 就是「一個分子在 ECFP 表示下的最大資訊含量」， 可用來比較不同表示法（描述子、SMILES、GNN 嵌入）的資訊效率—— 表示學習的評估標準由此從準確率升級為「每 bit 的預測力」。

11.2.5 化學實例：混合熵與蛋白質構象熵的計算#

import numpy as np

R = 8.314  # J/(mol·K)

def mixing_entropy(mole_fracs, T=298.15):
    """理想混合熵 ΔS = -R Σ x ln x（每莫耳混合物）"""
    x = np.asarray(mole_fracs)
    return -R * np.sum(x * np.log(x))

print("50:50 混合 ΔS =",
      round(mixing_entropy([0.5, 0.5]), 3), "J/(mol·K)")
print("等莫耳三元混合 ΔS =",
      round(mixing_entropy([1/3, 1/3, 1/3]), 3), "J/(mol·K)")
# 均勻分佈熵最大（Shannon–Khinchin 極值公理的化學化身）

def shannon_entropy_bits(probs):
    p = np.asarray(probs)
    p = p / p.sum()
    return float(-np.sum(p[p > 0] * np.log2(p[p > 0])))

# 蛋白質構象系綜：三態（折叠/中間態/去折叠）
# 能階 (kJ/mol) 經 Boltzmann 加權得構象分佈
E = np.array([0.0, 15.0, 30.0]) * 1000
T = 310.0
p = np.exp(-E / (R * T)); p /= p.sum()
S_conf = R * (-np.sum(p * np.log(p)))   # Gibbs 熵，J/(mol·K)
print(f"構象機率 {np.round(p, 4)}")
print(f"構象熵 S = {S_conf:.2f} J/(mol·K)，"
      f"資訊熵 = {shannon_entropy_bits(p):.3f} bits")

# 自由能變分原理：以偏移的 q 試探分佈檢查 F[q] >= F[p*]
beta = 1 / (R * T)
def free_energy(q, E, beta):
    return float(np.sum(q * E) + (-np.sum(q * np.log(q))) / beta)

p_star = np.exp(-beta * E); p_star /= p_star.sum()
for shift in [0.0, 0.2, 0.5]:
    q = np.exp(-beta * (E + shift * 1000)); q /= q.sum()
    print(f"偏移 {shift}: F[q] - F[p*] = "
          f"{free_energy(q, E, beta) - free_energy(p_star, E, beta):+.2f} J/mol >= 0")

11.2.6 超越：馬克士威妖、Landauer 與化學計算的極限#

Landauer 原理（1961）：抹除 1 bit 資訊至少耗散 \(k_B T \ln 2\) 的熱量。2012 年起被單分子實驗證實。化學後果：

  • 分子馬達與分子開關（如偶氮苯光開關）的效率上限由 Landauer 極限約束——奈米尺度的化學機器直接受資訊熱力學 立法；
  • 生物聚合酶複製 DNA 時的「校對」耗能可由資訊熱力學定量；
  • 可逆計算（Toffoli 閘）若在分子尺度實現，理論上可繞過 Landauer 極限——化學成為未來計算硬體的候選介質。

馬克士威妖悖論的現代解（Bennett 1982）：妖的記憶最終必須抹除， 付出 \(k_B T \ln 2\) ／bit——第二定律在資訊層面仍然守恆。 化學、物理與資訊在這條極限上真正合流。

11.2.7 章末小結#

  1. Shannon 熵與 Gibbs 熵是同一數學物件的兩次化身：可加不確定性 的唯一度量（Shannon–Khinchin 公理）；差別只在 \(k_B\) 與對數底。
  2. 統計力學的所有核心公式都獲得資訊論身分：Boltzmann 分佈 = 最大熵解、自由能 = 變分泛函、KL 散度 = 變分差距。
  3. 化學中的資訊熵具體可算：混合熵、蛋白質構象熵、分子指紋的 資訊效率。
  4. Landauer 原理把資訊處理的熱代價定為 \(k_B T \ln 2\) ／bit， 為分子機器與 DNA 資訊系統設定物理極限。

全書回望：本冊從 Cayley 的化學樹走到 Shannon–Boltzmann 的 熵同構，反覆出現一個母題——化學提出具體而迫切的問題，數學 提供抽象而普适的語言，而語言又反過來預言新的化學（ \(4n+2\) 、 \(\mathrm{C_{60}}\) 、Möbius 芳香性、指紋上界）。掌握了這種 雙向驅動的閱讀方式，你就擁有了在化學與數學之間自由導航的羅盤。