2.3 動差生成函數#

本章導言#

一個分布由無窮多個動差組成，逐一計算既繁瑣又容易迷失。十八至十九世紀的數學家發明了「打包」技術：把分布的全部資訊壓縮進一個函數，讓計算從求和積分降級為代數運算。這個思想源於 Euler 的生成函數（1748），在 Laplace 1812 年的《機率的分析理論》中登峰造極（故又稱 Laplace 變換的機率版），並在二十世紀發展出特徵函數這一完備形態。本節介紹動差生成函數（MGF）、機率生成函數（PGF）與特徵函數。

動差生成函數的定義#

隨機變數 \(X\) 的動差生成函數：

\[ M_X(t) = \mathbb{E}\left[e^{tX}\right] = \begin{cases} \displaystyle\sum_i e^{t x_i} P(X = x_i), & \text{離散}, \\[2mm] \displaystyle\int_{-\infty}^{\infty} e^{t x} f(x)\, dx, & \text{連續}.\end{cases} \]

「動差生成」之名來自其在 \(t = 0\) 附近的泰勒展開：若 \(M\) 在原點附近可解析，則

\[ M_X(t) = \sum_{k=0}^{\infty} \frac{\mathbb{E}[X^k]}{k!} \, t^k, \]

即 \(M^{(k)}(0) = \mathbb{E}[X^k]\) ——第 \(k\) 階動差就是第 \(k\) 次導數在 0 的取值。因此兩個分布若 MGF 相同（在原點附近），則分布相同（在 MGF 存在的範圍內，唯一性成立）。

核心性質：化機率運算為函數運算#

MGF 的威力在於它把機率論的三類基本運算變成初等函數運算：

縮放與平移： \(M_{aX+b}(t) = e^{bt} M_X(at)\) 。
獨立和： \(X \perp Y\) 時 \(M_{X+Y}(t) = M_X(t) M_Y(t)\) ——捲積變乘法。這是決定性的性質：獨立隨機變數之和的分布本來需要捲積積分 \(\int f(x) g(z-x)\, dx\) ，在 MGF 世界裡只是函數相乘。
極限傳遞：若 \(M_{X_n}(t) \to M(t)\) （且極限函數在原點連續），則 \(X_n\) 的分布收斂到以 \(M\) 為 MGF 的分布——這是 5.2 節證明中央極限定理的鑰匙。

性質 2 直接解釋了二項、Poisson、Gamma 等分布的「可加性」：同族分布的獨立和仍在同族、且參數簡單相加。歷史上 Laplace 正是用「生成函數」證明了大數法則與誤差理論的多個結果；「捲積變乘法」也是 Laplace 變換在微分方程中成功的同一原理。

機率生成函數：離散世界的姊妹版#

取值於非負整數的 \(X\) 有更輕便的工具：

\[ G_X(s) = \mathbb{E}[s^X] = \sum_{k \ge 0} P(X = k) \, s^k, \qquad G^{(k)}(1) = \mathbb{E}[X(X-1)\cdots(X-k+1)]. \]

係數就是機率（故稱生成機率），在 \(s = 1\) 的導數給出階乘動差。獨立和同樣變乘法： \(G_{X+Y} = G_X G_Y\) 。PGF 的歷史比 MGF 更早：de Moivre 1718 年《機遇原理》處理擲骰子點數和時實質使用它，Laplace 將其命名為「生成函數」。它也是 6.2 節分支過程（Galton–Watson 過程）滅絕理論的核心工具。

特徵函數：總是存在的完備版#

MGF 的致命弱點是可能不存在：Cauchy 分布的 \(\mathbb{E}[e^{tX}]\) 對 \(t \ne 0\) 積分發散。二十世紀的解法是把 \(t\) 搬到虛軸：

\[ \varphi_X(t) = \mathbb{E}\left[e^{i t X}\right], \qquad t \in \mathbb{R}. \]

由 \(|e^{itX}| = 1\) 知 \(\varphi\) 永遠存在，且特徵函數與分布一一對應（唯一性定理，Lévy 1920 年代）。它保留全部運算優點（獨立和變乘法、極限傳遞——Lévy 連續性定理是中央極限定理的現代證明工具），代價是複數運算。法國的 Lévy、蘇聯的 Khinchine、Kolmogorov 在 1920–30 年代以特徵函數重構了整個極限理論；Kolmogorov 公理化（5.3 節）之後，特徵函數成為「分布的傅立葉變換」——機率論與調和分析在此正式合流（參見《微積分》教材 10.1 節）。

一個具體例題#

例題 2.3.1：設 \(X_1, X_2, \ldots, X_n\) 獨立同分布， \(X_i \sim \text{Poisson}(\lambda)\) 。用 MGF 證明 \(S_n = X_1 + \cdots + X_n \sim \text{Poisson}(n\lambda)\) ，並求 \(S_n\) 的期望與變異數。

解：Poisson 分布的 MGF：

\[ M(t) = \mathbb{E}\left[e^{tX}\right] = \sum_{k=0}^{\infty} e^{tk} \frac{e^{-\lambda}\lambda^k}{k!} = e^{-\lambda} \sum_{k=0}^{\infty} \frac{(\lambda e^t)^k}{k!} = e^{-\lambda} e^{\lambda e^t} = \exp\left(\lambda (e^t - 1)\right). \]

（最後一步用了指數級數的收斂，此級數對一切 \(t\) 收斂，故 Poisson 的 MGF 全域存在。）

由獨立性， \(M_{S_n}(t) = \prod_{i=1}^{n} M(t) = \exp\left(n\lambda (e^t - 1)\right)\) 。這正是參數 \(n\lambda\) 的 Poisson MGF，由唯一性即得 \(S_n \sim \text{Poisson}(n\lambda)\) 。

求動差只需對 \(M\) 求導：

\[ M'(t) = \lambda e^t \exp(\lambda(e^t - 1)), \qquad M'(0) = \lambda, \]

\[ M''(t) = \lambda e^t \exp(\lambda(e^t-1)) + \lambda^2 e^{2t}\exp(\lambda(e^t - 1)), \qquad M''(0) = \lambda + \lambda^2. \]

故 \(\mathbb{E}[S_n] = n\lambda\) 、 \(\operatorname{Var}(S_n) = M''(0) - (M'(0))^2 = (n\lambda + n^2\lambda^2) - n^2\lambda^2 = n\lambda\) ——期望等於變異數，Poisson 分布的標誌性特徵在參數 \(n\lambda\) 下依然保持。

歷史註記：這個「獨立 Poisson 之和仍是 Poisson」的結果是 Poisson 1838 年《機率在刑事與民事判決上的應用》研究的核心，也是十九世紀末 Bortkiewicz（1898）「普魯士騎兵被馬踢死」數據的理論基礎——正是 Poisson 分布從賭桌走向統計實務的著名案例（見 3.1 節）。

歷史啟示#

打包思想的譜系：生成函數（Euler/Laplace）→ MGF → 特徵函數，一條「把無窮資訊壓縮為一個函數」的技術主線，貫穿組合學、機率論與調和分析。
捲積變乘法是核心武器：無論 Laplace 變換解微分方程，還是 MGF 處理獨立和，「把捲積變乘法」都是同一思想的兩次偉大應用。
完備性要付代價：MGF 簡單但不總存在；特徵函數總存在但要碰複數。數學工具的「完備化」往往以增加抽象度為代價——這是五、六章（公理化、隨機過程）的主旋律預告。
唯一性使函數等價於分布：一旦「函數 \(\leftrightarrow\) 分布」的字典建立，機率問題可以在兩個世界之間自由切換，挑簡單的做。

與其他章節及領域的關聯#

2.2 節：動差是 MGF 泰勒展開的係數，期望與變異數是前兩階。
3.1–3.3 節：各分布的 MGF 是辨識它們與證明可加性的標準工具。
5.2 節：中央極限定理的 de Moivre–Laplace 與現代證明都以 MGF／特徵函數收斂為核心。
6.2 節：分支過程的滅絕機率由 PGF 的不動點方程 \(q = G(q)\) 解出。
10.2 節：蒙地卡羅中「分布變換抽樣」的理論根據部分來自生成函數與反函數法。
工程：Laplace 變換是控制理論與電路分析的日常語言，特徵函數是訊號處理傅立葉變換的機率版——同一數學、三種職業。

練習#

求 Bernoulli( \(p\) ) 的 MGF，並由此推出二項 Binomial( \(n, p\) ) 的 MGF。
用 MGF 證明：若 \(X \sim \text{Binomial}(m,p)\) 、 \(Y \sim \text{Binomial}(n,p)\) 獨立，則 \(X+Y \sim \text{Binomial}(m+n, p)\) 。
計算 Gamma(2, \(\lambda\) )（速率參數）的 MGF，並求其期望與變異數。
證明指數分布 \(Exp(\lambda)\) 與 Gamma(1, \(\lambda\) ) 的 MGF 相同，故為同一分布。
思考題：Cauchy 分布的特徵函數為 \(e^{-|t|}\) 。驗證兩個獨立 Cauchy 之和的特徵函數是 \(e^{-2|t|}\) ，說明「Cauchy + Cauchy = Cauchy（參數加倍）」，並解釋為何這與大數法則的失效相符（見 5.1 節）。

進階研讀：生成函數思想的五個深化場景#

場景一：半不變量（cumulants）。定義 \(\log M_X(t)\) 的展開係數為累積量 \(\kappa_k\) ： \(\kappa_1 = \mu\) 、 \(\kappa_2 = \sigma^2\) 、 \(\kappa_3\) = 偏態相關、 \(\kappa_4\) = 峰態相關。累積量的獨立可加性（ \(\log\) 把乘法變加法）使它比動差更適合研究獨立和——中央極限定理的精細版本（Edgeworth 展開，1905）就是累積量的漸近學。統計物理的自由能、資訊論的累積生成函數，都是 \(\log M\) 的變身。

場景二：大偏差理論的曙光。 \(K(t) = \log M_X(t)\) 的 Legendre 變換給出速率函數 \(I(x) = \sup_t \{tx - K(t)\}\) ，而 \(P(X_1 + \cdots + X_n \approx nx)\) 以 \(e^{-n I(x)}\) 的速度指數衰減（Cramér 1938 年定理）。這是比中央極限定理更精細的「極端偏離」理論，今日是大偏差理論的入門口，應用於通訊網路排隊分析與風險管理（Var 的尾部分析）。

場景三：分支過程與滅絕。Galton 1873 年擔心英國貴族姓氏滅絕，Watson 1874 年與他合寫了錯誤的解答；正確理論由 Steffensen（1930）等完成：以 PGF \(G\) 描述後代數，滅絕機率 \(q\) 是 \(q = G(q)\) 的最小非負不動點，且 \(\mathbb{E}[\text{後代數}] \le 1\) 時必然滅絕。這是 PGF 最著名的應用，詳見 6.2 節延伸。

場景四：特徵函數與不變分布。穩定分布（Lévy 1924）：特徵函數形如 \(e^{-|ct|^\alpha (1 - i\beta \operatorname{sgn}(t)\tan(\pi\alpha/2))}\) 的分布族是「獨立和的極限閉包」——只有常態（ \(\alpha = 2\) ）有有限變異數，其餘（ \(\alpha < 2\) ）皆厚尾。Mandelbrot 1963 年用 \(\alpha \approx 1.7\) 的穩定分布描述棉花價格，開啟金融厚尾研究的先河；Cauchy（ \(\alpha = 1\) ）與 Lévy 飛行（物理中的超擴散）都在此族中。

場景五：從生成函數到算子。把 \(\mathbb{E}[e^{tX}]\) 進一步抽象，得到動差泛函與算子半群：Markov 鏈的轉移矩陣 \(P\) 的指數 \(e^{tP}\) 、Wiener 過程的熱半群 \(e^{\frac{t}{2}\Delta}\) （7.3 節）都是生成函數思想的無窮維推廣。Hille–Yosida 定理（1948）使「生成」一詞從數列走向算子——Euler 1748 年的技術在二十世紀成為隨機過程的基本語法。

名詞速查表（本節出現的核心術語）#

動差生成函數（MGF）： \(M_X(t) = \mathbb{E}[e^{tX}]\) ， \(M^{(k)}(0) = \mathbb{E}[X^k]\) 。
機率生成函數（PGF）： \(G(s) = \mathbb{E}[s^X]\) ，係數即機率。
特徵函數： \(\varphi(t) = \mathbb{E}[e^{itX}]\) ，永遠存在、與分布一一對應。
捲積：獨立和的分布；在生成函數世界變乘法。
累積量： \(\log M\) 的泰勒係數，獨立可加。
Lévy 連續性定理：特徵函數逐點收斂（且極限連續） \(\Rightarrow\) 分布收斂。
穩定分布：對獨立和封閉的極限分布族，指數 \(\alpha \in (0, 2]\) 。
速率函數：大偏差理論中指數衰減率的 Legendre 變換。

年表速查（本節涉及的關鍵年份）#

1718：de Moivre《機遇原理》實質使用 PGF 處理點數和。
1748：Euler《無窮分析引論》確立生成函數方法。
1812：Laplace《機率的分析理論》系統化生成函數於機率論。
1838：Poisson 研究獨立 Poisson 之和與其分布。
1898：Bortkiewicz 以騎兵數據驗證 Poisson 分布。
1905：Edgeworth 展開，累積量的漸近理論。
1920s：Lévy、Khinchine 建立特徵函數理論與唯一性。
1924：Lévy 穩定分布的分類。
1930：Steffensen 修正分支過程滅絕理論。
1938：Cramér 大偏差定理。
1948：Hille–Yosida 定理，生成函數思想推廣至算子半群。
1963：Mandelbrot 以穩定分布建模金融價格。

深化問答三則#

問：MGF「唯一決定分布」為什麼需要小心？ 答：需要兩個條件：MGF 在包含 0 的開區間內有限，且比較的是兩個分布的 MGF 在該區間全域相等。若 MGF 只在 \(t = 0\) 有定義（如某些重尾分布），泰勒級數可能只有零半徑收斂——此時即使所有動差存在且相等，分布也可能不同（存在「動差問題」的反例，Stieltjes 1894 年首次發現）。特徵函數沒有這些毛病，因為它總是定義在整條實軸上且連續。

問：為什麼特徵函數能「救活」Cauchy 分布的理論？ 答： \(e^{itX}\) 的模為 1，任何分布的特徵函數都存在且連續，於是 Lévy 連續性定理對所有分布適用——包括無期望、無動差的病態分布。這使極限理論的適用範圍從「表現良好的分布」擴大到全體分布，是二十世紀機率論能處理物理與金融中重尾現象的形式基礎。

問：生成函數思想與傅立葉分析是同一件事嗎？ 答：特徵函數確實就是分布（視為測度）的傅立葉變換；MGF 則是對應的（雙邊）Laplace 變換。因此「捲積變乘法」「唯一性」「收斂傳遞」在兩個理論中是平行定理。機率論在 1930 年代大量借用調和分析的結果（特別是反演公式與 Bochner 正定性定理： \(\varphi\) 是特徵函數 \(\iff\) 正定連續且 \(\varphi(0)=1\) ），這是二十世紀數學各分支互相灌溉的典型範例。

（本節完）