跳轉到

4.3 條件期望與最佳預測#

本章導言#

知道今天的溫度，該如何預測明天的溫度？知道股價歷史，預測明日的最佳數字是什麼？答案的數學名字叫條件期望：在給定資訊下，機率加權的平均值。它始於 Pascal 1654 年的遞迴分析，在 1930 年代由 Kolmogorov 以「對 \(\sigma\) -代數的條件化」重鑄，成為現代機率論（隨機過程、馬氏性、鞅）的心臟。本節從最直觀的預測觀點進入，最終抵達「條件期望是最佳預測」的定理。

從條件分布到條件期望#

給定 \(Y = y\) 時 \(X\) 的條件分布（4.1 節）的平均，就是條件期望：

\[ \mathbb{E}[X \mid Y = y] = \sum_x x \, P(X = x \mid Y = y) \quad \text{或} \quad \int x \, f(x \mid y)\, dx. \]

當 \(Y = y\) 變動時， \(\mathbb{E}[X \mid Y = y]\) 是 \(y\) 的函數——把它寫成 \(g(Y)\) ，就是一個新的隨機變數：「看了 \(Y\) 之後對 \(X\) 的平均猜測」。這個「期望值的期望」記為 \(\mathbb{E}[X \mid Y]\) 。

兩條支柱性質：

  1. 全期望公式（塔性質）： \(\mathbb{E}\left[\mathbb{E}[X \mid Y]\right] = \mathbb{E}[X]\) 。「對所有資訊情境的平均猜測，等於不看的猜測」——它正是 1.3 節全機率公式的期望版。
  2. 抽因子： \(\mathbb{E}[h(X)Y \mid X] = Y \, \mathbb{E}[h(X) \mid X]\) （給定 \(X\) 後 \(Y\) 是常數可提出）。

條件期望作為隨機變數：現代觀點#

Kolmogorov 1933 年的深刻定義： \(\mathbb{E}[X \mid \mathcal{G}]\) （ \(\mathcal{G}\) 為部分資訊，形式上是子 \(\sigma\) -代數）是滿足

\[ \int_A \mathbb{E}[X \mid \mathcal{G}] \, dP = \int_A X \, dP, \qquad \text{對一切 } A \in \mathcal{G} \]

的隨機變數。直觀：在任何「資訊可分辨的事件」上，條件期望與 \(X\) 有相同的局部平均。這個定義不指定逐點公式、只指定積分關係，因此條件期望只在「幾乎必然」意義下唯一——這種「由性質定義而非公式定義」的抽象手法，正是二十世紀機率論承繼測度論的標誌。 \(\mathcal{G}\) 可以是另一個變數產生的資訊、一段歷史 \(\mathcal{F}_t\) （隨機過程）、甚至全部資訊。

最佳預測定理#

定理：在均方誤差 \(\mathbb{E}[(X - c)^2]\) 意義下，最佳預測是：

  • 若只有常數可選：最佳常數是 \(\mathbb{E}[X]\) 。
  • 若可看 \(Y\) 再決定：最佳預測是 \(\mathbb{E}[X \mid Y]\) 。
  • 若限制為線性預測 \(a + bY\) ：最佳是 \(a = \mu_X - \rho \frac{\sigma_X}{\sigma_Y}\mu_Y\) 、 \(b = \rho \frac{\sigma_X}{\sigma_Y}\) ——迴歸直線。

證明思想（第二條）：對任意預測 \(g(Y)\) ，

\[ \mathbb{E}[(X - g(Y))^2] = \mathbb{E}\left[\mathbb{E}\left[(X - g(Y))^2 \,\big|\, Y\right]\right] = \mathbb{E}\left[\mathbb{E}\left[(X - m(Y))^2 \,\big|\, Y\right]\right] + \mathbb{E}\left[(m(Y) - g(Y))^2\right], \]

其中 \(m(Y) = \mathbb{E}[X \mid Y]\) 。第一項與 \(g\) 無關，第二項非負且在 \(g = m\) 時為零。條件化 + 塔性質把全域最佳化問題切成逐條件的二次最小化——這個「切片論證」是隨機過程理論（最優停止、濾波）的基本招式。線性版本則是對二次函數 \(f(a, b) = \mathbb{E}[(X - a - bY)^2]\) 求偏導取零，正規方程正是 10.1 節最小平方法的機率版。

歷史線索#

條件期望的歷史分三個階段。第一階段（1654–1812）：Pascal 的遞迴價值與 Huygens 的公平價格，實質是「給定當前局勢的期望剩餘收益」；Laplace 1812 年以逆機率系統化條件推理。第二階段（1889–1930）：Poincaré 在機率講義中討論「給定部分的期望」；Wiener 與 Kolmogorov 在 1930–40 年代各自為濾波理論（Wiener 濾波 1942，戰時反防空炮火控制問題）與馬氏鏈發展出條件期望的泛函形式。第三階段（1944–1966）：Doob（多卜，1910–2004） 的《隨機過程》（1953）以條件期望為磚石建立鞅論（martingale，公平賭局的數學化身，名稱借自法國賭術），1970 年代 Neveu 與 Dellacherie 的教材使它成為標準課程內容。條件期望從賭徒的「局勢估值」走到隨機分析的「語法核心」，走了三百年。

一個具體例題#

例題 4.3.1：保險公司對某車險客戶的年理賠次數 \(N\) 服從 Poisson( \(\Lambda\) )，其中 \(\Lambda\) （客戶風險水準）為隨機變數：以機率 0.7 為 1（優良）、0.3 為 3（高風險）。(a) 求無條件 \(\mathbb{E}[N]\) 、 \(\operatorname{Var}(N)\) ；(b) 求最佳平方預測 \(\mathbb{E}[N \mid \Lambda]\) 與 \(\mathbb{E}[\Lambda \mid N = 2]\) ；(c) 解釋 (b) 在貝氏定價中的意義。

解：

(a) 塔性質與條件方差公式（ \(\operatorname{Var}(N) = \mathbb{E}[\operatorname{Var}(N \mid \Lambda)] + \operatorname{Var}(\mathbb{E}[N \mid \Lambda])\) ）：

\[ \mathbb{E}[N] = \mathbb{E}[\Lambda] = 0.7 \times 1 + 0.3 \times 3 = 1.6, \]
\[ \operatorname{Var}(N \mid \Lambda) = \Lambda \ (\text{Poisson 性質})， \qquad \mathbb{E}[\operatorname{Var}(N \mid \Lambda)] = 1.6, \qquad \operatorname{Var}(\Lambda) = 0.3 \times 0.7 \times (3 - 1)^2 = 0.84, \]
\[ \operatorname{Var}(N) = 1.6 + 0.84 = 2.44. \]

注意 \(\operatorname{Var}(N) = 2.44 > \mathbb{E}[N] = 1.6\) ：異質性（ \(\Lambda\) 的變動）造成超離散（3.1 節場景三）——保險數據偏離 Poisson 的經典原因。

(b) 看了風險水準後的最佳預測： \(\mathbb{E}[N \mid \Lambda = 1] = 1\) 、 \(\mathbb{E}[N \mid \Lambda = 3] = 3\) （Poisson 均值即參數）。看了理賠次數後反推風險水準（Bayes，1.3 節）：

\[ P(\Lambda = 3 \mid N = 2) = \frac{P(N = 2 \mid \Lambda = 3) \times 0.3}{P(N = 2 \mid \Lambda = 1) \times 0.7 + P(N = 2 \mid \Lambda = 3) \times 0.3} \]
\[ = \frac{\frac{3^2 e^{-3}}{2} \times 0.3}{\frac{1^2 e^{-1}}{2} \times 0.7 + \frac{3^2 e^{-3}}{2} \times 0.3} = \frac{0.6738 \times 0.3}{0.1839 \times 0.7 + 0.6738 \times 0.3} \approx \frac{0.2021}{0.1287 + 0.2021} \approx 0.611. \]
\[ \mathbb{E}[\Lambda \mid N = 2] = 1 \times 0.389 + 3 \times 0.611 \approx 2.22. \]

(c) 觀測到兩次理賠後，客戶的預期風險從先驗的 1.6 上修至 2.22——經驗費率上調的數學。這正是 Bühlmann（1967）信賴理論（credibility theory）的起點：保費 = 部分集體經驗 + 部分個體經驗，權重由「條件期望的線性最佳化」決定。精算科學的核心，就是本節定理的百年工程化。

歷史啟示#

  • 「看了之後的平均」是預測的本體：條件期望不只是計算工具，它直接回答「最佳預測是什麼」——機率論因此成為決策科學。
  • 抽象定義的報酬：Kolmogorov 的積分式定義放棄了逐點公式，換來了對任意資訊結構（過去、濾波、部分觀測）的通用性——隨機過程理論全部建立在這個讓步之上。
  • 塔性質是組織原理：全期望公式把複雜問題切成「逐情境分析再加權」，從 Pascal 的遞迴到現代動態規劃與最優停止，一脈相承。
  • 條件方差公式： \(\operatorname{Var} = \mathbb{E}[\text{條件方差}] + \operatorname{Var}[\text{條件期望}]\) 把「隨機性」分解為「組內噪聲 + 組間異質」——方差分析的哲學先聲（10.1 節 ANOVA 的機率根）。

與其他章節及領域的關聯#

  • 1.3 節：Bayes 定理給出條件分布的更新；條件期望是它的「平均版」，精算信賴理論是兩者的合體。
  • 4.1、4.2 節：條件分布的均值即條件期望；最佳線性預測與相關係數共享迴歸直線。
  • 6.2 節：馬可夫鏈的「首步分析」 \(h = Ph + r\) 就是條件期望遞迴；平穩分布由「條件於現在」定義。
  • 6.3、7.2 節：Poisson 過程與 Wiener 過程的馬氏性都以條件期望語言表達；布朗運動的條件期望是隨機分析的入門練習。
  • 9.3 節：貝氏後驗均值 \(\mathbb{E}[\theta \mid \text{資料}]\) 是條件期望在統計推論中的化身。
  • 資訊理論：條件熵 \(H(X \mid Y)\) 、互資訊 \(I(X;Y) = H(X) - H(X \mid Y)\) （4.2 節場景四）是「資訊如何改善預測」的熵版計量。

練習#

  1. 擲一顆公平骰子，若出現偶數則 \(Y = 0\) 、奇數則 \(Y = 1\) ， \(X\) 為點數。求 \(\mathbb{E}[X \mid Y = 0]\) 、 \(\mathbb{E}[X \mid Y = 1]\) ，並用塔性質驗證 \(\mathbb{E}[X] = 3.5\) 。
  2. 設 \(X \sim Exp(1)\) 、 \(Y = \min(X, 1)\) 。求 \(\mathbb{E}[Y]\) （分段積分），並驗證 \(\mathbb{E}[Y] \le \mathbb{E}[X] = 1\) ，說明 \(Y\) 是 \(X\) 的「截斷」時期望必然縮小的原因。
  3. 對例題 4.3.1，計算 \(\mathbb{E}[\Lambda \mid N = 0]\) 與 \(\mathbb{E}[\Lambda \mid N = 5]\) ，畫出「觀測理賠次數 → 更新風險」的曲線趨勢並解釋其非線性。
  4. 證明：若 \(X\) 與 \(Y\) 獨立，則 \(\mathbb{E}[X \mid Y] = \mathbb{E}[X]\) （幾乎必然）——「無關的資訊不改善預測」。
  5. 思考題：均方誤差準則下的最佳預測是條件均值；若改用絕對誤差，最佳預測變為條件中位數；若用「超過才罰」的非對稱損失，變為條件分位數。請說明損失函數如何決定「最佳」，並討論保險定價應選哪種。

進階研讀：條件期望的五個深化場景#

場景一：鞅——公平賭局的數學。若 \(\mathbb{E}[X_{n+1} \mid X_1, \ldots, X_n] = X_n\) （知道過去後，明天的平均猜測就是今天），稱 \(\{X_n\}\) 為鞅。它形式化了「無套利／公平賭局」：任何依賴歷史的策略都無法改變條件期望收益。Doob 的鞅收斂定理與停時定理（optional stopping）是二十世紀機率論最重要的成就之一，賭徒破產（1.1 節場景二）、最優停止（秘書問題, 1960 年代）與金融無套利定價（1973 Black–Scholes 的等價鞅測度）都由它承載。

場景二：條件期望與濾波。觀測 \(Y_t = h(X_t) + \text{噪聲}\) ，如何從觀測推狀態？線性高斯世界的答案是 Kalman 濾波（1960）： \(\mathbb{E}[X_t \mid Y_{1:t}]\) 的遞迴更新——「預測 + 修正」兩步，正是塔性質的工程化。Kalman 濾波使阿波羅登月的導航成為可能；非線性版（粒子濾波, 1990s）把條件期望用蒙地卡羅（10.2 節）近似——「從噪聲中提煉狀態」是條件期望最壯觀的應用史。

場景三：條件分布的模擬與 Gibbs 抽樣。多維分布難以直接模擬，但「逐變數條件抽樣」可行：Gibbs 抽樣（Geman & Geman 1984）反覆從 \(f(x_1 \mid x_2, \ldots), f(x_2 \mid x_1, \ldots)\) 抽樣，收斂到聯合分布。它是 MCMC（10.2 節場景四、9.3 節貝氏復興）的主力算法——條件分布從「概念」變成了「計算引擎」。

場景四：條件方差與時間序列。金融波動的聚集性（大波跟大波）由條件方差 \(\operatorname{Var}(r_t \mid \mathcal{F}_{t-1})\) 的時間變化刻畫：ARCH（Engle 1982）、GARCH（Bollerslev 1982 提出，1986 發表）使條件方差成為可估計的隨機過程。Engle 為此獲 2003 年諾貝爾經濟學獎——「隨機性本身也是隨機的」這個觀念，把條件期望的語言推廣到二階。

場景五：條件期望與神經網路。機器學習的回歸神經網路以均方誤差訓練時，在大數據極限下逼近的正是 \(\mathbb{E}[Y \mid X]\) （條件期望的可計算近似）；分類網路逼近條件機率 \(P(Y = k \mid X)\) 。近年「條件生成模型」（conditional GAN、擴散模型）學習的則是完整條件分布。可以說：深度學習是把「條件期望不可算」變成「神經網路可逼近」的工程學——Kolmogorov 1933 年的抽象定義獲得了二十一世紀的具體化身。

名詞速查表（本節出現的核心術語）#

  • 條件期望：給定資訊後的機率加權平均猜測。
  • 塔性質： \(\mathbb{E}[\mathbb{E}[X \mid Y]] = \mathbb{E}[X]\) ，全期望公式。
  • 條件方差公式： \(\operatorname{Var}(X) = \mathbb{E}[\operatorname{Var}(X \mid Y)] + \operatorname{Var}(\mathbb{E}[X \mid Y])\) 。
  • 最佳預測定理：均方準則下最佳預測 = 條件期望；線性限制下 = 迴歸直線。
  • 鞅：條件期望恆等於現在值的隨機序列，公平賭局的數學。
  • 信賴理論：精算學中先驗費率與個體經驗的條期望混合（Bühlmann 1967）。
  • Kalman 濾波：線性高斯條件期望的遞迴計算。
  • Gibbs 抽樣：逐條件分布的反覆抽樣，MCMC 主力。

年表速查（本節涉及的關鍵年份）#

  • 1654：Pascal 通信中的條件價值遞迴。
  • 1657：Huygens 公平價格 = 條件期望的先驅。
  • 1812：Laplace 系統化條件機率。
  • 1933：Kolmogorov 以積分關係定義條件期望。
  • 1942：Wiener 濾波（戰時預測問題）。
  • 1953：Doob《隨機過程》，鞅論建立。
  • 1960：Kalman 濾波。
  • 1967：Bühlmann 信賴理論。
  • 1982–86：ARCH/GARCH 條件方差模型。
  • 1984：Geman 兄弟 Gibbs 抽樣。
  • 2003：Engle 獲諾貝爾獎（條件異方差）。
  • 2010s：條件生成模型（GAN、擴散）。

深化問答三則#

問：為什麼條件期望「幾乎必然唯一」就夠了？ 答：因為機率論關心的是機率意義下的行為：兩個候選定義若只在零機率事件上不同，它們的一切積分、一切機率陳述完全相同——它們在機率世界裡是同一個物件。這種「放棄逐點、保住測度」的哲學與 Lebesgue 積分（《微積分》教材 10.2 節）一脈相承，是二十世紀分析的整體精神。

問：「看了資訊後的平均猜測」與「看了資訊後的猜測」差在哪裡？ 答：條件期望平均掉了給定資訊後仍殘餘的隨機性：知道 \(Y\) 後 \(X\) 仍不確定時， \(\mathbb{E}[X \mid Y]\) 是殘餘分布的中心。預測的終極極限由條件方差衡量——「即使看盡一切可觀測資訊，還剩多少不可約的隨機」。這個殘餘在金融中就是「風險溢酬的不可分散部分」、在科學中就是「模型的殘差」。

問：為什麼說鞅是「公平」的數學，而這對金融為何重要？ 答：鞅要求「知道全部歷史後，未來平均等於現在」——任何賭博策略無法在期望上打敗無記憶的公平局。金融的效率市場假說（Fama 1970）說「價格是鞅（經風險調整後）」，其操作性質是「無套利」；Harrison–Kreps（1979）證明無套利 \(\iff\) 存在等價鞅測度——賭桌的公平概念經 Doob 抽象化後，成為現代資產定價的數學基礎。概念遷徙的距離（賭桌 → 華爾街）正是數學抽象的力量證明。

（本節完）