10.2 大數據、AB 測試與預測#

本章導言#

二十世紀的管理數學有一個共同的姿態：先建模、後蒐資料——Taylor 用秒錶驗證假設（1.3 節）、Shewhart 用小樣本管制圖監控製程（7.1 節）、作業研究用少得可憐的數據求解軍事調配（10.1 節）。二十一世紀情況顛倒：資料先於問題湧入。電子商務、行動裝置與雲端運算使「記錄一切」的成本趨近於零，管理者的困境從「無資料可算」變成「資料多到無法不算」。本節討論這場翻轉中最重要的三件事：AB 測試如何把 Fisher 的實驗設計（7.3 節）搬上網路、大樣本如何改寫統計推論的實務規則、以及預測如何從指數平滑（2.3 節）演化到整條資料管線。

從田野實驗到線上實驗：AB 測試的系譜#

AB 測試的思想並不新。它直接繼承三條血統：

Fisher 的隨機化實驗（1920s–1930s）：R. A. Fisher 在 Rothamsted 農業試驗站確立「隨機分派＋對照組＋顯著性檢定」的範式（見 7.3 節）。隨機化的目的，是讓處理組與對照組在「所有我們沒測量的因素」上平均而言相同。
臨床試驗：1948 年英國醫學研究委員會的鏈黴素試驗被視為首個現代隨機對照試驗（RCT），確立「隨機對照」為因果推論的金標準。
線上實驗：1990 年代末起，網站可以以毫秒級成本把使用者隨機分成兩組，各看不同版本，並記錄每一個行為。2000 年前後，Google、Amazon、Microsoft 等公司把 AB 測試做成基礎設施；微軟的 Kohavi 等人後來整理出大規模線上實驗的方法論。

管理的意義在於：決策的依據從「高層的品味」變成「隨機分派的證據」。按鈕放左邊還是右邊、標題怎麼寫、演算法怎麼排序——這些過去靠直覺與會議爭論的問題，如今由一個二項分配的檢定裁決。

AB 測試的數學核心：兩比例檢定#

設 \(A\) 組 \(n_A\) 人中 \(x_A\) 人轉換、 \(B\) 組 \(n_B\) 人中 \(x_B\) 人轉換。檢定

\[ H_0: p_A = p_B \qquad \text{對} \qquad H_1: p_A \ne p_B. \]

合併樣本比例 \(\hat p = \frac{x_A + x_B}{n_A + n_B}\) ，在 \(H_0\) 下檢定統計量近似標準常態（大樣本）：

\[ z = \frac{\hat p_B - \hat p_A}{\sqrt{\hat p (1-\hat p)\left(\frac{1}{n_A} + \frac{1}{n_B}\right)}}. \]

樣本數設計是實務的第一道數學題：若基準轉換率 \(p = 0.05\) 、想偵測相對提升 \(\delta = 10\%\) （即絕對差 \(0.005\) ）、顯著水準 \(\alpha = 0.05\) 、檢定力 \(1-\beta = 0.8\) ，則每組所需樣本約為

\[ n \approx \frac{(z_{\alpha/2} + z_\beta)^2 \cdot 2p(1-p)}{\delta^2} = \frac{(1.96 + 0.84)^2 \cdot 2(0.05)(0.95)}{(0.005)^2} \approx 2970. \]

若每日流量只有 500 人，實驗就必須跑約 12 天——流量是實驗的稀缺資源，這句話是數位時代的版本，對應傳統工廠「產能是稀缺資源」。

大數據對統計推論的三個衝擊#

衝擊一：一切都顯著。 當 \(n\) 以百萬計，標準誤 \(\sim 1/\sqrt{n}\) 趨近於零，任何微小差異都會「統計顯著」。實務上的對策是改報效應量（effect size）與信賴區間：轉換率提升 \(0.1\%\) 且 \(p < 10^{-6}\) ，仍然不值得為此改版——工程成本超過收益。顯著性（7.1 節的 \(\pm 3\sigma\) 思想）回答「差異是否存在」，管理決策還要問「差異值多少錢」。

衝擊二：多重檢定與偷看（peeking）。 一個網頁同時測 20 個指標，至少一個「假顯著」的機率接近 \(1 - 0.95^{20} \approx 64\%\) 。更嚴重的是：管理者每天看一次結果、一顯著就停止實驗，這種「連續監控」會大幅膨脹第一型錯誤率。現代解法包括 Bonferroni 校正（把 \(\alpha\) 除以檢定個數）、Benjamini–Hochberg 錯誤發現率控制，以及序貫檢定（sequential testing）——後者正是 Wald 在二次大戰軍工品抽驗中發明的工具（10.1 節的軍事遺產）。

衝擊三：相關不等於因果，但實驗可以。 觀察性大數據充滿混淆：買高級嬰兒車的人轉換率高，可能是「有錢」而非「嬰兒車好」。AB 測試之所以是金標準，正是因為 7.3 節的隨機化切斷了混淆路徑。這也是為何資料科學時代反而更重視 Fisher 的老技術。

預測的演化：從平滑到分解#

第 2.3 節的指數平滑是單變數、無外生資訊的預測。大數據時代把預測重構為一條管線：

\[ \text{資料蒐集} \to \text{特徵工程} \to \text{模型訓練} \to \text{驗證} \to \text{部署監控}. \]

常用的預測方法譜系：

方法	核心思想	與本書的連結
移動平均／指數平滑	加權歷史值，近者權重高	2.3 節
Holt–Winters	平滑水準、趨勢、季節三個成分	2.2 節成長模式
ARIMA	差分使數列定態，再用線性遞迴	時間數列理論
迴歸＋外生變數	用價格、天氣、促銷解釋需求	7.3 節實驗設計
梯度提升樹／類神經網路	非線性組合大量特徵	10.3 節

預測誤差的管理功能：需求預測的誤差 \(\sigma_e\) 不是丟棄物，而是下游決策的輸入——報童模型（5.2 節）用需求分配決定訂貨量、安全存貨（5.3 節）用提前期內需求分配的標準差決定緩衝、6.3 節的專案緩衝用工期分配的變異設計。「預測點估計＋誤差分配」取代「單一預測值」，是大數據時代對 20 世紀管理數學最直接的使用方式。

例題 10.2.1：一次 AB 測試的完整裁決#

例題 10.2.1：電商平台測試新版結帳頁。對照組 \(A\) ： \(n_A = 5000\) 、轉換 \(x_A = 240\) （ \(\hat p_A = 4.8\%\) ）；處理組 \(B\) ： \(n_B = 5000\) 、轉換 \(x_B = 285\) （ \(\hat p_B = 5.7\%\) ）。取 \(\alpha = 0.05\) ，問新頁面是否顯著較好？若每筆訂單平均毛利 300 元，年流量 100 萬人，改版值多少錢？

解：

合併比例：

\[ \hat p = \frac{240 + 285}{10000} = 0.0525. \]

檢定統計量：

\[ z = \frac{0.057 - 0.048}{\sqrt{0.0525 \times 0.9475 \times \left(\frac{1}{5000} + \frac{1}{5000}\right)}} = \frac{0.009}{\sqrt{0.0525 \times 0.9475 \times 0.0004}} = \frac{0.009}{\sqrt{0.0000199}} \approx \frac{0.009}{0.00446} \approx 2.02. \]

\(z = 2.02 > 1.96\) ，在 \(\alpha = 0.05\) 下顯著，採用新頁面。

效應的價值：轉換率提升 \(0.009\) ，年流量 100 萬人意味每年多 \(1000000 \times 0.009 = 9000\) 筆訂單，每筆毛利 300 元，即每年約 270 萬元的毛利提升。決策因此成立：即使工程投入 100 萬元，回收期不到半年。

這個計算展示了本書反覆出現的結構：統計檢定（7.1、7.3 節）提供「是否為真」，期望值計算（8.1 節）提供「是否值得」。兩者缺一不可。

從 AB 測試到「以實驗為據的管理」#

成熟的公司會把 AB 測試升級為實驗平台：同一時間跑數十個實驗、分層隨機化避免互相干擾、以儀表板自動監控護欄指標（guardrail metrics，如延遲與客訴率）。這在管理史上的地位，可比擬 Shewhart 管制圖之於 1920 年代工廠——把「持續改善」的判斷標準，從人的爭論轉移到一致的統計程序。Deming 在日本的教誨「決策依資料」（7.1 節）在網路公司以工程化規模實現。

但邊界也要誠實標出：AB 測試只能回答「兩個已知選項哪個好」，不能發明新選項；對無法隨機分派的決策（定價可能引起公平爭議、組織制度變革、長期品牌效應），仍需 8 章的決策分析與管理判斷。實驗擴張了證據的供給，沒有取消決策的責任。

前因後果與驅動關係#

驅動力：資料爆炸與網路規模。 網路商業的每一個互動都可記錄、可隨機分派、可立即度量，這三個條件同時成立是歷史首見。它把 7.3 節的農田實驗設計變成每週上千次的線上實驗，把 2.3 節的指數平滑變成供應鏈系統的底層模組，也逼出了處理多重檢定、連續監控、稀疏事件的新統計問題——序貫分析這個戰時發明（10.1 節）因此重返舞台。

理論成熟後對管理實務的反作用：其一，組織權力結構改變——產品決策從「主管核准」轉向「實驗結果核准」，統計素養成為中階主管的基本能力；其二，2.3 節的預測、5.2 節的報童、4 章的排隊與 9.1 節的資源分配，全部由「點估計輸入」升級為「分配輸入」，本書前九章的每一個模型在大數據環境下都獲得更精確的參數；其三，與《機率統計》一書的檢定力、多重比較、信賴區間章節直接互補，與《經濟的數學》第 10 章「計量經濟」共享「觀察資料 vs. 隨機實驗」的因果推論問題。

練習#

對照組 \(n_A = 4000\) 、 \(x_A = 120\) ；處理組 \(n_B = 4000\) 、 \(x_B = 144\) 。計算 \(z\) 統計量並在 \(\alpha = 0.05\) 下判斷是否顯著。
基準轉換率 \(p = 0.10\) ，欲以 \(\alpha = 0.05\) 、檢定力 \(0.8\) 偵測相對提升 \(5\%\) 。估算每組所需樣本數；若每日流量 2000 人（每組 1000 人），實驗需跑幾天？
一個頁面同時檢定 15 個指標。用 Bonferroni 校正計算整體第一型錯誤率的上界；並解釋為何「每天偷看一次、一顯著就停」會使錯誤率比名目 \(\alpha\) 高。
某實驗顯示按鈕改色使轉換率提升 \(0.05\%\) ， \(p < 0.001\) 。若年流量 200 萬人、每筆毛利 50 元、改版成本 80 萬元，用期望值判斷是否值得改版，並討論「統計顯著但不值得」的意義。
思考題：AB 測試把決策權交給隨機化證據，有人批評這使組織「只會最佳化按鈕、不會發明新產品」。你認為實驗文化與願景領導如何分工？請用 7.3 節（實驗設計）與 8.2 節（效用與風險態度）的概念各提出一個論點。

名詞速查表#

AB 測試：將使用者隨機分派至兩個版本、以統計檢定比較成效的線上實驗。
隨機對照試驗（RCT）：以隨機化建立因果推論的實驗設計，AB 測試是其線上版。
檢定力（power）：真有差異時成功偵測到的機率 \(1-\beta\) ，決定樣本數設計。
多重檢定問題：同時檢定多個假說使假顯著機率膨脹，需 Bonferroni 或 FDR 校正。
偷看問題：連續監控實驗並提前停止，破壞固定樣本檢定的錯誤率保證。
護欄指標：實驗中同步監控、防止局部最佳化傷害整體的指標。
效應量：差異的大小（絕對或相對），在大樣本下比 \(p\) 值更適合當決策依據。

（本節完）