3.2 1920年代:費雪的實驗設計與顯著性檢定#
1. 問題:社會科學如何區分「效果」與「雜訊」?#
到 1900 年代,社會改革者面臨尷尬:施肥到底有沒有效?新教學法到底有沒有效?採用新工資制度到底有沒有效?觀察性比較總是混淆了其他因素(好田地恰好施肥、好學生恰好用新法)。
農業試驗站的實務困境是催化劑:田地有土壤肥力的系統性梯度,如果「處理區」剛好在較肥的一側,效果全被污染。如何安排實驗,使「因果效應」與「其他一切差異」在數學上可分離?
R. A. 費雪(Ronald Fisher)1919 年進入羅森斯特(Rothamsted)農業試驗站,面對數十年的田間資料,發明了答案。
2. 數學:隨機化、變異數分析與檢定#
隨機化:因果分離的核心發明#
費雪的天才洞見:用隨機指派把不可觀測的混雜因素(土壤肥力、日照、蟲害)變成「平均上無關」:
- 處理組與對照組的差異期望上只來自處理本身;
- 而且隨機化讓我們能計算觀察到的差異在「純運氣」下出現的機率。
實驗單位的設計(如隨機區組、拉丁方格)則控制已知混雜、對未知混雜隨機化:
\[ Y_{ij} = \mu + \tau_i + \beta_j + \varepsilon_{ij} \]
(處理效應 \(\tau_i\) 、區組效應 \(\beta_j\) 、隨機誤差 \(\varepsilon\) ),用變異數分析(ANOVA)將總變異分解、以 \(F\) 檢定比較組間與組內變異。
顯著性檢定#
虛無假設 \(H_0\) (處理無效)下,檢定統計量 \(T\) 有已知分配 \(F\) ;定義 p 值:
\[ p = P_{H_0}\big(|T| \ge |t_{\text{obs}}|\big) \]
\(p\) 小於某門檻 \(\alpha\) (費雪慣用 0.05),則「結果太不可能只是運氣」,拒絕 \(H_0\) 。費雪也同時建立了最大概似估計(MLE, 1922)與充分性、有效性理論,奠定現代數理統計。
graph TD
A[農業混雜問題] --> B[隨機化設計]
B --> C[因果可分離]
C --> D[ANOVA / t檢定]
D --> E[顯著性檢定範式]
E --> F[社會科學實證化的標準]
G[MLE 與抽樣理論] --> E3. 後果#
- 社會科學的實證範式:心理學、教育學、社會學在 1930–60 年代全面採用「隨機實驗 + 檢定」;研究方法課程的核心至今仍是 ANOVA 與 t 檢定。
- 醫學與政策:隨機對照試驗(RCT)成為醫學證據等級的頂點;社會政策評估(3.3 節)繼承此傳統。
- 經濟計量的問題:經濟學無法對工資、政策做隨機實驗,只能用觀察資料,於是發展出工具變數、自然實驗等替代方案(2021 年諾獎)——實驗的不可行性反而催生了另一套因果推斷數學。
4. 回饋:檢定範式的內在矛盾與修正#
費雪的顯著性檢定與 Neyman–Pearson 的決策理論(型一/型二錯誤、檢定力)在 1930 年代激烈論戰,最後被教科書不合邏輯地混雜成今日通行的「p < 0.05 範式」。其社會後果在 2010 年代爆發:
- 可複製性危機(psychology, 2011–2015):p-hacking、出版偏差使大量「顯著」結果無法重現;
- p 值的誤用: \(p > 0.05\) 被誤讀為「無效果」, \(p < 0.05\) 被誤讀為「假設為真」;
- 修正運動:預註冊、效果量與信賴區間、貝氏方法回歸(利用 1.3 節的決策理論基礎)。
社會科學的實踐危機,反過來重塑了統計學本身——這是本書主題(數學與社會科學互為驅動)最鮮明的例子之一。
5. 延伸思考#
- 隨機化保證的是「平均上」可比;單一實驗的隨機指派可能運氣很差——實驗的「可重複性」如何補救?
- 當隨機化違反倫理(如貧窮、教育剝奪),準實驗設計(3.3 節)能走多遠?