2015-重現性危機:心理學的自我審判#
案件摘要#
2015 年 8 月,《科學》刊登 Open Science Collaboration 的報告:100 項心理學頂刊研究,僅 36–39% 在大樣本複製下達到統計顯著;效應量平均腰斬。(→ 心理學史上第一次,學科對自己開了這麼大規模的審判庭!)同年前後還有:2011 年 Bem 的「預知」論文(用標準方法證明超感官知覺——(!方法沒錯,結論荒謬——這是整個體系失效的照妖鏡!))、Stapel 造假案、普林斯頓的 Diederik Stapel 之後的多起撤稿。真兇不是幾個壞人,是一套全產業的激勵結構:發表偏誤、p-hacking、HARKing(先有結果後編假設)、小樣本、不共享資料、期刊只要「新穎顯著」。(→ 本案的後果是方法學的全面改革:預註冊、開放資料、多實驗室聯盟、效應量的誠實報告。)
前因 -- 多因素的局勢#
- 出版制度的扭曲:期刊只收「顯著、新穎、正向」的結果(file drawer 問題,Rosenthal 1979 就已警告)——不顯著的研究沒人發、沒人看、沒人知(→ 市場只買「好消息」,科學就專產「好消息」!)
- 統計訓練的空洞:p < .05 被當成「真」,而不是「資料與零假設不相容」;多重檢定、自由度濫用(試多個排除條件、多個量表、多個亂數切點——總有一個顯著: \(\Pr(\text{至少一次顯著}) = 1-(1-.05)^k\) ,試 20 次就保證接近 1!)
- Bem 事件(2011):頂刊 JPSP 刊登九組實驗「證明」預知未來——方法完全符合慣例。若方法能證明預知,方法就有問題(→ 這是本案的引爆點,邏輯上無法反駁!)
- 資源結構:博士生的畢業、教職的聘任、經費的申請全綁「論文數與頂刊數」——激勵與求真脫鉤(→ 壞制度的受害者與執行者是同一批人!)
- 技術條件的成熟:網站與資料庫(OSF, Open Science Framework 2013)讓大規模協作複製首度可行——改革也需要硬體!
線索與推理 -- 因素咬合#
線索一:100 項複製的判決書#
OSC 2015 的具體數字:社會心理學複製成功率約 25%,認知心理學約 50%;平均效應量從原始的約 d=0.40 掉到 d=0.20。(!注意偵探的細節:複製失敗≠原始研究造假——可能包含情境差異、樣本差異;但系統性腰斬指向系統性偏差,不是運氣!)此後各軍種接力:Many Labs 計畫(多實驗室同步複製)、心理科學加速器(PSA)、以及對特定經典(啟動效應、自我耗損、權力姿態)的逐一重審。
線索二:p-hacking 的解剖學#
QRP(有問題的研究實務)清單:中途看結果決定收樣、刪除「麻煩」受試者、多重依變項只報顯著的、事後包裝假設(HARKing)、選擇性引用。(→ 每一步單獨看都「只是判斷」,加起來是系統性的假陽性工廠!)Simmons、Nelson、Simonsohn 2011 的示範:用正常手法在真實資料裡「證明」聽披頭四讓人變年輕——「false-positive psychology」成為改革的教科書。
線索三:為什麼是心理學先倒下?#
生物醫學(Amgen 2012:53 項癌症前期研究僅 11% 可複製)、經濟學(2016–2018 複製率約 40–60%)都有同病。(→ 心理學只是第一個動手驗屍的——「危機最重的學科」與「自查最徹底的學科」是同一個!)心理學的先天條件:效應小、樣本易得(大學生)、概念測量浮動、理論彈性大(後設理論不夠硬——這也連回理論傳統的問題:1956-認知革命.md 的隱喻科學性格)。
線索四:改革的資產負債表#
正資產:預註冊(Registered Reports 期刊模式)、開放資料與程式碼、多實驗室常態化、效應量與區間的誠實報告、大樣本(MTurk/Prolific 與 UK Biobank)。負債項:行政成本暴增、新人的職業風險(做複製不被算成果)、以及「改革表演」(形式預註冊、口頭開放)(→ 制度改了,激勵沒全改——本案仍在續審!)
破案時刻#
- 1979:Rosenthal 警告 file drawer 問題。
- 2011:Bem 預知論文;Simmons「false-positive psychology」;Stapel 造假爆發。
- 2012:Amgen 複製報告(生物醫學);Wagenmakers 等倡議貝葉斯檢驗。
- 2013:OSF 上線;Nosek 等成立改革陣線。
- 2015-8:OSC 100 項複製報告(《科學》)。
- 2018:Many Labs 2(跨文化大聯盟)。
- 2020s:Registered Reports 擴散、效應量重估、教科書改寫。
- 結案:危機被證實,改革制度化,審判未終結。
後果 -- 改變了什麼#
- 方法學正典改寫:預註冊、開放科學成為博士訓練必修;頂刊(Nature Human Behaviour 等)採用 Registered Reports。
- 經典的重審:史丹佛監獄實驗(1971-史丹佛監獄實驗.md)、米爾格蘭(1963-米爾格蘭服從實驗.md)、前瞻—啟動效應群——教科書的明星名單大換血。
- 跨學科的傳染與示範:經濟學、神經科學(1990-fMRI與認知神經科學.md)、機器學習(再現性與資料洩漏)相繼自查——心理學從「重災區」變成「改革樣板」。
- 理論的自省:從「效應有無」轉向「理論能否預測效應量與邊界條件」——累進式科學的返鄉。
因素影響筆記#
出版激勵(只要顯著新穎) ─┐
統計訓練空洞(p<.05 崇拜) ┼─→ p-hacking/file drawer 常態化
職業結構(論文綁升遷) ────┘ │
Bem 事件(2011 照妖鏡) ─────────┤
OSF/網路協作(技術條件) ──┤
↓
OSC 100 項複製(2015 判決書)
│
┌──────────────────────────────┼─────────────────────┐
↓ ↓ ↓
預註冊/Registered Reports 開放資料/多實驗室聯盟 經典重審/教科書改寫
│
└→ 跨學科自查(經濟/神經/ML)
偵探結語:這樁案件最驚人的地方在於兇手的人數:不是十個造假者,是整整一代正常運作的科學家——他們只是在壞規則下做了「理性」的選擇。當期刊只收顯著、升遷只看論文、審查只問新穎,p 值就從檢驗工具變成了通行證,科學就從求真事業變成了內容產業。Bem 用完全合規的方法證明預知,等於替全行業做了測謊——方法經得起證明預知,就什麼都經不起。心理學值得記功:它第一個把自己按上驗屍臺。但偵探提醒結案期限未到——改革目前改的是流程,不是錢。錢不變,十年後會有下一樁。