跳轉到

2011-Bem超感應風暴:完美 p 值,荒謬結論#

案件摘要#

2011 年 3 月,康乃爾大學的社會心理學元老 Bem(Daryl Bem)在心理學頂級期刊《人格與社會心理學期刊》(JPSP)發表〈感受未來〉(Feeling the Future):九個實驗宣稱證據支持預知(psi)——受試者對「尚未發生」的事件的反應系統性地先於事件(例如:先測驗、後練習,成績卻像被「未來的練習」增強了;九項實驗多數達 p < .05)。(→ 這是心理學史上最吊詭的一樁案子:方法愈乾淨,結論愈荒謬——如果一切程序都對而結論荒謬,那麼程序一定有系統性的漏洞!)本案的偵破者是統計學家 Wagenmakers 等人的貝氏重分析:用貝氏因子重算後,證據強度遠低於宣稱;更重要的是他們診斷出病灶——探索性資料的選擇性報告,偽裝成驗證性實驗。本案成為 2015-重現性危機.md 的直接引爆點。

前因 -- 多因素的局勢#

  • 出版的經濟學:期刊偏好 p < .05 的「正向結果」——發表偏誤(file drawer)數十年來人盡皆知卻無人開刀;psi 研究正是發表偏誤的極端展示臺。
  • 方法學的黑箱慣例:2011 年前的心理學標準操作——樣本數可邊做邊加、依 p 值決定何時停手、測量與排除條件事後挑選(p-hacking)、結果先知道再「預測」(HARKing, Hypothesizing After the Results are Known)——全部合法且普遍(→ 制度性默許的灰色操作,等到一個荒謬結論來敲門才現形!)
  • Bem 的特殊身分:他不是邊緣人——他是自我知覺理論的作者、社會心理學教科書的作者;由備受尊敬的內行人用「內行的方法」得出內行人不信的結論,破壞力最大(→ 醜聞要由可信的人引爆,才能炸掉整個系統!)
  • psi 研究的長期陰影:超心理學百餘年來反覆宣稱效應、又反覆在更嚴格設計下消失——Bem 的論文其實是這條老戰線的新戰役。
  • 貝氏統計的成熟:Wagenmakers 等人正是長期鼓吹貝氏取代 p 值的陣營——他們手中有現成的替代工具,重分析可以立刻開刀。

線索與推理 -- 因素咬合#

線索一:九連勝的統計學不可能感#

九個實驗、幾乎全數顯著、效應量穩定——對一個「物理上不可能」的效應,這個勝率本身就是異常。(→ 偵探的第一直覺:與其問「預知是否存在」,不如問「什麼樣的研究流程能對任何假說都穩定產出顯著結果?」——答案是:彈性的資料收集與選擇性報告!)

線索二:Wagenmakers 的貝氏解剖#

貝氏重分析的關鍵洞見:Bem 的實驗設計其實是探索性的(先看資料、再調整分析),卻以驗證性的文體寫成(先有假說、一次定勝負)。驗證性文體假設單次檢定的證據力;探索性的多重嘗試會嚴重膨脹偽陽性率。(→ 同一份資料,換一種統計哲學,結論從「證據支持」跌成「證據不足甚至反向」——統計方法的選擇本身就是本案的兇器之一!)

線索三:「感受未來」的方法學鏡子#

Bem 特意在論文中示範「乾淨的實驗方法」(預先註冊式的措辭、標準化刺激、檢力計算)——他自認遵守了教科書的一切。(→ 這才是最恐怖的線索:教科書的規範本身不夠——p < .05 的儀式可以在無意或有意間被多種「研究者自由度」餵飽!)

線索四:同一年的巧合彈藥#

2011 年恰好是連環引爆年:荷蘭社會心理學家 Stapel 的偽造數據案同一年爆發;Simonsohn 等人隨後發展「資料偵測」(data colada)式的統計嗅探。Bem 提供了「無意圖的系統性偏誤」案例,Stapel 提供了「有意造假」案例——兩案合璧,制度改革的正當性一次補齊。

破案時刻#

  • 2011-1:Stapel 造假案內部調查爆發(荷蘭)。
  • 2011-3:Bem 〈感受未來〉刊於 JPSP。
  • 2011-3:Wagenmakers 等人貝氏重分析(同一期期刊刊出反駁——學史罕見)。
  • 2011-11:Simonsohn 等人示範以 p-curve/「若換一個理論也能顯著」反駁 Bem。
  • 2012:Bem 與支持者發表後設分析反擊;學界兩極。
  • 2012-2014:預註冊(registered reports 前身)、開放資料運動集結;Open Science Collaboration 成立。
  • 2015:OSC 100 項重現計畫公布,僅約 1/3 成功——危機正式立案(2015-重現性危機.md)。
  • 結案:本案的真正被告不是超感應,而是 p < .05 的出版制度。

後果 -- 改變了什麼#

  • 預註冊革命:Registered Reports(2013 起,Cortex 率先)讓「先審設計、後跑資料」成為正式文體;OSF 平台普及研究計畫上鎖。
  • 統計工具的多元化:貝氏因子、效應量+信賴區間、p-curve、多層模型——p 值獨裁被打破。
  • 開放科學建制:資料與程式碼公開、透明審查、可複製性聲明成為主流期刊要求。
  • 超心理學的教材化:Bem 風暴成為統計教學與研究倫理課的標準案例——一樁「方法正確、結論荒謬」的活教材(→ 對心理學而言,被超感應救了方法學,是歷史的反諷!)

因素影響筆記#

出版偏誤(正向結果壟斷)──────┐
p-hacking/HARKing 制度慣例 ────┼─→ 2011 Bem〈感受未來〉(九項 p<.05)
Bem 的可信身分 + psi 老戰線 ──┘         │
貝氏工具成熟(Wagenmakers)─────────────┤
Stapel 造假同年引爆 ────────────────────┘
                                         ↓
              結論荒謬+程序「合格」=制度性偏誤現形
                                         │
      ┌──────────────────────────────────┼────────────────────┐
      ↓                                  ↓                    ↓
 預註冊/Registered Reports      統計多元化(貝氏/效應量)  開放科學建制
                                        │
                                        └→ 2015 重現性危機正式立案

偵探結語:這樁案子最深刻的教訓藏在它的悖論結構裡:Bem 沒有偽造任何東西,他用的正是心理學界教了數十年的標準流程——而這套流程竟然足以「證明」預知。這意味著:被證偽的不是超感應,是出版制度對顯著性的迷信。九連勝不是奇蹟,是研究者自由度的算術必然。Wagenmakers 的貝氏解剖讓全學界看清:同一份資料,探索性與驗證性的文體差異,足以顛倒結論。此後預註冊成為新戒律——在看到資料之前,先白紙黑字承諾你要做什麼。要記下的暗帳是:改革也有代價——預註冊可能扼殺探索的自由與意外發現;新的統計正統也會製造新的儀式主義。心理學花了一百年建立 p 值帝國,又用十年拆掉它——科學的自我矯正能力,在本案中難得地全速運轉。