跳轉到

1969 - Minsky & Papert 批判#

案件摘要#

1969 年,MIT 的 Marvin Minsky 與 Seymour Papert 出版《Perceptrons》,以嚴格的數學分析宣判單層感知器的死刑。鐵證是 XOR(互斥或)問題——線性不可分:

\[ \text{Perceptron 只能表達 } \{(x, y) : w \cdot x + b > 0\},\quad \text{XOR} \notin \text{此類} \]

更致命的是第二部分:他們證明多層感知器中最簡單的「群組不變性」問題(如判斷圖形是否連通)需要指數級資源,而書中錯誤地暗示多層版本同樣無望。這本書被公認為第一次 AI 寒冬的直接兇手——連結派研究經費在數年內枯竭。兇手不是更強的批判,而是一個被過度推廣的特例。

前因 -- 為什麼會有這個案子#

  • 1957 年 Rosenblatt 的感知器(見「1957-Perceptron感知器.md」)風光一時:收斂定理保證線性可分問題必收斂,海報宣傳引發媒體狂熱,軍方(ARPA)投入大量經費。
  • 感知器狂熱中被吹捧的能力(「能走、能說、能自我複製」)遠超實際,理性派 AI 學者日益不滿。
  • Minsky 與 Papert 是符號派陣營的核心人物,後來共同創立 MIT 人工智慧實驗室;他們認為感知器的單層結構在原理上就不可能承載真正的智能。
  • 他們的方法是數學而非口水戰:用群論(group theory)與幾何論證,逐一定理刻畫感知器的能力邊界。
  • 1966 年 ALPAC 報告已經凍結了機器翻譯經費,AI 界整體氣氛轉向懷疑——這本書給了最後一擊。
  • 悲劇的伏筆早在 1960 年代就存在:Rosenblatt 本人與其後繼者已知多層版本可解 XOR,但沒有人知道如何訓練隱藏層的權重——這條線索要等到 1974 年 Werbos(見「1974-Werbos反向傳播先驅.md」)與 1986 年才被完全解開。

線索與推理 -- 數學式、程式、理論#

第一條線索:XOR 鐵證——線性不可分#

單層感知器的決策邊界是超平面 \(w \cdot x + b = 0\) 。XOR 的四個樣本 \((0,0)\to 0,\ (0,1)\to 1,\ (1,0)\to 1,\ (1,1)\to 0\) 無法被任何一條直線分開。證明只要一行:假設存在 \((w_1, w_2, b)\) 滿足

\[ w_2 + b > 0,\quad w_1 + b > 0,\quad b > 0,\quad w_1 + w_2 + b \le 0 \]

前三式相加得 \(w_1 + w_2 + 3b > 0\) ,而 \(b > 0\) 意味著 \(w_1 + w_2 + b > 0\) ,與第四式矛盾。 \(\blacksquare\)

這是本書第 11 章的核心定理:「一個簡單的感知器無法辨識拓樸性質如連通性」的幾何根源同樣在於線性決策面。

第二條線索:多層可以解 XOR——但無人能訓練#

兩個感知器疊一層即可解 XOR,這個事實書中也承認:

輸入 隱藏單元 \(h_1 = x_1 \lor x_2\) 隱藏單元 \(h_2 = x_1 \land x_2\) 輸出 \(h_1 \land \lnot h_2\)
(0,0) 0 0 0
(0,1) 1 0 1
(1,0) 1 0 1
(1,1) 1 1 0

問題從不在表達能力,而在學習演算法:隱藏層權重的誤差訊號如何回傳?感知器收斂定理只對單層有效——梯度在層間消失的迷宮,當時無人能走出。

第三條線索:群組不變性——書中最深的數學#

《Perceptrons》第二部分用群論分析「順序無關」(order-independent)謂詞:若輸入圖形在置換群 \(G\) 作用下不變,則多層感知器的容量如何隨規模 \(n\) 爆炸。以「連通性」謂詞為例:

\[ \text{判斷 } n \text{ 個頂點的圖是否連通,需要 } \Theta(n^2) \text{ 個(狹義)感知器單元,且階層數隨 } n \text{ 增長} \]

書中對「局部」限制下的多層感知器得出類似的悲觀結論,但一個關鍵段落的措辭(「perceptrons 的分析……顯示其延伸是無望的」)被讀者過度解讀為所有多層神經網路無望——這是本案最大的誤判。

第四條線索:誰該為寒冬負責——推理的翻案#

歷史偵探的判決書應當公正:

罪名 成立? 證據
單層感知器無法解 XOR 成立(數學事實) 第一條線索
多層感知器原理上無望 不成立 表達能力足夠,缺的是訓練演算法
直接導致經費枯竭 部分成立 1971–73 年 ARPA 削減、Lighthill 報告(1973)推波助瀾
永久埋葬連結派 不成立 1986 年反向傳播翻案

結案 -- 後果與影響#

  • 第一次 AI 寒冬(約 1974–1980):連結派研究幾乎停止,經費轉向符號派(見「1965-DENDRAL專家系統.md」「1980-XCON專家系統黃金時代.md」);Rosenblatt 1971 年意外去世,無人為感知器辯護。
  • 「神經網路已死」成為十年間的業界共識,研究生不敢碰此題目——被埋沒的不只 Wolbos 的論文(見「1974-Werbos反向傳播先驅.md」),還有 Fukushima 的 Neocognitron(見「1980-Neocognitron視覺層級模型.md」)與 Amari 的早期工作。
  • 諷刺的是:Minsky 本人始終否認想殺死神經網路,並在 1980 年代支持反向傳播研究。
  • 本書意外催生了「計算複雜度式 AI 理論」的傳統——用數學刻畫模型能力邊界的思路影響了 PAC 學習(Valiant, 1984)與深度學習理論。
  • 伏筆:1986 年 Rumelhart、Hinton、Williams 發表反向傳播(見「1986-反向傳播演算法.md」及「科學與歷史/神經網路/」對應檔案),多層訓練的迷宮終於被走出——XOR 鐵證瞬間失效,連結派展開長達三十年的復仇。
  • 更遠的伏筆:復仇的終點是 2012 年的 AlexNet 與今天的深度學習盛世——而其遠祖 Neocognitron,正是寒冬天中被凍結的線索之一。

關鍵人物與文獻#

  • Marvin Minsky —— MIT AI 實驗室共同創辦人,1969 年圖靈獎
  • Seymour Papert —— 數學家、Logo 語言之父、MIT AI 實驗室共同創辦人
  • Minsky & Papert, Perceptrons: An Introduction to Computational Geometry, MIT Press, 1969(1988 年擴充版部分修正)
  • Rosenblatt, "The perceptron: A probabilistic model...", Psychological Review, 1958(見「1957-Perceptron感知器.md」)
  • Lighthill, Artificial Intelligence: A General Survey, 1973(英國 AI 寒冬的推手)
  • Rumelhart, Hinton & Williams, "Learning representations by back-propagating errors", Nature, 1986(翻案判決書)
  • 相關案件:1957-Perceptron感知器.md、1965-DENDRAL專家系統.md、1974-Werbos反向傳播先驅.md、1980-Neocognitron視覺層級模型.md、1986-反向傳播演算法.md