第 3 章 弗蘭克·羅森布拉特與感知機(Perceptron):神經網絡的第一次高光#
3.3 夢想的破滅:早期感知機只能處理線性可分問題的致命物理極限#
3.3.1 極限的數學:線性可分性#
單層感知機的分類決策是一個超平面:
\[ \sum_i w_i x_i + b = 0 \]
凡是能被一條(或一個超平面)切開的樣本集,它都能學;不能切開的,它永遠學不會。最簡單的反例是 XOR(異或):(0,0)→0、(1,1)→0、(0,1)→1、(1,0)→1——這四點在平面上無法用一條直線把 0 類與 1 類分開。早在 1960 年代初即有學者指出此點(明斯基與派珀特亦獨立論證);1969 年明斯基與派珀特把它寫成書(4.1),成為官方死刑判決。
3.3.2 更深一層:多層解法存在,卻無法訓練#
其實把多個感知機層疊(多層網絡)就能解 XOR——羅森布拉特知道這一點。問題在於:當年的學習規則只能對「最後一層」有效,中間層的權重不知道該怎麼調(誤差「傳不回去」)。缺的那把鑰匙,叫反向傳播(Backpropagation)——要到 1986 年才被辛頓等人系統化推廣(6.1)。換句話說:感知機不是死了,而是「欠了 17 年的訓練算法」。
3.3.3 羅森布拉特的結局#
1960s 末經費收縮,感知機研究停擺;羅森布拉特本人於 1971 年 7 月在切薩皮克灣划船事故中喪生(43 歲)。他生前最後幾年已轉向神經網絡的數學理論,並明確寫過多層網絡的研究議程——歷史欠他一句「方向是對的,只是早了二十年」。
3.3.4 前因後果#
- 前因:單層結構+學習規則只及末層+硬體與理論雙重侷限。
- 事件:1961–69 極限被系統證明;1969《Perceptrons》出版。
- 後果:連接學派第一次死亡;符號學派全面接管資源(4.2);「多層+可訓練」從此成為神經網絡陣營的聖杯,直到 1986 年反向傳播兌現(6.1)。