跳轉到

1.3 聖地牙哥 UCSD 博士後與 PDP 時代（1978–1982）#

1978 年博士畢業的辛頓，在英國找不到支持神經網路的職位。命運的轉機來自加州：聖地牙哥加州大學（UCSD）認知科學系有一筆基金的博士後職位。他在 1978 年抵達美國西海岸，遇見了本傳記中最重要的合作者——大衛·魯梅爾哈特（David Rumelhart）。

UCSD 認知科學系#

當時的 UCSD 是連結主義少數的避風港：

  • 認知科學系由諾曼（Donald Norman）等人創立，鼓勵跨心理學、語言學與計算建模；
  • 魯梅爾哈特，史丹佛數學心理學博士，正在發展「互動激活化模型」（interactive activation model）——用大量互相抑制的簡單單元解釋文字辨識；
  • 麥克萊蘭（James McClelland）與魯梅爾哈特合組研究群；系裡還有諾爾曼等人支撐氛圍；
  • 辛頓回憶初到時的震撼：「我一生中第一次，身處一個所有人都認為分散式表徵是顯而易見的好主意的房間。」

兩人互補#

辛頓與魯梅爾哈特是絕配：

辛頓 魯梅爾哈特
背景 劍橋心理學＋愛丁堡 AI 史丹佛數學心理學
直覺 大腦如何表徵結構 如何用數學形式化學習
風格 愛提大膽假設、逆向思維 嚴謹建模、逐步驗證
  • 魯梅爾哈特能寫出乾淨的數學，辛頓能提出別人想不到的問題；
  • 兩人最大的共同點：都相信智慧來自簡單單元的集體動力學，而非符號規則；
  • 這與 MIT 的明斯基—帕普特傳統、與麥卡錫的邏輯主義形成鮮明對照（→ 詳見《麥卡錫傳記》第 4 章）。

分散式表徵的推進#

UCSD 時代辛頓做出一個觀念上的關鍵突破：

  • 符號 AI 中，一個概念對應一個符號節點（局部表徵）；
  • 辛頓主張：一個概念應該對應一組神經元的活動模式；而每個神經元參與多個概念的編碼——這就是分散式表徵（distributed representation）；
  • 分散式表徵的威力：\(n\) 個二元特徵可以表徵 \(2^n\) 個概念，且相似概念自動有相似的表徵、自動泛化；
  • 1981 年他在給 MIT 的報告〈實作分散式表徵〉中系統闡述了這一思想——這份報告日後成為連結主義的經典文獻。

學習問題：卡在多層#

分散式表徵有了，但有一個致命缺口：多層網路怎麼學？

  • 感知器學習法只適用單層：直接用誤差修正權重；
  • 多層網路的中間層（隱藏層）權重看不到「正確答案」，誤差訊號無法直接指派——這就是明斯基在《感知器》中指出的 credit assignment 問題；
  • 各種嘗試——Hebb 法、競爭學習、強化式微調——都只能訓練單層或淺層結構；
  • 辛頓在 UCSD 與同事反覆嘗試「凍結一層訓練另一層」之類的土辦法，屢屢失敗。

微積分的缺口#

諷刺的是，答案就藏在最普通的微積分裡：誤差對每個權重的偏導數，可以用微積分鏈式法則逐層往回算。困難不在數學——自動微分的思想 1970 年代已有——而在於：

  • 大家不把神經單元看作可微函數（階躍函數不可微）；
  • 學界相信「生物不合理應該如此」，且普遍預期多層網路的梯度是雜訊；
  • 心理學出身的魯梅爾哈特與辛頓，恰好沒有數學家對「不可微」的潔癖：把階躍函數換成平滑的 \(S\) 形曲線 \(\sigma(x)=\frac{1}{1+e^{-x}}\)，整個網路就變成可微函數，梯度就有定義。

突破在 1982–1985 年之間分幾步到來（見 2.1、2.2），但思想的準備——分散式表徵、可微建模的勇氣——都在 UCSD 完成。

事件關聯與前因後果#

年份 事件 後續影響
1978 UCSD 博士後 與魯梅爾哈特結成研究同盟
1978–1980 約束鬆弛模型推進 通往能量模型與 Boltzmann 機
1981 〈實作分散式表徵〉報告 連結主義表徵理論的奠基文獻
1982 前後 與魯梅爾哈特、威廉斯合攻多層學習 反向傳播的重現（見 2.2）
1982 霍普菲爾德論文發表 統計力學路線開閘（見 2.1）

因果：UCSD 時期的意義可以用一句話概括——辛頓帶著問題（多層怎麼學）而來，帶著同盟與表徵理論而去。沒有分散式表徵，即使有了梯度演算法，神經網路也只是曲線擬合；有了它，才有後來 word2vec、詞向量、乃至整個 embedding 時代。這一步的哲學對手正是維根斯坦式的「意義即使用」與符號主義的「意義即符號關係」（→ 詳見《維根斯坦傳記》第 4 章）：辛頓主張意義存在於高維向量空間的幾何結構裡。

後來者的證詞#

四十年後，辛頓在多場演講中反覆強調：UCSD 時期學到的最重要一課來自魯梅爾哈特——不要先發明學習演算法，先問「想要什麼樣的表徵」，再倒推演算法。這個順序決定了連結主義與符號 AI 的根本差異：符號 AI 先有規則再有行為，連結主義先有表徵再有規則。

小結#

  • UCSD（1978–1982）是辛頓學術生涯的第一個春天：認知科學系提供了他一生僅見的友善環境；
  • 與魯梅爾哈特的互補同盟，直接孕育了 1986 年的反向傳播論文；
  • 分散式表徵的理論化是觀念上的關鍵一步：概念＝向量，意義＝幾何；
  • 多層學習的 credit assignment 難題已經被壓縮到只剩「敢不敢用微積分」；
  • 1982 年前後，兩條線同時匯流：霍普菲爾德在東岸發表網路模型，辛頓在西岸籌劃 PDP 手冊——凜冬的冰面出現裂縫（見 2.1）。