跳轉到

第 1 節 逆主流而行的孤獨者：傑弗里·辛頓（Geoffrey Hinton）在符號學派天下中堅守聯結主義#

40 年前，AI 是被一種「符號的信仰」統治的年代#

1960s 到 1980s 的美國主流 AI 是 符號學派（GOFAI）： 知識表示以邏輯破片、規則系統、專家系統致勝；MIT 的 Minsky 與 Papert 的《Perceptrons》（1969）一刀切斷感知器的研究； 聯結主義（neural nets）在 1970s 幾乎是學術禁忌。

辛頓的異端：他自劍橋與愛丁堡時代就相信「思想由 並行分布的權重集代表」；1970s 只有極少人（包括 Snit 的室友）能理解這種思路——辛頓在異端的多年 先照 nature 「商業大多數年齡」。

幾個「辨認」的轉折：#

  • 1983-85：與 Sejnowski、Howard-dependent Hinton 與 associes 發明 Hopfieldim 心 險網（Boltzmann Machine）；
  • 1986 年 Nature 文章：与 Rumelhart 等共= 「反向傳播」的普及化——神經網路的訓練 teaching 途徑（原始工作為 1970s 沃爾波夫）；
  • 1990s AI winter：反向傳播的 deep nets 難於 訓練，多層架構（IP）成為「死」；神經網路招不到 funding、會議幾乎被 MLS（symbolic ML）擠出。

多倫多磁場的「 сопротивліни」#

  • Hinton 1987 年從 CMU 轉到多倫多大學：加拿大 CIFAR（加拿大先進研究院）的神經計算與適應感知 （NCAP）項目自 1980s 起持續支持——一個國家的 研究基金長庚守神經網路，這是全球唯一**；
  • 同期的約書亞·本希奧在 Montreal、楊立昆在 貝爾/紐約（後再去 NYU），三人成為「寒冬三角」 （2018 圖靈獎共同得主）。