第 2 節 寒冬中的火種：Hinton、Bengio 與 LeCun 如何在孤立無援中推動反向傳播與早期神經網路？#

三個人的火種地圖#

• Hinton（多倫多）：反向傳播、Boltzmann 機、深度信念網、 2012 AlexNet；
• LeCun（NYU / 昔日貝爾）：1989 卷積神經網路 (LeNet)， 應用於美國支票辨識，是唯一在寒冬中商業化的深度模型；
• Bengio（蒙特婁）：長短記憶之後的 Attention 基石、 word embeddings，以及 2003 年的發表《A Neural Probabilistic Language Model》——那是 NLP 神經化的起點。

磁場的另一種形態：審稿卑量的敗部復活#

「AlexNet」（2012）的前置劇情： - 2006：Hinton 提出深度信念網的逐層預訓練， 把 deep net 訓練回可能； - 2007：NVIDIA 的 CUDA 讓 GPU 科學計算成為通用； - 2009：Toronto 團隊在ImageNet 放上 1000 萬張 圖像（李飛飛主導）；

於是 2012 年 10 月，Hinton 兩名學生 Krizhevsky、Sutskever 以 2 張 GTX 580 GPU、AlexNet，把 Top-5 error 從 26% 推到 15.3%，比第二名低 10+ 個百分點——當年其他人不接受 「GPU + CNN」！ 結論把 AI 從符號學派的「規則」 改寫為端到端學習；磁場向「實現」的世界門开放。