第 6 章　傑弗里·辛頓、楊立昆與反向傳播的孤膽救援#

6.2 楊立昆（Yann LeCun）與 CNN 卷積神經網絡：1989 年貝爾實驗室手寫數字識別（LeNet）的突破#

6.2.1 從巴黎到多倫多到貝爾實驗室#

楊立昆（Yann LeCun, 1960–）法國人，皮埃爾與瑪麗·居里大學博士（1987，其間訪問多倫多在辛頓門下做博士後）。1988 年加入新澤西的 AT&T 貝爾實驗室（Holmdel）。他繼承福島邦彥（Kunihiko Fukushima）1980 年 Neocognitron 的層級視覺結構思想，設計出卷積神經網絡（CNN）：局部感受野＋權重共享＋下採樣（pooling）——以極少參數學平移不變的視覺特徵。

6.2.2 1989 年郵政系統上線#

1989 年 LeCun 等人（含 Bernhard Boser、John Denker 等）發表手寫數字識別的反向傳播網絡，以美國郵政的 ZIP 碼數據訓練；1990 年代初發展為 LeNet 系列，並以 C 語言實作成商業系統：

• 1990s 中期，全球相當比例的支票以「LeNet 家族」系統自動讀取金額——據 LeCun 自述，此類系統在 1990s 末曾處理過全球 10–20% 的支票量；
• NIST/MNIST 手寫數據集（LeNet 與 NIST 合作整理，後由 Burges 等規範為 MNIST）成為此後二十年機器學習的入門基準。

這是神經網絡第一次大規模真實部署——比深度學習熱潮早了二十年。

6.2.3 郁悶的 1990s：做對了卻被冷落#

即便有商用成功，1990s 末神經網絡學界仍被 SVM 與統計學派壓制（6.3）；貝爾實驗室在 AT&T 分拆後經費與人事動盪，LeCun 轉赴 NYU（2003）。他後來自嘲：1995 年前後在頂會投 CNN 論文常被拒，審稿意見是「神經網絡已死」。

6.2.4 前因後果#

• 前因：福島 Neocognitron＋反向傳播＋貝爾實驗室的工程資源。
• 事件：1989 郵政數字識別、1990s LeNet 商用。
• 後果：CNN 的工程可行性被證明；其構件（卷積、池化、權重共享）將在 2012 年 AlexNet 中與 GPU 結合而引爆（7.2）；LeCun 亦於 2018 獲圖靈獎，後任 Meta 首席 AI 科學家。

下一節：6.3 SVM 壓制