跳轉到

神經網路 -- AI 偵探風格#

以「推理探案」的方式，追查神經網路八十年（1943–2022）的每一場危機與轉身： 前因是什麼？線索在哪裡？推理如何展開？後果又如何改變了整個世界？

本卷特別追蹤兩次寒冬與三次復興—— 從 1943 年的邏輯神經元，到 2012 年的影像大爆炸，再到 2022 年的對話革命， 每一章都是「寒冬裡活下來的人，改寫了整門學科」。

核心謎題只有一個：「學習」到底是什麼？一堆簡單的神經元，如何學會看、聽、說與思考？

案件卷宗（歷史年表）#

萌芽：邏輯神經元與第一個可學習的機器（1943 – 1960）#

年份 事件 檔案
1943 McCulloch 與 Pitts 的神經元邏輯模型——神經元 = 邏輯單元 1943-麥卡洛克皮茨神經元.md
1949 Hebb《The Organization of Behavior》——Hebbian 學習規則 1949-赫布學習規則.md
1958 Rosenblatt 的感知機——第一個可學習的神經網路 1958-羅森布拉特感知機.md
1960 Widrow 與 Hoff 的 ADALINE——delta 規則與自適應濾波 1960-韋德羅ADALINE.md

第一次寒冬與伏筆（1969 – 1982）#

年份 事件 檔案
1969 Minsky 與 Papert《Perceptrons》——XOR 危機與第一次 AI 寒冬 1969-明斯基感知機寒冬.md
1980 福島邦彥的 Neocognitron——卷積架構的遠祖 1980-福島新認知機.md
1982 Hopfield 網路——能量函數與聯想記憶 1982-霍普菲爾德網路.md

第二次復興：反向傳播與深度架構（1986 – 1997）#

年份 事件 檔案
1986 Rumelhart、Hinton、Williams 的反向傳播——破解 XOR 危機 1986-反向傳播復興.md
1989 LeCun 的卷積網路——手寫數字辨識（CNN） 1989-楊立昆卷積網路.md
1997 Hochreiter 與 Schmidhuber 的 LSTM——長期記憶的誕生 1997-長短期記憶LSTM.md

深度學習時代：影像與語詞的大爆炸（2006 – 2014）#

年份 事件 檔案
2006 Hinton 的深度信念網路——「deep learning」的誕生 2006-欣頓深度信念網路.md
2012 AlexNet 拿下 ImageNet——GPU 與影像大爆炸 2012-亞歷克斯AlexNet.md
2013 Mikolov 的 word2vec——詞向量與語義算術 2013-米科洛夫詞向量.md
2014 Goodfellow 的 GAN——生成對抗網路 2014-古德費洛生成對抗網路.md

語言模型時代：注意力與對話革命（2017 – 2022）#

年份 事件 檔案
2017 Vaswani 等《Attention Is All You Need》——Transformer 2017-瓦茲瓦尼Transformer.md
2020 GPT-3——規模湧現與 in-context learning 2020-布朗GPT-3.md
2022 RLHF 與 ChatGPT——對話革命與對齊 2022-ChatGPT大型語言模型.md

四大歷史脈絡#

  1. 學習規則（Hebb → 反向傳播）：從「一起激發就連在一起」到鏈鎖律的梯度下降。
  2. 架構（McCulloch-Pitts → CNN → LSTM → Transformer）：從邏輯單元到注意力為王。
  3. 危機與復興（1969 寒冬 → 1986 復興 → 2012 爆炸）：寒冬裡活下來的人，改寫了整門學科。
  4. 從感知到生成（AlexNet → GAN → GPT-3 → ChatGPT）：神經網路從「看懂世界」到「生成世界」。

榮譽主線#

\[ \text{Hopfield/Hinton（1982/2006，神經網路）} \xrightarrow{2024} \text{諾貝爾物理學獎} \]
\[ \text{Hinton/LeCun/Bengio（1986/1989/2018，深度學習）} \xrightarrow{2018} \text{圖靈獎（見 } \texttt{資訊科學/2018-深度學習三巨頭.md}\text{）} \]

關鍵人物年表#

年代 人物 貢獻 榮譽
1943 Warren McCulloch / Walter Pitts 神經元邏輯模型 —
1949 Donald Hebb Hebbian 學習規則 —
1958 Frank Rosenblatt 感知機、收斂定理 —
1960 Bernard Widrow / Ted Hoff ADALINE、delta 規則、自適應濾波 —
1969 Marvin Minsky / Seymour Papert 《Perceptrons》、XOR 危機 Minsky 1969 圖靈獎
1980 福島邦彥 Neocognitron、卷積架構 —
1982 John Hopfield Hopfield 網路、能量函數 2024 諾貝爾物理學獎
1986 David Rumelhart / Geoffrey Hinton / Ronald Williams 反向傳播 Hinton 2018 圖靈獎
1989 Yann LeCun CNN、LeNet、MNIST 2018 圖靈獎
1997 Sepp Hochreiter / Jürgen Schmidhuber LSTM、門控記憶 —
2006 Geoffrey Hinton 深度信念網路、逐層預訓練 2018 圖靈獎、2024 諾貝爾物理學獎
2012 Alex Krizhevsky / Ilya Sutskever / Geoffrey Hinton AlexNet、GPU 訓練 2018 圖靈獎
2013 Tomas Mikolov word2vec、詞向量 —
2014 Ian Goodfellow 生成對抗網路（GAN） —
2017 Ashish Vaswani 等 Transformer、self-attention —
2020 Tom Brown 等（OpenAI） GPT-3、scaling laws —
2022 Ouyang 等（OpenAI） RLHF、InstructGPT、ChatGPT —