神經網路與深度學習#

本書是「人工智慧系列」四本書中的第一本（另三本為《智慧模型》、《強化學習》、《Agent 技術》）。

全書沿著 1943 年至今的神經網路演化史展開：每一次突破都是為了解決前一代架構做不到的事——感知器解不了 XOR，所以有多層網路；多層網路訓不動，所以有反向傳播；深層網路梯度消失，所以有殘差與正則化；RNN 記不住長程依賴，所以有 Attention；算力與框架成熟，才讓一切理論得以兌現。

目錄#

• 第1章-導論：從生物神經到人工智慧（1943-2026）
  • 1.1-智慧、學習與圖靈的追問（1943-1950）
  • 1.2-人工神經元的生物學原型與M-P模型（1943）
• 第2章-感知器時代與第一次寒冬（1957-1980）
  • 2.1-Rosenblatt感知器與收斂定理（1957）
  • 2.2-XOR危機與第一次寒冬（1969）
• 第3章-反向傳播與多層感知器的復興（1986）
  • 3.1-多層感知器與萬能逼近定理（1989）
  • 3.2-反向傳播演算法（1986）
• 第4章-訓練的科學：優化與正則化（1990-2015）
  • 4.1-梯度下降變體、SGD、Momentum、Adam（2014）
  • 4.2-過擬合、正則化、Dropout、BatchNorm（2015）與初始化
• 第5章-捲積神經網路：讓機器看見（1998-2012）
  • 5.1-Hubel-Wiesel、Neocognitron與LeNet（1959-1998）
  • 5.2-AlexNet與ImageNet革命（2012）、CNN架構演化VGG/ResNet（2012-2015）
• 第6章-序列模型：RNN與LSTM（1997-2014）
  • 6.1-RNN、BPTT與梯度消失問題（1986-1994）
  • 6.2-LSTM（1997）與GRU、Seq2Seq（2014）
• 第7章-Attention與Transformer革命（2017）
  • 7.1-注意力機制的誕生：從對齊模型到Bahdanau-Attention（2014-2015）
  • 7.2-Attention-Is-All-You-Need：Transformer架構全解（2017）
• 第8章-深度學習的基礎設施：算力與框架（2007-2023）
  • 8.1-GPU運算與CUDA：算力如何驅動深度學習（2007-2012）
  • 8.2-框架演化：Theano、TensorFlow與PyTorch（2010-2023）
• 第9章-深度學習理論與未來（2015-2026）
  • 9.1-表示學習、深度為何有效：流形假說與資訊瓶頸（2015-2017）
  • 9.2-縮放時代的深度學習：殘差、預訓練範式與未來方向（2015-2026）