智慧模型：語言、影音與世界模型#

本書是「人工智慧系列」四本書中的第二本（另三本為《神經網路與深度學習》、《強化學習》、《Agent 技術》）。

第一本書講「器官」——神經網路如何從感知器演化到 Transformer；本書講「心智」——用這些器官造出的各種智慧模型：語言模型、生成模型、影音模型、世界模型，以及它們之間互相驅動的歷史邏輯。

全書主線：每一次模型範式的躍遷，都是為了解決上一代模型做不到的事——n-gram 遇到稀疏性，所以有神經語言模型；神經語言模型遇到長程依賴，所以有 Attention；生成模型遇到模式崩塌，所以有擴散模型；純生成遇到物理幻覺，所以有世界模型；預訓練縮放遇到能力天花板，所以有推理模型。

目錄#

• 第1章-什麼是智慧模型（1943-2026）
  • 1.1-從符號主義到連結主義：智慧表示之爭（1950-2010）
  • 1.2-智慧模型的分類地圖：語言、影音、世界模型
• 第2章-語言模型的起源：統計時代（1980-2017）
  • 2.1-n-gram語言模型與平滑技術（1980-2000）
  • 2.2-神經語言模型：詞向量word2vec與RNN-LM（2003-2016）
• 第3章-預訓練革命：BERT 與 GPT（2018-2019）
  • 3.1-GPT-1與自迴歸預訓練：生成路線（2018）
  • 3.2-BERT與遮罩語言模型：理解路線與兩條路線之爭（2018）
• 第4章-大語言模型與縮放定律（2020-2023）
  • 4.1-GPT-3與In-context-Learning、湧現能力（2020）
  • 4.2-Chinchilla縮放定律與開源模型LLaMA（2022-2023）
• 第5章-後訓練與對齊：讓模型聽懂人話（2022-2024）
  • 5.1-InstructGPT與RLHF三階段（2022）
  • 5.2-DPO、Constitutional-AI與對齊的代價（2023-2024）
• 第6章-圖像生成模型（2014-2022）
  • 6.1-VAE與GAN：生成模型的兩大原型（2013-2014）
  • 6.2-擴散模型DDPM與Stable-Diffusion（2020-2022）
• 第7章-影音生成與多模態（2021-2026）
  • 7.1-影音生成的難點與Sora的DiT架構（2024）
  • 7.2-多模態大模型：CLIP、GPT-4V與原生多模態（2021-2026）
• 第8章-世界模型：讓模型理解物理世界（2018-2026）
  • 8.1-Ha與Schmidhuber世界模型與model-based路線（2018）
  • 8.2-JEPA與LeCun的世界模型主張：Sora是世界模型嗎（2022-2026）
• 第9章-智慧模型的統一與未來（2024-2026）
  • 9.1-Gato、RT-2與基礎模型大一統：Scaling的終點
  • 9.2-推理模型o1R1與智慧模型的下一章（2024-2026）