智慧模型 -- 數學書
以淺顯的方式,搭配簡易範例與正規 TeX 數學推導,說明人工智慧/智慧模型(LLM、CNN、RL、世界模型)背後的數學。 每一節都引用 ../ 資料夾的歷史卷宗作為典故,讓理論與歷史並行。
智慧模型的核心,是「學習」取代「編程」成為主角:
- 邏輯神經元: \(y = \Theta\!\left(\sum_i w_i x_i\right)\) ,用數學模擬神經元。
- 梯度學習: \(w \leftarrow w - \eta\, \nabla L(w)\) ,讓誤差自己教網路。
- 能量與機率: \(P(x) \propto e^{-E(x)}\) ,把「智慧」寫成機率分布。
- 注意力: \(\mathrm{Attention}(Q,K,V) = \mathrm{softmax}(QK^\top/\sqrt{d_k})V\) ,大模型的統一語言。
- 決策:貝爾曼方程 \(V^\pi(s) = \mathbb{E}_\pi[r + \gamma V^\pi(s')]\) ,強化學習的核心。
- 世界模型:學出 \(\hat s_{t+1} = f_\theta(s_t, a_t)\) ,在想像中規劃行動。
目錄
第 1 章:從生物到數學——神經元的模型化
| 節 | 標題 | 重點 |
| 01.1 | 神經元與邏輯運算 | McCulloch–Pitts 模型、線性閾值單元、M-P 網路 |
| 01.2 | 學習規則與權重更新 | Hebb 律、聯想記憶的數學、外積儲存 |
第 2 章:線性模型與梯度學習
| 節 | 標題 | 重點 |
| 02.1 | 感知器與線性分類 | Perceptron 收斂定理、線性可分、XOR 危機 |
| 02.2 | 損失函數與梯度下降 | MSE、交叉熵、梯度下降、動量與 Adam |
第 3 章:多層網路與反向傳播
| 節 | 標題 | 重點 |
| 03.1 | 活化函數與泛近似定理 | sigmoid、ReLU、universal approximation |
| 03.2 | 反向傳播演算法 | 鏈鎖律、計算圖、自動微分 |
第 4 章:機率與能量觀點
第 6 章:語言模型與生成模型
第 7 章:強化學習——決策的數學
第 8 章:世界模型與物理 AI
附錄
| 節 | 標題 | 重點 |
| A1 | 數學符號表 | 本書使用的向量、矩陣、機率符號 |
核心數學地圖
┌─────────────────────────────────────────┐
│ 核心四大基礎數學 │
│ 1. 線性代數 2. 微積分 3. 機率論 4. 優化 │
└───────────────────┬─────────────────────┘
│
┌─────────────────────────────────┼─────────────────────────────────┐
▼ ▼ ▼
【感知與生成】 【決策與時序】 【物理與世界模型】
• CNN: 離散卷積、群平移不變性 • RL: 馬爾可夫過程 (MDP) • HNN: 哈密頓力學、辛流形守恆
• LLM: RoPE 旋轉矩陣、Softmax • RL: 貝爾曼壓縮映射定理 • H-JEPA: 特徵函數、CEM 隱空間搜尋
• Diffusion: 隨機微分方程 (SDE) • RL: 策略梯度定理 (Log-Trick) • 可微物理: 隱式求導、辛積分器
學習路徑建議
- 入門:01.1 → 01.2 → 02.1(先看懂神經元與線性分類,動手算幾個例子)。
- 理論加深:02.2 → 03.1 → 03.2(梯度學習與反向傳播,深度學習的引擎)。
- 機率觀點:04.1 → 04.2 → 04.3 → 06.2(能量模型、資訊理論與生成模型)。
- 感知與語言:05.1 → 05.2 → 05.3 → 06.1 → 06.3(CNN、Transformer、大模型)。
- 決策與物理:07.1 → 07.2 → 08.1 → 08.2(RL 與世界模型,接回歷史卷宗的現代篇)。
配套資源