跳轉到

智慧模型 -- 數學書#

以淺顯的方式,搭配簡易範例與正規 TeX 數學推導,說明人工智慧/智慧模型(LLM、CNN、RL、世界模型)背後的數學。 每一節都引用 ../ 資料夾的歷史卷宗作為典故,讓理論與歷史並行。

智慧模型的核心,是「學習」取代「編程」成為主角:

  • 邏輯神經元: \(y = \Theta\!\left(\sum_i w_i x_i\right)\) ,用數學模擬神經元。
  • 梯度學習: \(w \leftarrow w - \eta\, \nabla L(w)\) ,讓誤差自己教網路。
  • 能量與機率: \(P(x) \propto e^{-E(x)}\) ,把「智慧」寫成機率分布。
  • 注意力: \(\mathrm{Attention}(Q,K,V) = \mathrm{softmax}(QK^\top/\sqrt{d_k})V\) ,大模型的統一語言。
  • 決策:貝爾曼方程 \(V^\pi(s) = \mathbb{E}_\pi[r + \gamma V^\pi(s')]\) ,強化學習的核心。
  • 世界模型:學出 \(\hat s_{t+1} = f_\theta(s_t, a_t)\) ,在想像中規劃行動。

目錄#

第 1 章:從生物到數學——神經元的模型化#

節 標題 重點
01.1 神經元與邏輯運算 McCulloch–Pitts 模型、線性閾值單元、M-P 網路
01.2 學習規則與權重更新 Hebb 律、聯想記憶的數學、外積儲存

第 2 章:線性模型與梯度學習#

節 標題 重點
02.1 感知器與線性分類 Perceptron 收斂定理、線性可分、XOR 危機
02.2 損失函數與梯度下降 MSE、交叉熵、梯度下降、動量與 Adam

第 3 章:多層網路與反向傳播#

節 標題 重點
03.1 活化函數與泛近似定理 sigmoid、ReLU、universal approximation
03.2 反向傳播演算法 鏈鎖律、計算圖、自動微分

第 4 章:機率與能量觀點#

節 標題 重點
04.1 Hopfield 網路與能量函數 對稱權重、能量下降、記憶吸子
04.2 Boltzmann 機器與 softmax 溫度、Gibbs 分布、生成模型濫觴
04.3 熵、KL 散度與資訊理論 Shannon 熵、交叉熵 Loss、KL 正則化

第 5 章:感知與序列——CNN 與 Transformer#

節 標題 重點
05.1 CNN 與權重共享 離散二維摺積、池化、平移等變性(群論觀點)
05.2 注意力機制與 Transformer \(QK^\top\) 、softmax 加權、動態權重圖
05.3 位置編碼與 RoPE 旋轉矩陣、相對位置偏置

第 6 章:語言模型與生成模型#

節 標題 重點
06.1 機率語言模型 n-gram、詞向量、條件機率連鎖律、困惑度
06.2 擴散模型與隨機微分方程 前向加噪、反向去噪、SDE 與伊藤清微積分
06.3 規模法則與湧現 冪律、Chinchilla 定則、損失外推

第 7 章:強化學習——決策的數學#

節 標題 重點
07.1 MDP 與貝爾曼方程 馬爾可夫性、貝爾曼算子、壓縮映射與收斂
07.2 策略梯度與 PPO 對數導數技巧、REINFORCE、KL 限制步長

第 8 章:世界模型與物理 AI#

節 標題 重點
08.1 哈密頓神經網路與守恆學習 HNN、辛幾何、辛積分器、可微物理
08.2 世界模型與隱空間規劃 H-JEPA、MPC、CEM 隱空間搜尋

附錄#

節 標題 重點
A1 數學符號表 本書使用的向量、矩陣、機率符號

核心數學地圖#

                       ┌─────────────────────────────────────────┐
                       │           核心四大基礎數學              │
                       │ 1. 線性代數  2. 微積分  3. 機率論  4. 優化 │
                       └───────────────────┬─────────────────────┘
                                           │
         ┌─────────────────────────────────┼─────────────────────────────────┐
         ▼                                 ▼                                 ▼
  【感知與生成】                    【決策與時序】                    【物理與世界模型】
  • CNN: 離散卷積、群平移不變性     • RL: 馬爾可夫過程 (MDP)          • HNN: 哈密頓力學、辛流形守恆
  • LLM: RoPE 旋轉矩陣、Softmax     • RL: 貝爾曼壓縮映射定理          • H-JEPA: 特徵函數、CEM 隱空間搜尋
  • Diffusion: 隨機微分方程 (SDE)   • RL: 策略梯度定理 (Log-Trick)    • 可微物理: 隱式求導、辛積分器

學習路徑建議#

  1. 入門:01.1 → 01.2 → 02.1(先看懂神經元與線性分類,動手算幾個例子)。
  2. 理論加深:02.2 → 03.1 → 03.2(梯度學習與反向傳播,深度學習的引擎)。
  3. 機率觀點:04.1 → 04.2 → 04.3 → 06.2(能量模型、資訊理論與生成模型)。
  4. 感知與語言:05.1 → 05.2 → 05.3 → 06.1 → 06.3(CNN、Transformer、大模型)。
  5. 決策與物理:07.1 → 07.2 → 08.1 → 08.2(RL 與世界模型,接回歷史卷宗的現代篇)。

配套資源#