A1 數學符號表#
本書使用的符號#
向量與矩陣（線性代數）#
| 符號 | 意義 | 出現章節 |
|---|---|---|
| \(\mathbf{x}, \mathbf{w}\) | 輸入向量、權重向量 | 01.1 起 |
| \(\mathbf{x}^\top \mathbf{y}\) | 內積（點積） \(= \sum_i x_i y_i\) | 02.1、05.2 |
| \(\|\mathbf{x}\|\) | 歐氏範數 \(\sqrt{\sum_i x_i^2}\) | 02.1 |
| \(W, W^\top\) | 權重矩陣、轉置 | 03.2 |
| \(\odot\) | Hadamard 積（逐元素乘） | 03.2 |
| \(\mathbf{J}\) | 斜對稱結構矩陣 \(\begin{pmatrix} 0 & I \\ -I & 0 \end{pmatrix}\) | 08.1 |
| \(\mathrm{Cov}(\mathbf{e})\) | 協方差矩陣 | 08.2 |
| \(Q, K, V\) | 注意力的查詢、鍵、值矩陣 | 05.2 |
| \(R_{\Theta,m}\) | RoPE 的分塊旋轉矩陣 | 05.3 |
微積分與優化#
| 符號 | 意義 | 出現章節 |
|---|---|---|
| \(\nabla L\) | 梯度 | 02.2 |
| \(\partial L / \partial W\) | 偏導數（參數梯度） | 03.2 |
| \(\delta^{(l)}\) | 第 \(l\) 層誤差向量 | 03.2 |
| \(\eta\) | 學習率 | 02.2 |
| \(\sigma(z)\) | 活化函數（sigmoid／ReLU） | 03.1 |
| \(\dot{q}, \ddot{q}\) | 對時間的一階、二階導數 | 08.1 |
機率與資訊理論#
| 符號 | 意義 | 出現章節 |
|---|---|---|
| \(P(x), p(x)\) | 機率、機率密度 | 04.2 |
| \(P(x \mid y)\) | 條件機率 | 06.1 |
| \(\mathbb{E}[\cdot]\) | 期望值 | 02.2 |
| \(\mathrm{softmax}(\mathbf{z})_k\) | \(\dfrac{e^{z_k/T}}{\sum_{k'} e^{z_{k'}/T}}\) | 04.2 |
| \(H(p)\) | Shannon 熵 | 04.3 |
| \(H(p, q)\) | 交叉熵 | 04.3 |
| \(D_{\mathrm{KL}}(p \,\|\, q)\) | KL 散度 | 04.3 |
| \(Z\) | 配分函數（歸一化常數） | 04.2 |
| \(\mathrm{Var}(\cdot)\) | 變異數 | 05.2 |
序列與時序#
| 符號 | 意義 | 出現章節 |
|---|---|---|
| \(w_t\) | 第 \(t\) 個詞元 | 06.1 |
| \(w_{<t}\) | 前 \(t-1\) 個詞元 | 06.1 |
| \(s_t, a_t, r_t\) | 時序中的狀態、動作、獎勵 | 07.1 |
| \(\pi(a \mid s)\) | 策略：狀態下動作的機率 | 07.1 |
| \(\gamma\) | 折扣因子 \(\in [0,1)\) | 07.1 |
| \(V^\pi(s), Q^\pi(s,a)\) | 狀態價值、動作價值函數 | 07.1 |
| \(A^\pi(s,a)\) | 優勢函數 \(Q^\pi - V^\pi\) | 07.2 |
常用函數#
| 符號 | 定義 |
|---|---|
| \(\Theta(z)\) | 階梯函數 \(\mathbb{1}[z \ge 0]\) |
| \(\sigma(z)\) | \(\dfrac{1}{1 + e^{-z}}\) |
| \(\mathrm{ReLU}(z)\) | \(\max(0, z)\) |
| \(\tanh(z)\) | \(\dfrac{e^z - e^{-z}}{e^z + e^{-z}}\) |
| \(\mathrm{sgn}(z)\) | 符號函數 |
| \(\mathbb{1}[\cdot]\) | 指示函數（條件真則 1） |