跳轉到

10.2 機器學習中的線性代數#

前言：AI 時代的母語#

深度學習被戲稱為「矩陣乘法 + 微積分 + 大數據」；這個戲言有一半是真的：GPU 的 Tensor Core 每秒執行 \(10^{15}\) 次浮點運算，幾乎全部在算矩陣乘積。但線性代數在機器學習的角色遠深於「硬體流水線」：PageRank 是特徵向量、詞向量是嵌入矩陣、注意力是縮放點積、主成分是 SVD、正則化是 Tikhonov——本書前十幾章的每個概念都在機器學習中有直接對應。本節系統梳理這張對應表，並深挖四個經典案例。

歷史前因後果#

線性代數如何佔領 AI#

  • 1957 年，Rosenblatt 的感知機（perceptron）： \(\hat{y} = \mathrm{sign}(\mathbf{w}\cdot\mathbf{x} + b)\) ——線性代數的第一次 AI 演出（及其線性不可分困境，Minsky–Papert 1969）。
  • 1986 年，反向傳播（Rumelhart–Hinton–Williams）普及多層網路；每層是 \(W\mathbf{a} + \mathbf{b}\) 加非線性——矩陣乘法的鏈。
  • 1998 年，Page 與 Brin 的 PageRank（史丹佛，後為 Google 核心）：網路排序 = 冪法求主特徵向量（6.1 節 Perron–Frobenius 的商業化）。
  • 2003 年，Bengio 等的神經語言模型首創詞嵌入；2013 年 word2vec（Mikolov 等使嵌入平民化）：語意 = 幾何——「國王 − 男 = 王 − 女」的線性關係是向量空間的奇蹟。
  • 2014 年，注意力機制（Bahdanau 等）出現；2017 年，Transformer（Vaswani 等《Attention Is All You Need》）： \(\mathrm{softmax}\left(\frac{QK^T}{\sqrt{d}}V\right)\) ——點積（7.1 節）成為 GPT/BERT 的心臟。

  • 2020 年代：大模型時代，訓練 = 大規模矩陣乘法 + 分塊（2.3 節 GPU tiling）+ 分散式線性代數。

  • 解決了什麼問題：把「學習」變成「在高維空間中尋找好的線性組合與幾何結構」。

  • 引發了什麼新問題：表示的解釋性（機械可解釋性）、維度災難與壓縮、隱私（嵌入洩漏）、理論（為何過參數化能泛化——雙下降現象）。

對應表：本書概念 → 機器學習#

本書概念 機器學習化身
矩陣乘法（2.1） 每一層神經網路、GPU Tensor Core
消去/LU（1.3） 內核迴歸的求解、科學 ML 的離散化
線性獨立/秩（4.2–4.3） 特徵共線性、表示瓶頸、低秩微調 LoRA
正交/QR（7.2） 權重正交化（穩定訓練）、whitening
最小平方（7.3） 線性迴歸、閉式解、高斯過程
特徵值/瑞利商（6, 8.3） PCA、譜聚類、Hessian 譜與泛化
SVD（9.1–9.2） LSA、推薦系統、LoRA、隨機化降維
偽逆/正則化（9.3） 嶺迴歸、early stopping、weight decay
條件數（9.3） 訓練穩定性、層正規化（LayerNorm）的動機
冪法/譜隙（10.1） PageRank、圖神經網路的傳播分析

案例一：PageRank——特徵向量改變世界#

模型：網頁 \(i\) 的權重 \(r_i\) = 各入鏈頁權重的加權平均。向量化：

\[ \mathbf{r} = G\mathbf{r}, \qquad G = \alpha\,M + (1-\alpha)\frac{1}{n}\mathbf{1}\mathbf{1}^T \]

\(M\) 是隨機遊走轉移矩陣（列隨機）；damping \(\alpha \approx 0.85\) 保證 \(G\) 是正矩陣——Perron–Frobenius 定理（1907/1912）保證：

  1. 最大特徵值 \(\lambda_1 = 1\) 為單根（唯一平穩分布）；
  2. 冪法 \(\mathbf{r}_{k+1} = G\mathbf{r}_k\) 收斂，速率 \(= |\lambda_2| \le \alpha = 0.85\) ——每次迭代誤差縮到 85%，約 50 次達 \(0.85^{50} \approx 3\times10^{-4}\) 。

線性代數看點：damping 的作用是製造譜隙（把 \(\lambda_2\) 從 1 壓到 \(\le0.85\) ）——6.1 節冪法收斂分析（10.1 例 10.1-3）的直接應用。整個 Google 的第一版排序，是一次 270 億維的冪法迭代。

案例二：詞嵌入——語意的幾何化#

word2vec 的幾何奇蹟：訓練後的詞向量滿足線性關係

\[ \mathbf{v}_{\text{king}} - \mathbf{v}_{\text{man}} + \mathbf{v}_{\text{woman}} \approx \mathbf{v}_{\text{queen}} \]

線性代數解讀：語意空間存在「語法方向」與「語意流形」——性別、時態等概念近似為低維子空間（第 4 章）；詞在子空間上的投影座標（7.3）承載語法特徵。語意相似度 = 餘弦： \(\cos\theta = \frac{\langle\mathbf{u},\mathbf{v}\rangle}{\|\mathbf{u}\|\|\mathbf{v}\|}\) ——7.1 節內積的日常應用。後續理論（Levy–Goldberg 2014）證明 word2vec 隱含逐點互資訊矩陣的低秩分解——SVD（9.2）的變相。

案例三：注意力機制——點積的加冕#

Transformer 的自注意力：

\[ \mathrm{Attention}(Q, K, V) = \mathrm{softmax}\left(\frac{QK^T}{\sqrt{d}}\right)V \]

逐項拆解（全程線性代數）：

  1. \(QK^T\) ：查詢與鍵的成對內積矩陣（ \(QK^T\) 的 \((i,j)\) 元 = 第 \(i\) 個查詢與第 \(j\) 個鍵的相似度）——7.1 節「內積 = 相似度」；
  2. \(\frac{1}{\sqrt{d}}\) ：維度 \(d\) 大時點積方差 \(\sim d\) （柯西–施瓦茨的統計推論），除以 \(\sqrt d\) 防止 softmax 飽和——條件數/尺度控制（9.3）的隱形應用；
  3. softmax：把相似度變成機率（加權）；
  4. \(PV\) ：以機率權重線性組合值向量——第 4 章線性組合的注意力版。

幾何本質：注意力 = 「在鍵空間中找與查詢最近的方向，按相似度混合對應的值」——整個 GPT 是 \(10^{12}\) 參數的矩陣乘法之河。

案例四：矩陣補全與 Netflix#

問題：用戶–電影評分矩陣 \(R\) （ \(5\times10^5 \times 2\times10^4\) ）只觀測約 1%（1 億筆）。假設： \(R\) 近似低秩 \(k\) （口味由 \(k\) 個隱因子決定）。

定理（Candès–Recht 2009）：在隨機觀測與不變性條件下， \(O(kn\log n)\) 個觀測足以唯一補全低秩矩陣——欠採樣也能恢復全貌（壓縮感知的矩陣版）。

算法：交替最小平方（ALS）——固定 \(U\) 解 \(V\) 、固定 \(V\) 解 \(U\) ，每步是小型最小平方（7.3 + 9.3 正則化）；或 SVD 型梯度法。與 PCA（9.2）的差別：PCA 觀測全矩陣，補全處理缺失值——SVD 的「凸鬆弛」版本（核範數最小化 \(\|X\|_* = \sum\sigma_i\) ）。

例題#

例題 10.2-1（嶺迴歸的閉式解）：用 9.3 節的框架解線性迴歸：

\[ \hat{\mathbf{w}} = (X^TX + \lambda I)^{-1}X^T\mathbf{y} \]

取例 7.3-1 的資料（ \(A\) 改稱 \(X\) ， \(\mathbf{b} = (1,2,4)^T\) ）， \(\lambda = 1\) ：

\[ X^TX = \begin{bmatrix} 3 & 3 \\ 3 & 5 \end{bmatrix}, \quad X^TX + I = \begin{bmatrix} 4 & 3 \\ 3 & 6 \end{bmatrix}, \quad \det = 24 - 9 = 15 \]
\[ \hat{\mathbf{w}} = \frac1{15}\begin{bmatrix} 6 & -3 \\ -3 & 4 \end{bmatrix}\begin{bmatrix} 7 \\ 10 \end{bmatrix} = \frac1{15}\begin{bmatrix} 42 - 30 \\ -21 + 40 \end{bmatrix} = \frac1{15}\begin{bmatrix} 12 \\ 19 \end{bmatrix} \approx \begin{bmatrix} 0.8 \\ 1.267 \end{bmatrix} \]

對比無正則解 \((\frac56, \frac32) = (0.833, 1.5)\) ：嶺迴歲把係數「收縮」向零（shrinkage）——偏差略增、方差大減。SVD 視角： \(\hat{\mathbf{w}} = V\,\mathrm{diag}\left(\frac{\sigma_i}{\sigma_i^2 + \lambda}\right)U^T\mathbf{y}\) ——小奇異值方向被壓制（9.3 節理論的實現）。

例題 10.2-2（用冪法分析 Markov 鏈）：天氣鏈：晴 \(\to\) 雨 \(0.3\) 、雨 \(\to\) 晴 \(0.6\) 。轉移矩陣 \(P = \begin{bmatrix} 0.7 & 0.6 \\ 0.3 & 0.4 \end{bmatrix}\) （列視為「到」）。求平穩分布。

解： \(P^T\) 的特徵值問題 \(\pi^TP = \pi^T\) ， \(\pi_1 + \pi_2 = 1\) ：

\[ \begin{cases} 0.7\pi_1 + 0.3\pi_2 = \pi_1 \\ 0.6\pi_1 + 0.4\pi_2 = \pi_2 \end{cases} \Rightarrow 0.3\pi_2 = 0.3\pi_1 \Rightarrow \pi_1 = \pi_2 \]

正規化： \(\pi = (\frac12, \frac12)\) 。驗證特徵值： \(\det(P - I) = (0.7-\lambda)(0.4-\lambda) - 0.18 = \lambda^2 - 1.1\lambda + 0.1 = (\lambda - 1)(\lambda - 0.1)\) —— \(\lambda = 1, 0.1\) 。譜隙 \(= 0.9\) ：冪法每次誤差縮到 10%——收斂極快（第 10 次誤差 \(10^{-10}\) ）。與 PageRank 同構：天氣預報與網頁排序共用同一數學。

例題 10.2-3（LoRA：低秩微調）：大模型微調參數量 \(= d^2\) （ \(d = 4096\) ）高達 \(1.6\times10^7\) 每層矩陣。LoRA（Hu et al. 2021）把更新量 \(\Delta W\) 約束為低秩： \(\Delta W = BA\) （ \(B: d\times r\) ， \(A: r\times d\) ， \(r = 8 \sim 64\) ）。參數量 \(2dr = 2\times4096\times16 \approx 1.3\times10^5\) ——節省 100 倍以上。

理論依據：微調的更新矩陣近似低秩（本徵維度假說，Aghajanyan 2020）——Eckart–Young（9.2）的工程化身：用秩 \(r\) 的結構捕捉本質改動，丟棄噪聲維度。

與其他領域的關聯#

  • 統計：機器學習的理論基座（偏差–方差、正則化、PCA/PCR）全是統計線性代數。
  • 微積分：反向傳播 = 鏈式法則在矩陣（Jacobi 轉置乘積）上的系統化： \(\frac{\partial L}{\partial W} = \delta\,\mathbf{a}^T\) ——第 5 章矩陣微積分的深水區。
  • 圖論：圖神經網路的訊息傳遞 ≈ 鄰接矩陣冪的多項式濾波；譜 GNN 直接用拉普拉斯特徵向量。
  • 量子計算：張量網路（DMRG/TN）與低秩分解；量子機器學習借用希爾伯特空間幾何（第 8 章自伴算子）。
  • 優化：牛頓法需要 Hessian 求逆（條件數！）；L-BFGS 用低秩近似歷史梯度——9.2/9.3 概念的優化側。

本節小結#

  1. 機器學習 = 高維線性代數的工程化：層是矩陣乘、相似度是內積、降維是 SVD、正則化是 Tikhonov、排序是特徵向量。
  2. PageRank 證明「譜理論的商業價值」：damping 製造譜隙，冪法 50 步定天下。
  3. 詞嵌入與注意力把「語意」翻譯成向量幾何：餘弦相似度、子空間投影、縮放點積。
  4. 矩陣補全與 LoRA 展示低秩假設的威力：欠採樣可恢復全貌、微調只需本徵維度。

預告：旅程的最後一站——回頭凝視整本書的弧線：從《九章算術》的算籌到 GPT 的注意力，線性代數如何從「解方程的技術」長成「思維的語言」。見 10.3。