跳轉到

6.1 有限維譜定理與矩陣對角化#

本章導言#

證明無窮維譜定理之前，必須把有限維版本徹底想清楚——它不僅是特例，更是所有推廣的模板。有限維譜定理：實對稱矩陣（複自伴矩陣）可正交對角化；正規矩陣可酉對角化。這是 Euler（1763 慣性定理前驅）、Cauchy（1829 對稱行列式實特徵值）、Jacobi（1846 主軸變換）、Sylvester（1852 慣性定理）、Weierstrass（1868 初等因子）、Gram–Schmidt（1883）長達一個世紀的累積。本節用算子語言重述這一理論，並預告 6.2、6.3 節的推廣方向。

定理與證明#

定理 6.1.1（實對稱/自伴矩陣的譜定理）： \(A = A^\dagger \in M_n(\mathbb{C})\) 。則存在正交基 \(\{u_1, \ldots, u_n\}\) （ \(A\) 的特徵向量）與實數 \(\lambda_1, \ldots, \lambda_n\) 使

\[ A = \sum_{j=1}^n \lambda_j u_j u_j^\dagger, \qquad A = U \operatorname{diag}(\lambda_j) U^\dagger. \]

證明（極值法，Hilbert 1906 的有限維版本）：取 \(\|u_1\| = 1\) 使 \(|\langle Au, u\rangle|\) 極大（緊性：單位球緊）。 \(u_1\) 是特徵向量：考慮 \(g(t) = \langle A(u_1 + tv), u_1 + tv\rangle\) （ \(v \perp u_1\) ， \(\|u_1 + tv\| = 1 + t^2\) 歸一化）， \(t = 0\) 是極值 \(\Rightarrow \operatorname{Re}\langle Av, u_1\rangle = 0\) 對一切 \(v \perp u_1\) ；用 \(iv\) 的旋轉技巧得 \(\langle Av, u_1\rangle = 0\) 全部，即 \(u_1 \in \ker(A - \lambda_1)^\perp\) 的關係倒推 \(Au_1 = \lambda_1 u_1\) （利用自伴性： \(A(\operatorname{span}u_1) \subset \operatorname{span}u_1\) 蘊含 \(A(\operatorname{span}u_1)^\perp \subset (\operatorname{span}u_1)^\perp\) ）。歸納：在 \(u_1^\perp\) 上 \(A\) 仍自伴，重複。∎

定理 6.1.2（正規矩陣）： \(A\) 正規（ \(AA^\dagger = A^\dagger A\) ） \(\iff\) \(A\) 酉對角化。特徵值不必實、特徵向量仍正交。

證明要點：Schur 三角化（1909）——任何矩陣酉相似於上三角 \(T\) ；正規+上三角 \(\Rightarrow\) 對角（比較 \(\|T\|^2\) 與 \(\|T^\dagger\|^2\) 的對角元）。∎

注意「正交對角化」是特權：一般矩陣只能三角化（Schur）或化為 Jordan 型（4.3）——自伴/正規性把 Jordan 尾巴壓死。

二次型與慣性#

Sylvester 慣性定理（1852）：實對稱矩陣 \(A\) 的二次型 \(x^TAx\) 經線性變換可化為 \(\sum_{i\le p} y_i^2 - \sum_{j\le q} y_j^2\) ，其中 \((p, q)\) （正、負慣性指數）是 \(A\) 的不變量。

慣性定理的算子意義：自伴算子按符號分類，而不按特徵值分類——這是拓撲式的不變量（連通性成分），在 Morse 理論（流形的 Hessian 慣性指數=臨界點指標）中重生。譜定理給出「精確對角化」，慣性定理給出「粗分類」；兩者的張力（精確 vs 拓撲）貫穿後世： \(K\) 理論正是「慣性思想」的高級形態。

例題#

例題 6.1.1：對 \(A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix}\) ：(a) 求特徵對並正交對角化；(b) 用 Rayleigh 商 \(R(x) = \frac{x^TAx}{x^Tx}\) 的極值解釋特徵值；(c) 寫出譜分解 \(A = \sum \lambda_j P_j\) 。

解：(a) \(\det(A - \lambda I) = (\lambda - 2)^2 - 1\) ， \(\lambda = 1, 3\) 。 \(\lambda = 3\) ： \(u_1 = \frac{1}{\sqrt2}(1,1)\) ； \(\lambda = 1\) ： \(u_2 = \frac{1}{\sqrt2}(1,-1)\) 。正交 ✓。 \(A = 3u_1u_1^T + 1u_2u_2^T\) 。

(b) \(R(x) = \frac{2x_1^2 + 2x_1x_2 + 2x_2^2}{x_1^2 + x_2^2}\) 。在單位圓上， \(R\) 的極大=3（ \(x \parallel u_1\) ）、極小=1（ \(x \parallel u_2\) ）——特徵值=二次型的臨界值，這是 Rayleigh（1873）振動力學的洞察：固有頻率平方=能量商的駐值。

(c) 譜投影 \(P_1 = u_1u_1^T = \frac12\begin{pmatrix}1&1\\1&1\end{pmatrix}\) 、 \(P_2 = I - P_1\) ； \(A = 3P_1 + 1P_2\) ——矩陣=譜值的加權投影和，這是譜積分（6.3）的離散雛形。∎

例題 6.1.2：用譜分解證明：實對稱正定矩陣 \(A > 0\) 的 Cholesky 分解存在，且 \(\det A = \prod \lambda_j\) 、 \(\operatorname{tr}A = \sum \lambda_j\) 。

解： \(A > 0 \iff\) 全部 \(\lambda_j > 0\) （Rayleigh 商非負）。取 \(S = U\operatorname{diag}(\sqrt{\lambda_j})U^\dagger\) ，則 \(S^\dagger S = A\) （平方根分解）。跡與行列式是酉不變量， \(U(\operatorname{diag}\lambda)U^\dagger\) 化為對角即得。∎

演算的萌芽： \(f(A) = \sum f(\lambda_j)P_j\)#

譜分解的真正威力：對任何函數 \(f\) （只需在譜上有定義），定義

\[ f(A) = \sum_{j=1}^n f(\lambda_j) P_j. \]

矩陣函數、矩陣指數 \(e^{tA} = \sum e^{t\lambda_j}P_j\) （常微分方程的解！）、平方根、偽逆——全部統一。多項式演算（4.1 譜映射定理）擴張為任意函數演算，其唯一性（若 \(f(A)\) 由連續性/多項式逼近定義）是 8.2 節連續函數演算的有限維預告。矩陣函數的應用史：Cayley–Hamilton（1858）開啟多項式演算；Putnam（1951）與矩陣函數理論成熟；今日控制理論的矩陣指數、PageRank 的幂法，都在此框架內。

歷史啟示#

  • 主軸定理的幾何起源：二次曲面的主軸（Cauchy 1829、Jacobi 1846）是譜定理的物理原型：橢圓的長短軸=對稱矩陣的特徵向量。幾何（主軸）→ 力學（固有頻率）→ 算子理論是譜定理的傳播路線。
  • 正交性是自伴性的獎賞：對稱矩陣的不同特徵向量正交（3.2 定理的有限維情形）；Jordan 尾巴被對稱性消滅。「對稱⇒對角化」是全書最被反覆使用的主題。
  • 演算統一了「解方程」： \(e^{tA} = \sum e^{t\lambda_j}P_j\) 把 ODE 系統的求解變成譜的計算——譜定理是「把動力學變成靜力學」的機器。

與其他章節及領域的關聯#

  • 3.2 節：自伴性的實譜與正交性在此獲得完全實現。
  • 4.3 節：Jordan 理論的「好情形」= 本節；Jordan 尾巴的消失機制（對稱性）是核心教訓。
  • 6.2 節：緊自伴算子譜定理=本節的無窮維緊推廣（特徵值無窮多、趨於 \(0\) ）。
  • 6.3 節：一般自伴算子的譜積分=本節的「無窮多項加權投影和」的測度論化。
  • 第 8 章：函數演算的抽象化（連續演算、Borel 演算）。
  • 第 9 章： \(e^{tA}\) 是半群理論的有限維特例；生成元的譜決定解的衰減率。
  • 機器學習：PCA（主成分分析）= 協方差矩陣的譜分解（1901 Pearson、1933 Hotelling）；譜聚類=圖 Laplacian 的譜分解。譜定理是數據科學的引擎。

練習#

  1. 對 \(A = \begin{pmatrix} 1 & 2 \\ 2 & 4 \end{pmatrix}\) （半正定）求譜分解、平方根 \(A^{1/2}\) 、偽逆 \(A^+\) 。
  2. 證明正規矩陣的譜定理（用 Schur 三角化），並驗證酉矩陣 \(U = \frac{1}{\sqrt2}\begin{pmatrix}1&i\\i&1\end{pmatrix}\) 的特徵值在單位圓上。
  3. 證明慣性定理（提示：兩個分解 \(\Sigma_p\) 與 \(P\Lambda P^T\) 的維數論證）。
  4. 用 Cayley–Hamilton 對例題 6.1.1 的 \(A\) 計算 \(A^{10}\) （不用乘 10 次）。
  5. 思考題：為什麼 PCA 用協方差矩陣的「前 \(k\) 個特徵向量」？用 Rayleigh 商與「最佳 \(k\) 維近似」（Eckart–Young 定理 1936 的對稱版）說明。

進階研讀：三個深化場景#

場景一：Schur 分解與 QR 算法。Schur 三角化（1909）在 1961 年變成 QR 算法（Francis 隱式位移）：數值特徵值計算的工業標準。譜定理的構造性面——不僅「存在」，而且「可算」——是數值線性代數的核心成就（Wilkinson 1965《代數特徵值問題》）。

場景二：Eckart–Young 定理與奇異值。 \(A\) 的最佳秩 \(k\) 逼近由最大奇異值給出（1936）。奇異值分解（SVD，Beltrami 1873、Jordan 1874 先驅；1930s 電腦時代復活）= 非對稱矩陣的「譜定理」： \(A = U\Sigma V^\dagger\) 。它把 6.2 節的 \(T^\dagger T\) 理論（奇異值=自伴算子 \(|A|\) 的特徵值）提前到有限維。

場景三：慣性定理的拓撲化。Morse 理論（1925–1934）：光滑函數臨界點的 Hessian 慣性指數=臨界點的 Morse 指標，其計數（Morse 不等式）控制流形拓撲。從 Sylvester 的二次型不變量到 Morse 理論到 \(K\) 理論，「粗分類不變量」的思想線貫穿 20 世紀——譜定理的精確性與慣性定理的拓撲性是互補的兩極。

名詞速查表#

  • 譜定理（有限維）： \(A = A^\dagger \Rightarrow A = \sum \lambda_j P_j\) ，特徵向量正交基。
  • 正規矩陣：酉對角化 \(\iff\) 正規。
  • 慣性定理： \((p, q)\) 是二次型的拓撲不變量。
  • Rayleigh 商：特徵值=二次型臨界值； \(\lambda_1 = \min R\) 、 \(\lambda_n = \max R\) 。
  • 譜分解演算： \(f(A) = \sum f(\lambda_j)P_j\) 。
  • Cholesky 分解：正定矩陣的平方根分解。
  • Eckart–Young 定理：最佳低秩逼近=最大奇異值截斷。

年表速查#

  • 1826–1829：Cauchy 對稱矩陣實特徵值與主軸。
  • 1846：Jacobi 主軸變換與同時對角化。
  • 1852：Sylvester 慣性定理。
  • 1858：Cayley–Hamilton 定理、矩陣代數。
  • 1868：Weierstrass 初等因子。
  • 1873–1874：Beltrami、Jordan 奇異值分解先驅。
  • 1883：Gram–Schmidt 正交化。
  • 1909：Schur 三角化。
  • 1933：Hotelling 主成分分析。
  • 1936：Eckart–Young 定理。
  • 1961–1965：QR 算法與數值譜理論成熟。

深化問答三則#

問：譜定理的證明為什麼需要「極值達到」？ 答：因為第一個特徵向量是 Rayleigh 商的極大點。有限維中單位球緊、連續函數達到極值——免費。無窮維中單位球不緊（Riesz 引理），極值可能不達到；緊性（第 5 章）或弱緊性（2.3）成為必要的補償。譜定理的無窮維推廣史=「極值達到性」的補救史：緊算子（6.2）用緊性，一般自伴算子（6.3）放棄極值法改用投影值測度。

問：正規性比自伴性多了什麼？ 答：允許複特徵值（旋轉、相位）。物理上：自伴=可觀測量，正規（尤其酉）=對稱操作與時間演化。6.3 節譜定理對正規算子成立（譜在 \(\mathbb{C}\) 、譜測度在複平面），自伴情形譜在實軸——「實譜+自伴函數值」是可觀測量的數學封印。

問：SVD 為什麼被稱為「矩陣分析的頂峰」？ 答：因為它對任意矩陣成立（不需要方陣、不需要對稱），把矩陣的幾何（旋轉-伸縮-旋轉）、譜（奇異值）、逼近（Eckart–Young）、統計（PCA）、壓縮（低秩）全部統一。數學上 SVD = \(|A| = (A^\dagger A)^{1/2}\) 的譜定理+極分解（3.2）——非對稱世界的一切被歸約到自伴世界。

（本節完）