跳轉到

3.1 內積與正交#

本章導言#

範數給出長度，但缺少「角度」。內積同時給出長度與角度，使無窮維空間擁有歐幾里得幾何的全部基本結構：垂直、投影、勾股定理、鏡面反射。本節建立內積空間的基礎理論，並回答一個自然的問題：哪些範數來自內積？ 答案（平行四邊形恆等式）將揭示 \(\ell^2\) 與 \(L^2\) 在空間動物園中的特殊地位。

內積：把角度帶進無窮維#

實（或複）內積空間 \(H\) 配備內積 \(\langle \cdot, \cdot \rangle : H \times H \to \mathbb{F}\) ，滿足：

  1. 線性（第一變元）： \(\langle \alpha x + \beta y, z \rangle = \alpha \langle x, z \rangle + \beta \langle y, z \rangle\) ；
  2. 共軛對稱： \(\langle x, y \rangle = \overline{\langle y, x \rangle}\) （實情形即對稱）；
  3. 正定： \(\langle x, x \rangle > 0\) （ \(x \ne 0\) ）。

由內積定義範數 \(\|x\| = \sqrt{\langle x, x \rangle}\) 。注意複情形的約定差異：數學界常取第一變元線性，物理界（Dirac 記號 \(\langle \phi | \psi \rangle\) ）取第二變元線性——閱讀文獻時必須先確認約定。

正交： \(\langle x, y \rangle = 0\) ，記 \(x \perp y\) 。正交補： \(M^\perp = \{x : \langle x, m \rangle = 0\ \forall m \in M\}\) ，永遠是閉子空間。

Cauchy–Schwarz 與勾股定理#

Cauchy–Schwarz 不等式： \(|\langle x, y \rangle| \le \|x\|\,\|y\|\) 。證明只需一行（對判別式）：當 \(y \ne 0\) ，考慮 \(\|x - ty\|^2 = \|x\|^2 - 2t\,\mathrm{Re}\langle x, y \rangle + t^2\|y\|^2 \ge 0\) 對一切實 \(t\) ，取 \(t = \frac{\mathrm{Re}\langle x,y\rangle}{\|y\|^2}\) 得 \(\|x\|^2 \ge \frac{|\langle x,y\rangle|^2}{\|y\|^2}\) 。

勾股定理： \(x \perp y\) 時 \(\|x + y\|^2 = \|x\|^2 + \|y\|^2\) ；一般情況展開得極化恆等式——內積可由範數還原：

\[ \langle x, y \rangle = \frac{1}{4}\left(\|x + y\|^2 - \|x - y\|^2 + i\|x + iy\|^2 - i\|x - iy\|^2\right) \quad (\text{複情形}). \]

極化恆等式在哲學上極重要：角度信息完全編碼在長度中。這直接催生了下一個定理。

平行四邊形恆等式：內積範數的指紋#

由 \(\|x+y\|^2 + \|x-y\|^2 = (\|x\|^2 + 2\mathrm{Re}\langle x,y\rangle + \|y\|^2) + (\|x\|^2 - 2\mathrm{Re}\langle x,y\rangle + \|y\|^2)\) 得

\[ \boxed{\ \ \|x + y\|^2 + \|x - y\|^2 = 2\|x\|^2 + 2\|y\|^2.\ \ } \]

Jordan–von Neumann 定理（1935）：賦範空間的範數由某內積生成 ⟺ 平行四邊形恆等式成立。（⟹ 已證；⟸ 用極化恆等式定義內積，驗證內積公理——平行四邊形恆等式正是驗證可加性所需的全部。）

檢驗： \(\|\cdot\|_p\) 在 \(\mathbb{R}^2\) 中取 \(x = (1,0)\) 、 \(y = (0,1)\) ：左端 \(2 \cdot 2^{2/p}\) ，右端 \(4\) 。相等 ⟺ \(2^{2/p} = 2\) ⟺ \(p = 2\) 。唯有 \(p = 2\) 的世界有角度——這解釋了為什麼物理學（能量、干涉、機率幅）全部住在 \(L^2/\ell^2\) ：干涉（疊加時的相長相消）本質上是角度現象。

歷史：Pascual Jordan（物理學家，1902–1980）與 von Neumann 在 1935 年的短文中合作發表此定理——這是 Jordan 與 von Neumann 在量子力學數學基礎合作（1927–29）的餘波。（注意與《數學原理》作者 Pascual Jordan 及 Camille Jordan 區分，數學史上有三位 Jordan。）

投影定理：無窮維的「垂足」#

投影定理：設 \(M \subset H\) 為閉凸子集， \(x \in H\) 。則存在唯一的 \(m^* \in M\) 使 \(\|x - m^*\| = \inf_{m \in M} \|x - m\|\) （最佳逼近元）；若 \(M\) 是閉子空間，則 \(m^*\) 由條件 \(x - m^* \in M^\perp\) 刻畫，且 \(H = M \oplus M^\perp\) 。

證明核心（存在性）：取極小化序列 \(m_n\) ，用平行四邊形恆等式證 \(\{m_n\}\) 是 Cauchy 列：

\[ \left\|m_n - m_k\right\|^2 = 2\|x - m_n\|^2 + 2\|x - m_k\|^2 - 4\left\|x - \frac{m_n + m_k}{2}\right\|^2 \le 2\|x - m_n\|^2 + 2\|x - m_k\|^2 - 4d^2 \to 0, \]

其中 \(d = \inf_{m \in M}\|x - m\|\) ，且 \(\frac{m_n + m_k}{2} \in M\) （凸性）。完備性（Hilbert 空間）給出極限 \(m^* \in M\) 。唯一性由嚴格凸性（內積範數嚴凸）得出；刻畫由變分不等式（對 \(m \in M\) 、 \(t \in \mathbb{R}\) ， \(\|x - m^*\|^2 \le \|x - m^* + t m\|^2\) 的一階條件）得到正交性。

此定理的力量：

  • 在 \(\mathbb{R}^n\) ，垂足總存在（有限維閉子空間自動完備）。在無窮維， \(M\) 必須閉——閉性是垂足存在的門票。2.3 節的「有限維特權」清單又添一項：Hilbert 空間中，閉性足以補償維數（這是 Hilbert 空間比一般 Banach 空間慷慨的地方：Banach 空間中閉子空間上的最佳逼近可以不唯一甚至不存在，除非空間嚴凸）。
  • 投影定理是最小二乘法的嚴格基礎：逼近問題 = 正交投影問題。
  • 它是 Riesz 表示定理（3.3 節）與 Fourier 理論（3.2 節）的證明引擎。

正交投影的算子觀點#

每個閉子空間 \(M\) 對應正交投影算子 \(P_M: H \to M\) ， \(P_M x = m^*\) 。性質：

  • \(P_M\) 線性、 \(\|P_M\| \le 1\) （ \(\|P_M\| = 1\) 除非 \(M = \{0\}\) ）；
  • \(P_M^2 = P_M\) （冪等）、 \(P_M = P_M^*\) （自伴，4.2 節）；
  • \(I - P_M\) 是到 \(M^\perp\) 的投影；
  • 反之，任何自伴冪等算子都是某閉子空間的投影。

投影算子是量子力學「測量」的數學化身（10.2 節）：對態 \(\psi\) 測量「是否在子空間 \(M\) 中」，結果以機率 \(\|P_M \psi\|^2\) 為真，態隨之坍縮為 \(P_M\psi / \|P_M\psi\|\) 。1932 年 von Neumann 把這套幾何直接寫成量子測量公理。

一個具體例題#

例題 3.1.1：在 \(H = L^2[0, 2\pi]\) 中，求子空間 \(M = \mathrm{span}\{1, \cos t\}\) 的閉包對函數 \(f(t) = t\) 的最佳逼近元，並計算最小誤差。

解： \(M\) 有限維故自動閉。注意 \(\{1, \cos t\}\) 已正交（ \(\int_0^{2\pi} \cos t\, dt = 0\) ），但未正規化： \(\|1\|^2 = 2\pi\) ， \(\|\cos t\|^2 = \pi\) （因 \(\int_0^{2\pi} \cos^2 t\,dt = \pi\) ）。

（一）計算投影係數：

\[ \langle f, 1 \rangle = \int_0^{2\pi} t\,dt = 2\pi^2, \qquad \langle f, \cos t \rangle = \int_0^{2\pi} t\cos t\,dt = \big[t \sin t + \cos t\big]_0^{2\pi} = 0. \]

故最佳逼近元

\[ m^* = \frac{\langle f, 1\rangle}{\|1\|^2}\cdot 1 + \frac{\langle f, \cos t\rangle}{\|\cos t\|^2}\cos t = \frac{2\pi^2}{2\pi} = \pi. \]

（有趣： \(\cos\) 分量係數為零—— \(t\) 在 \([0, 2\pi]\) 上與 \(\cos t\) 正交；其 Fourier 展開（1.2 節例題）只有常數項與 \(\sin\) 項，與此一致。）

（二）最小誤差：由勾股定理（ \(f - m^* \perp M\) ）：

\[ \|f - m^*\|^2 = \|f\|^2 - \|m^*\|^2 = \int_0^{2\pi} t^2\,dt - \pi^2 \cdot 2\pi = \frac{8\pi^3}{3} - 2\pi^3 = \frac{2\pi^3}{3}, \]
\[ \|f - m^*\| = \sqrt{\frac{2\pi^3}{3}} \approx 4.55. \]

（三）驗證正交性： \(\langle f - \pi, 1 \rangle = 2\pi^2 - \pi \cdot 2\pi = 0\) ✓； \(\langle f - \pi, \cos t \rangle = 0 - \pi \cdot 0 = 0\) ✓。誤差函數 \(f - \pi\) 與整個 \(M\) 垂直——「誤差與訊號正交」正是最小二乘的幾何表述。

歷史啟示#

  • 幾何先行：Schmidt（1907）把 \(\ell^2\) 幾何化之後，投影、正交這些概念立刻反哺積分方程理論（Fredholm 二擇一中的正交條件獲得幾何解釋）。好的幾何直覺可以在新空間中「原價轉售」。
  • 公理的經濟學：平行四邊形恆等式一條等式篩出了全部「有角度的空間」。Jordan–von Neumann 定理示範了「特徵化定理」（characterization theorem）的威力：把隱含結構變成可檢驗條件。
  • 物理訂單的塑造力：量子力學需要「疊加 + 干涉 + 機率 = 模方」，正是內積結構。von Neumann 1927–32 的工作不只是數學美化，而是物理必需——沒有內積幾何，量子力學的疊加原理無法陳述。
  • 正交性是「信息的分離」：最小二乘中「誤差 ⊥ 訊號」、統計學中「殘差 ⊥ 擬合值」、傅立葉分析中「頻率分量互不干擾」——正交化是各領域共同的「分離原理」。

與其他章節及領域的關聯#

  • 2.1 節：平行四邊形恆等式從所有範數中篩出 Hilbert 範數。
  • 3.2 節：投影定理將展開為正交基理論與 Parseval 等式；例題的計算是其預演。
  • 3.3 節：Riesz 表示定理把「泛函」化為「內積」，是投影幾何的對偶宣言。
  • 4.2 節：自伴算子與投影算子的關係；4.3 節緊算子在 Hilbert 空間有最優美的譜定理（因為有內積）。
  • 7.1 節：Hilbert 1906 年的譜理論完全建立在內積幾何上。
  • 9.2、10.2 節：投影算子格是 von Neumann 代數與量子邏輯的原子。
  • 統計學與機器學習：最小二乘 = 投影；Gram–Schmidt = QR 分解；核方法（RKHS）= 在 Hilbert 空間中做幾何。
  • 訊號處理：正交調變（QAM）、小波基，全是內積幾何的工程應用。

練習#

  1. 用極化恆等式由範數還原內積，驗證 \(\ell^2\) 的內積公式 \(\sum a_k \overline{b_k}\) 與其範數匹配。
  2. 證明 \(M^\perp\) 永遠是閉子空間，且 \(M \subseteq (M^\perp)^\perp\) ；舉例說明 \(M \subsetneq (M^\perp)^\perp\) 可能發生（取 \(M\) 不閉）。
  3. 證明內積範數嚴格凸： \(\|x\| = \|y\| = 1\) 、 \(x \ne y\) 時 \(\left\|\frac{x+y}{2}\right\| < 1\) （提示：展開 \(\|x - y\|^2 > 0\) 並用平行四邊形恆等式）。
  4. 在 \(L^2[-1, 1]\) 中，對 \(f(t) = e^t\) 與子空間 \(M = \mathrm{span}\{1, t\}\) ，求最佳逼近元（結果應與 \(e\) 的泰勒展開前兩項相關，但係數不同——解釋為什麼 \(L^2\) 最佳逼近不逐點等於泰勒逼近）。
  5. 思考題：投影定理要求 \(M\) 閉。考慮 \(M = c_{00} \subset \ell^2\) （稠密不閉）， \(x = (2^{-k})_k\) 。證明 \(\inf_{m \in M}\|x - m\| = 0\) 但不可達。這個「垂足消失」現象說明閉性條件為何不可刪？

進階研讀：內積幾何的五個深化場景#

場景一：Bessel 不等式與 Parseval 的門票。對正交規範系 \(\{u_n\}\) ： \(\sum_n |\langle x, u_n \rangle|^2 \le \|x\|^2\) （Bessel，對任意有限部分用投影的勾股定理再取極限）。等號成立 ⟺ \(x\) 在 \(\overline{\mathrm{span}}\{u_n\}\) 中。3.2 節將把「等號對一切 \(x\) 成立」（完備性）鑄成 Parseval 等式——能量守恆定理。

場景二：最小二乘與正常方程。逼近問題 \(Ax \approx b\) （ \(A: H_1 \to H_2\) 有界線性）的最佳解滿足正常方程 \(A^* A x = A^* b\) （誤差 \(b - Ax \perp \mathrm{Range}(A)\) 的直譯）。數值線性代數的 QR、SVD 全是投影定理的算法化；Tikhonov 正則化（1943）處理 \(A^*A\) 不可逆的情形——反問題理論（地球物理、醫學成像）的地基。

場景三：RKHS——核方法的 Hilbert 幾何。再生核 Hilbert 空間（Aronszajn 1950，溯至 Mercer 1909）：由正定核 \(K(s,t)\) 生成的函數 Hilbert 空間，滿足「求值泛函連續」 \(f(t) = \langle f, K(\cdot, t)\rangle\) 。SVM、高斯過程回歸本質上是在 RKHS 中做投影。當幾何遇到「求值」這個最自然的泛函，Riesz 表示定理（3.3 節）以核函數的形態現身。

場景四：Hilbert 空間的三大特色定理。相較一般 Banach 空間，Hilbert 空間享有三項特權：(1) 投影定理（本節）；(2) Riesz 表示（3.3 節）——對偶空間就是自己；(3) 譜定理（7.1 節）——自伴算子有完備的泛函演算。這三項特權使 Hilbert 空間理論「封閉而自足」，也使量子力學選它為家：物理需要全部三項（態空間、觀測量、測量結果的譜）。

場景五：非交換幾何的預告。內積把「幾何」轉成「代數」（極化恆等式）；反過來，9.1 節將證明：交換 \(C^*\) 代數 = 連續函數空間 = 某緊空間的幾何。Connes 的非交換幾何（1980s）主張：非交換 \(C^*\) 代數是「虛擬空間」的函數代數——空間概念被代數吞併。內積→範數→代數的層級爬升，是 20 世紀數學「結構遷移」的教科書案例。

名詞速查表（本節出現的核心術語）#

  • 內積：共軛雙線性、正定的「角度—長度」泛函。
  • 正交 / 正交補： \(\langle x,y\rangle = 0\) / 與全子空間正交的元素集。
  • Cauchy–Schwarz 不等式：內積被範數乘積控制。
  • 極化恆等式：由範數還原內積的公式。
  • 平行四邊形恆等式：內積範數的特徵性質（Jordan–von Neumann）。
  • 投影定理：閉凸集上最佳逼近元存在唯一，子空間情形由正交性刻畫。
  • 正交投影算子：自伴冪等的 \(P_M\) 。
  • Bessel 不等式：座標平方和 ≤ 範數平方。
  • RKHS：求值泛函連續的函數 Hilbert 空間。
  • 最小二乘：以正交投影求解的逼近原理。

年表速查（本節涉及的關鍵年份）#

  • 1885：Weierstrass 逼近定理（投影問題的古典前身）。
  • 1906–07：Hilbert 與 Schmidt 的 \(\ell^2\) 幾何、正交化。
  • 1909：Mercer 定理（核的譜展開，RKHS 前身）。
  • 1927–32：von Neumann 量子力學 Hilbert 空間公理化。
  • 1934–35：Jordan–von Neumann 平行四邊形特徵定理。
  • 1943：Tikhonov 正則化。
  • 1950：Aronszajn 系統建立 RKHS 理論。

深化問答三則#

問：為什麼量子力學「必須」用複 Hilbert 空間而不是實的？ 答：干涉現象需要相位： \(e^{i\theta}\) 的疊加可相消，實內積空間中「正負」只有一維相位。數學上，複結構允許自伴算子有單位圓上的譜（相位演化 \(e^{-iHt/\hbar}\) ）與完備譜定理。物理量的不可交換性（ \([x, p] = i\hbar\) ）也天然是複代數現象。實 Hilbert 空間理論存在但物理內容稀薄。

問：投影定理中「凸」與「閉」各管什麼？ 答：凸管唯一性與 Cauchy 列構造（ \(\frac{m_n + m_k}{2} \in M\) ），閉管極限留在 \(M\) 內。對子空間（自動凸）只需閉。推廣方向：Banach 空間中「凸 + 閉 + 自反（或一致凸）」可救回存在性（Milman–Pettis 路線）——每一條公理在推廣時都標明自己的職責。

問：正交化在數值計算中為何如此重要（QR 分解）？ 答：Gram–Schmidt 的數值版本（Householder、modified Gram–Schmidt）把矩陣分解為「正交 × 三角」，誤差增長受控（正交變換保範數，條件數不惡化）。SVD 更進一步：把矩陣化為「正交 × 對角 × 正交」——任何線性映射的幾何都由兩組正交基詮釋。本節的抽象幾何，就是數值穩定性的理論保單。

（本節完）