8.2 短時傅立葉轉換#

本章導言#

傅立葉變換有個致命的抽象： \(\hat f(\omega)\) 是全域資訊——它告訴你「訊號包含哪些頻率」，卻不告訴你「什麼時候出現」。一段音樂的傅立葉譜是整首曲子的「配方」，但演奏者想知道的是「第 3 小節有什麼音」。短時傅立葉轉換（Short-Time Fourier Transform, STFT）的解法樸素而深刻：用一個滑動窗口切出局部片段，對每段做傅立葉變換——得到二維函數 \(S(t, \omega)\) ，即時頻平面上的表示。本節建立 STFT 的定義與反演、Gabor 1946 年的時頻原子理論（含離散 Gabor 展開與 Balian–Low 定理）、譜圖（spectrogram）的實務，以及「固定窗」的根本局限——它正是 8.3 節小波革命的動機。

定義與基本性質#

STFT：以窗函數 \(g\) （良定位、單位能量）切訊號：

機械：把窗平移到 \(t\) 、乘上去（截取局部）、變換（看局部頻率）——「時間上滑動、頻率上變換」。兩個極端視角：（1） \(g \to \delta\) ：STFT \(\to f(t)\) （純時間，頻率軸無資訊）；（2） \(g \to 1\) （常數窗）：STFT \(\to \hat f(\omega)\) （純頻率，時間軸無資訊）。STFT 在這兩個退化解之間調節——窗寬就是「時頻權衡旋鈕」（8.1 節測不準的直接體現）。

基本性質：（1）能量守恆： \(\int\!\!\int |S_f(t,\omega)|^2\,\frac{dt\,d\omega}{2\pi} = \|f\|_2^2\) （Moyal 恆等式，1949）——STFT 是等距嵌入 \(L^2 \to L^2(\mathbb{R}^2)\) ；（2）反演： \(f(\tau) = \frac{1}{2\pi}\int\!\!\int S_f(t,\omega)\,g(\tau - t)\,e^{i\omega\tau}\,d\omega\,dt\) （只要 \(\|g\|_2 = 1\) ——任何窗都能重建！）；（3）時頻平移：訊號平移/調變 \(\Leftrightarrow\) \(S_f\) 在 \((t, \omega)\) 平面平移——STFT 把兩種平移對稱化為同一平面的幾何。

譜圖（spectrogram）： \(|S_f(t,\omega)|^2\) 的二維（或偽彩）圖——聲譜儀、語音識別、音樂軟體、蝙蝠叫聲研究的標準視覺。二戰期間貝爾實驗室的聲譜儀（sound spectrograph, Koenig et al. 1946）用類比濾波器組畫出第一張語音譜圖——STFT 的硬體化比數位化早 20 年。

Gabor 的時頻原子（1946）#

Dennis Gabor（1900–1979）（匈牙利裔英國工程師，後獲 1971 諾貝爾物理獎——因全像術）在 1946 年《通信理論》中提出一個大膽框架：訊號應該由「時頻原子」組成——最小的不確定單元是 Gauss 窗波包（8.1 節測不準極小態），以規則格點鋪滿時頻平面：

Gabor 的論證：每個原子佔時頻平面積 \(\ge \frac{1}{2\pi}\cdot 2\pi = 1\) 個「測不準胞」；要無冗餘地覆蓋平面，格點密度恰為 \(T_0\Omega_0 = 1\) （臨界取樣）。他選 Gauss 窗（唯一極小波形），聲稱展開係數唯一。歷史的嘲諷：Gabor 的臨界格 + Gauss 窗沒有穩定重建——Gabor 展開的係數不唯一且不穩定（Bastiaans 1980 找到病態的雙正交序列；Janssen 1980s 證明 Gauss 的 Zak 變換有奇點）。1952 年 D. Gabor 獲得的直觀是對的（原子、密度、Gauss），實現方案是錯的——修復要等框架理論（1980s–）。

框架理論的救贖：Duffin–Schaeffer（1952） 定義的框架（frame）： \(\{g_{m,n}\}\) 若滿足 \(A\|f\|^2 \le \sum|\langle f, g_{m,n}\rangle|^2 \le B\|f\|^2\) （ \(A, B > 0\) ），則有穩定重建。Daubechies–Grossmann–Meyer（1986） 證明：Gauss 窗的 Gabor 系統當 \(T_0\Omega_0 < 1\) （過取樣）時構成框架——冗餘換穩定！當 \(T_0\Omega_0 > 1\) （欠取樣）必然不完整（Balian–Low 的密度版推論）。臨界點 \(=1\) 是刀鋒：Gauss 在臨界密度上恰好失足（Balian–Low 定理，8.1 節場景四：不存在時頻良定位的臨界 Gabor 正交基；Lya 窗可以——但 Lya 不光滑、頻域洩漏大）。Balian–Low 是 1980 年代調和分析的標誌性定理（Battle–Lemarié、Daubechies 各自證明），它宣告：完美正交 + 良定位 + 光滑，三者不可兼得——要嘛冗餘（frame）、要嘛笨窗、要嘛放棄格點結構（8.3 節小波的多尺度路線）。

實務：窗長、重疊與 STFT 的計算#

數位 STFT 的參數（語音處理的標準配置）：

分辨率定律：時間分辨率 \(\approx L\) 秒、頻率分辨率 \(\approx \frac{1}{L}\) Hz——乘積固定（測不準）。實務的兩難：語音的濁音段（穩態諧波）要長窗、爆破音（瞬變）要短窗——固定窗無法兩全。對策一：雙窗/多窗 STFT；對策二：MDCT（修改離散餘弦變換，MP3/AAC 的長短窗切換——8.1 節練習 5(c)）；對策三：小波（8.3）——多尺度窗，低頻用長窗、高頻用短窗。STFT 的固定窗是它的身份，也是它的天花板。

一個具體例題#

例題 8.2.1：訊號 \(f(t) = \sin(2\pi\cdot100\,t)\cdot\chi_{[0, 0.1]}(t) + \sin(2\pi\cdot400\,t)\cdot\chi_{[0.2, 0.21]}(t)\) （前 0.1 秒是 100 Hz 長音，之後 0.2–0.21 秒是 400 Hz 短促音）。（1）用全域傅立葉變換描述 \(\hat f\) ，指出其缺陷；（2）用 STFT（窗長 20 ms 與 5 ms 兩種）描述 \(S_f(t,\omega)\) 的形狀，比較兩窗對兩個成分的表現；（3）總結「單窗不可能同時最優」的定量根據。

解：

（1）全域譜： \(\hat f(\omega) = \frac12\big[\mathrm{sinc}(\omega - 200\pi)e^{-i(\omega-200\pi)0.05}\cdot 0.1 + \mathrm{sinc}(\omega - 800\pi)e^{-i(\omega-800\pi)0.205}\cdot0.01\big]\times(\text{整理})\) ——兩個頻率成分都出現，但譜上完全看不出「100 Hz 持續 0.1 秒、400 Hz 只在 0.2 秒附近」的時間資訊。全域譜是「配方」，不是「菜譜的時間表」。

（2）STFT（ \(L = 20\) ms、Hann）：在 \(t \in [0.01, 0.09]\) ， \(S_f(t, \omega)\) 在 \(\omega = 200\pi\) 有窄峰（頻率分辨率 \(\approx \frac{1}{0.02} = 50\) Hz——100 Hz 成分清晰）；在 \(t \approx 0.2\) ，短促的 400 Hz 音（僅 10 ms < 窗長）被塗抹：峰存在但時間定位模糊（窗比訊號長 2 倍）、且頻率峰因訊號短於窗而展寬至 \(\approx \frac{1}{0.01} = 100\) Hz 寬度。STFT（ \(L = 5\) ms）：短音在 \(t \approx 0.2\) 有銳利定位 ✓，但 100 Hz 長音的譜峰展寬到 \(\pm 100\) Hz（ \(\frac{1}{0.005}\) ）——低頻細節丟失，且窗內 100 Hz 只 0.5 個週期，譜結構崩壞。

（3）定量結論：100 Hz 成分需 \(\Delta\omega \lesssim 2\pi\times10\) （分辨 10 Hz 級的精細結構）⇒ \(\Delta t \gtrsim \frac{1}{2\times10\,\text{Hz}} = 50\) ms（測不準）；400 Hz 短音需 \(\Delta t \lesssim 10\) ms ⇒ \(\Delta\omega \gtrsim 100\) Hz。** \(\Delta t\) 的需求相差 5 倍——任何固定窗只能偏向一方。這是 8.3 節小波的出發點：讓窗隨頻率變化（低頻長窗、高頻短窗）**，即「常數 Q」的時頻幾何。

歷史啟示#

• Gabor 的原子論直觀超前其數學 40 年：1946 的「時頻原子 + 密度 + Gauss」三件套是對的，但臨界取樣的病態使工程界幾十年用「重疊窗 FFT」（這正是 frame 思想的實務化身——工程師用冗餘比數學家早）。實務先於理論、理論晚到時解釋了實務為何總是對的。
• 語音研究是時頻方法的搖籃：二戰後 Bell Labs 的聲譜儀、語音合成（Pattern Playback 1950）、Flanagan 的《語音分析合成與感知》（1965）建立了 STFT 的全套實務；人耳耳蝸本身就是一個「常數 Q 濾波器組」（基底膜的低頻端頻率分辨率優於高頻端）——生物演化早就選了「多尺度窗」，8.3 節小波是工程界的補課。
• Balian–Low 的哲學：「正交、光滑、良定位不可兼得」是調和分析版的「沒有免費午餐」。理論告訴你天花板在哪，工程在天空花板下選點。

與其他章節及領域的關聯#

• 4.2 節：平移/調變性質是 STFT 幾何的基礎。
• 6.2–6.3 節：數位 STFT = 重疊窗 DFT + FFT；Wigner 分布的 FFT 計算。
• 8.1 節：測不準原理——窗選擇的全部理論約束。
• 8.3 節：小波——多尺度窗對固定窗的超越；小波框架與 Gabor 框架的對偶。
• 7.1 節：濾波器組觀點的 STFT（分析–合成系統）。
• 10.1 節：STFT 的框架理論 = Hilbert 空間冗餘表示。
• 語音/音樂：MFCC 特徵（STFT 譜的對數 + 離散餘弦）是語音識別與音樂資訊檢索的標配。
• 醫學：心音、腦電（EEG）的時頻分析；癲癇棘波的檢測依賴短窗靈敏度。

練習#

1. 證明 Moyal 恆等式： \(\int\!\!\int S_f(t,\omega)\overline{S_h(t,\omega)}\,\frac{dt\,d\omega}{2\pi} = \langle f, h\rangle\) （提示：把雙重積分拆開、用 Parseval 逐層算）。
2. 用 Gauss 窗 \(g(t) = e^{-\pi t^2}\) 計算 \(S_f\) 對單頻訊號 \(f = e^{2\pi i\omega_1 t}\) 的表達式，驗證 STFT 是「時頻平面的 Gauss 脊」（峰沿 \(\omega = \omega_1\) 的水平線，時域截面是 Gauss）。
3. 離散 STFT 計算： \(N = 256\) 、窗長 \(L = 128\) 、hop \(H = 64\) 的訊號段數有多少？（答案： \(\lceil\frac{N - L}{H}\rceil + 1 = 3\) 。）驗證重疊率與總計算量（用 FFT 複雜度）。
4. 對例題 8.2.1 的訊號，若允許「兩種窗並用」（分段後依內容選窗），設計一個簡單的決策規則（如：局部能量變化率大者用短窗），並說明其與 MDCT 長短窗切換的關係。
5. 思考題：Balian–Low 定理禁止「Gauss + 臨界格」的正交基，但允許 Gauss 的框架（ \(T_0\Omega_0 < 1\) ）。用「冗餘度 \(\frac{1}{T_0\Omega_0}\) 」討論：MP3 的 MDCT（正交、Lya 型窗）vs. Gabor 框架（冗餘、Gauss 窗）各自的得失，以及為何壓縮標準偏愛正交（儲存效率）而分析應用偏愛框架（穩定與平移不變）。

進階研讀：時頻分析的五個深化場景#

場景一：Wigner–Ville 分布。Wigner（1932） 在量子力學定義的準分布： \(W_f(t,\omega) = \int f(t + \frac{\tau}{2})\overline{f(t - \frac{\tau}{2})}e^{-i\omega\tau}d\tau\) ——比 STFT 分辨率更高（無窗寬損失、邊緣性質完美），但雙線性導致交叉項（兩個成分之間出現鬼影條紋）。Wigner 的原始動機是量子力學相空間（測不準原理的分布表示，8.1 節場景一）；訊號處理在 1980s（Cohen 類分布）把它收編。「分辨率 vs. 交叉項」的交換——時頻分析的「高配工具」，用於調製識別、瞬態檢測。

場景二：Chirp 與 Radon 變換。線性調頻（chirp） \(e^{i\pi at^2}\) 在時頻平面是斜線——STFT 看它是模糊的斜帶；Radon 變換（沿線積分）+ Wigner 可以把它聚成一個尖峰（Hough–Radon 檢測）。分數傅立葉變換（4.2 節場景五）等價於「旋轉時頻平面」——對 chirp 訊號選對旋轉角，一切變簡單。雷達（脈衝壓縮）、聲吶、地震去噪的標準武器。

場景三：語音的 MFCC 與深度學習的譜圖。MFCC（Mel 頻率倒譜係數，1980）：STFT 譜 → Mel 濾波器組（模擬耳蝸的非線性頻率軸）→ 對數 → DCT。四十年來是語音識別的標準前端；深度學習時代（2012–）譜圖直接餵入 CNN——但 MFCC 仍未死（低維、魯棒、可解釋）。「特徵工程 vs. 端到端」的張力在語音域的具體戰場。耳蝸模型（Gammatone 濾波器組）繼續為「常數 Q 的生物合理性」背書。

場景四：音樂的常數 Q 變換。音樂音高是對數頻率（每八度頻率翻倍）：恆定絕對分辨率的 STFT 在高音域過精、低音域過疏。常數 Q 變換（CQT，Brown 1991）：分辨率按 \(\frac{\Delta f}{f} =\) 常數設計——窗長反比於頻率（低音長窗、高音短窗）——這已經是「小波式」的窗結構（8.3 節的前哨）。音樂信息檢索（MIR）、和弦識別的標準前端。

場景五：非平穩過程與局部平穩性。隨機訊號的時頻分析：局部平穩假設（短窗內近似平穩）下，STFT 的功率譜 \(\mathbb{E}|S|^2\) 是時變譜密度——語音的頻譜隨音素漂移、地震的頻譜隨震相演化。Wold 分解（1938） 與演化譜理論（Priestley 1965）給出統計框架。時頻統計是機器故障診斷（軸承缺陷的瞬態特徵）、生物醫學（心率變異性的時頻譜）、金融（波動率的時變結構）的共同語言。

補充：Gabor 的一生與兩個發明#

Gabor 出生布達佩斯（與 Fejér 同城，匈牙利數學—工程傳統的另一例），二戰期間在英國 RCA-Vacuum Tube 公司工作（身為匈牙利猶太裔在納粹時期選擇留在英國），1947 年發明全像術（holography）——為改善電子顯微鏡解析度而構想「記錄相位 + 幅值」的干涉成像。全像術在雷射（1960）出現後才真正可行，Gabor 1971 年獲諾貝爾獎。他的兩個發明（時頻原子、全像）都以「超前三十年、等一個技術時代」的方式開花——理論的播種與技術的降雨，是 20 世紀科技史的雙重奏。

名詞速查表（本節出現的核心術語）#

• STFT：滑窗傅立葉； \(S_f(t,\omega)\) 時頻表示。
• 窗函數 / 窗寬：時頻權衡旋鈕。
• 譜圖（spectrogram）： \(|S_f|^2\) 的可視化。
• Gabor 原子 / Gabor 展開：時頻格點上的 Gauss 波包分解。
• 臨界取樣 / 過取樣 / 欠取樣：格點密度 \(T_0\Omega_0\) 的三態。
• 框架（frame）：冗餘但穩定的表示族； \(A\|f\|^2 \le \sum|\langle f,g_k\rangle|^2 \le B\|f\|^2\) 。
• Balian–Low 定理：臨界格 + 良定位 + 正交不可兼得。
• Moyal 恆等式：STFT 的能量守恆。
• Wigner–Ville 分布：雙線性時頻分布；高分辨 + 交叉項。
• Cohen 類：時頻分布的統一泛函框架。
• MDCT：修改 DCT；MP3/AAC 的長短窗切換。
• 常數 Q 變換：對數頻率分辨率；音樂與耳蝸的幾何。
• MFCC：Mel 譜倒譜係數；語音特徵的經典。

年表速查（本節涉及的關鍵年份）#

• 1932：Wigner 分布（量子相空間）。
• 1946：Gabor《通信理論》（時頻原子）；Bell 聲譜儀。
• 1952：Duffin–Schaeffer 框架定義；Gabor 展開的初步實現嘗試。
• 1965：Flanagan 語音處理系統化；FFT 使數位譜圖普及。
• 1980：Bastiaans 找到（病態的）Gabor 雙正交序列；Cohen 類分布系統化。
• 1981：Balian–Low 定理。
• 1986：Daubechies–Grossmann–Meyer——Gauss 框架定理。
• 1991：Brown 常數 Q 變換。
• 1987–1995：MP3 標準研發（MDCT 長短窗）。
• 2000s–：譜圖 + CNN 的深度學習時代。

深化問答三則#

問：STFT 的「窗長」和相機的「快門」有什麼類比？ 答：深刻的類比。長曝光（長窗）：運動模糊少（時間定位差）但景深細節豐富（頻率精細）；高速快門（短窗）：凝固瞬間（時間準）但噪聲放大、細節有限（頻率粗）。攝影的曝光三角與時頻的窗長交換是同一條測不準原理——「清晰」永遠是相對於一個軸的清晰。

問：為什麼語音處理堅持用 Hann 窗 + 50% 重疊？ 答：（1）Hann 端點歸零——相鄰幀在端點處的加權和恰為 1（Hann 的重疊相加完美重建性質！）：50% 重疊的 Hann 窗系統是完美的分析–合成系統（COLA 條件，constant overlap-add）；（2）旁瓣 \(-31\) dB 抑制洩漏；（3）計算規整（ \(2^n\) 友好）。**「窗 + 重疊」的代數要滿足 COLA 恆等式 \(\sum_m g(n - mH) = 1\) **——這是框架理論在工程里的日常面目。

問：既然小波（8.3）在多尺度上全面勝出，STFT 還需要嗎？ 答：需要，三個理由。（1）均勻頻率網格是通訊、OFDM、語音編碼的硬需求（頻域格子對齊）；（2）冗餘譜圖 + CNN 的端到端學習喜歡規則二維網格（影像化的時頻）；（3）計算與硬體（FFT 管線、專用晶片）以 STFT 為原生格式。小波贏在理論彈性，STFT 贏在基礎設施——兩者共存分工，正如 FFT 與小波變換在各標準中的共存。

（本節完）