聲波的迴響：從傳統 DSP、語音辨識到生成式語音與多模態 AI 的聲音革命（深度技術版）#

Echoes of Sound: The Voice Revolution from Classical DSP and ASR to Generative Speech and Multimodal AI

本書是「人工智慧系列」的第七本。聲音是繼文字之後第二個被深度學習徹底改寫的模態，而且它比影像更早面對「資料是連續的、序列極長、人類感知高度非線性」這三重難題。本書以數學嚴謹的方式，沿著一條因果鏈走完聲音 AI 的完整革命：

• 連續波形的數位化（取樣、量化、壓擴）→ 它決定了後續一切模型能看見的資料形態
• DFT/FFT 與 STFT → 把波形變成機器可學習的時頻矩陣，以及 Gabor 極限下時間與頻率解析度的永恆取捨
• 聽覺刻度（Bark/ERB/Mel） → 人耳的非線性感知被寫進濾波器組，MFCC 成為長達 40 年的特徵標準
• 貝氏決策 + HMM-GMM + Viterbi → 1980-2010 年代的機率圖模型黃金期，以及它的瓶頸（人手工設計的特徵與狀態）
• DNN-HMM 混血 → CTC → seq2seq → Whisper → 對齊難題的三種解法（外狀態對齊、邊際化、注意力）
• WaveNet 的自迴歸生成 → 1-bit 排序的精確但緩慢 → 逼出 FastSpeech 的非自迴歸革命 → VITS/HiFi-GAN 的對抗與流
• 神經音訊編解碼器與 RVQ → 連續音訊離散化成 Token，聲音正式可用語言建模來生成（VALL-E、MusicGen）
• 串聯式 vs 原生全模態 → 延遲、情感與錯誤傳遞三痛點，如何被 Omni 模型一次解決

全書核心命題：聲音 AI 的每一次躍升，都是「先解决特徵表示，再解决對齊，再解决生成效率，最後將離散化讓渡給語言模型」的循環。

目錄#

• 第0章-導言：機器如何聽見並開口說話
• 0.1-導言：聲音 AI 的技術演進脈絡
• 第1章-聲學離散化與頻譜分析的數學底層
• 1.1-連續信號數位化與失真控制：取樣定理、混疊與壓擴
• 1.2-離散傅立葉變換與視窗函數最佳化
• 1.3-聽覺感知尺度轉換的非線性數學：Bark、ERB 與 Mel
• 第2章-時頻表示法與矩陣特徵萃取
• 2.1-短時距傅立葉變換（STFT）與時頻不確定性原理
• 2.2-梅爾頻譜圖與濾波器組矩陣（Mel-Filterbanks）
• 2.3-梅爾倒頻譜係數（MFCC）的矩陣推導
• 第3章-貝氏決策與隱馬可夫模型（HMM-GMM）架構（1980-2010）
• 3.1-語音辨識的貝氏框架
• 3.2-高斯混合模型（GMM）與期望最大化（EM）
• 3.3-解碼圖與維特比搜尋： \(H \circ C \circ L \circ G\)
• 第4章-深度神經網路與連接主義時序分類（CTC）（2006-2015）
• 4.1-混血架構（DNN-HMM / LSTM-HMM）：後驗機率估計器
• 4.2-CTC 損失函數的數學極致：空白標籤與前向-後向遞歸
• 第5章-現代 ASR 巔峰：序列到序列架構與 Whisper（2020-2022）
• 5.1-語音前端與 2D 卷積降維（2022）
• 5.2-聲學-語言聯合編解碼器：Encoder-Decoder Transformer 與交叉注意力（2022）
• 5.3-弱監督多任務聯合訓練目標（2022-2023）
• 第6章-自迴歸波形生成：WaveNet 與因果擴張卷積（2016-2018）
• 6.1-條件機率連鎖律與自迴歸生成（2016）
• 6.2-擴張因果卷積（Dilated Causal Convolutions）（2016）
• 6.3-門控激活單元與 Softmax 離散化（2016-2017）
• 第7章-端到端非自迴歸 TTS：FastSpeech 家族（2019-2021）
• 7.1-突破自迴歸延遲：前饋變壓器（2019）
• 7.2-長度調節器與音素對齊（2019-2020）
  • 7.3-顯式變異數建模（Variance Adaptor）：音高、能量與持續時間（2019-2021）
• 第8章-對抗生成與流動模型：VITS 與先進神經聲碼器（2021-2023）
• 8.1-VAE、Normalizing Flows 與 GAN 的結合：VITS 架構（2021）
• 8.2-單調對齊搜尋（MAS）（2021）
• 8.3-HiFi-GAN 的多週期鑑別器與特徵匹配損失（2020-2021）
• 第9章-神經音訊編解碼器與殘差向量量化（2018-2023）
• 9.1-編碼器-解碼器與瓶頸層設計（2018-2023）
• 9.2-殘差向量量化（RVQ）（2018-2023）
• 9.3-碼本崩潰與向量量化損失（2018-2023）
• 第10章-離散標記語言建模與音樂音效大模型（2023）
• 10.1-音訊生成作為語言建模任務：VALL-E（2023）
• 10.2-提示式零樣本聲音複製（2023）
• 10.3-MusicGen 與 AudioCraft 的交錯多碼本預測（2023）
• 第11章-串聯式與原生全模態架構的本質差異（2023-2026）
• 11.1-串聯式系統的結構性痛點
• 11.2-原生全模態（Omni-Model）的端到端聯合訓練（2024-2026）
• 11.3-跨模態對齊損失與副語言學的直接原生理解（2025-2026）

檔名命名說明#

• xx.y-標題.md：歷史事件標題附年份（如 06.1-...（2016）.md）
• 檔名內不使用冒號半形 :（以中文全形 ： 代替），避免部分檔案系統衝突
• README 連結必須與檔名完全一致