影音的數學#

從透視法到擴散模型——一本以「影音 ⇄ 數學」互相驅動為主軸的教科書。影像、影片、音樂的本質是訊號與幾何；JPEG、MPG、MP3 是把人類感知的「冗餘」用數學剝掉的工程。全書追問同一個問題：人如何感知，機器就如何計算。

目錄#

• 第1章-視覺與色彩的數學基礎
  • 1.1-1435年：透視法與投影幾何——圖像的空間語言
  • 1.2-1931年：CIE色度學——顏色的三維向量空間
  • 1.3-1949年：抽樣定理與人眼解析度——連續世界如何變成像素
• 第2章-聲音與樂理的數學
  • 2.1-1722年：十二平均律——把音階變成對數
  • 2.2-1822年：傅立葉級數與音色——樂音的和弦分解
  • 2.3-1973年：調頻合成與電子音樂——樂器變成方程式
• 第3章-影像壓縮：JPEG的數學
  • 3.1-1948年：率失代理論——「失真」可以被交易
  • 3.2-1974年：離散餘弦轉換DCT——影像的能量集中
  • 3.3-1992年：JPEG標準——心理視覺的量化藝術
• 第4章-影片壓縮：MPEG的時間維度
  • 4.1-1878年：奔馬攝影與電影的誕生——時間被離散化
  • 4.2-1993年：MPEG-1與運動補償預測——影片的時間冗餘
  • 4.3-2003年：H.264與率失真最佳化——每個位元都要有理由
• 第5章-計算機圖學與生成式影音
  • 5.1-1963年：Sketchpad與電腦圖學的誕生——矩陣變換的工業化
  • 5.2-1986年：渲染方程——光線傳輸的積分方程
  • 5.3-2014年：GAN與擴散模型——影音的生成轉向

閱讀路線#

graph TD
    A[第1章 視覺與色彩] --> B[第2章 聲音與樂理]
    B --> C[第3章 影像壓縮]
    C --> D[第4章 影片壓縮]
    D --> E[第5章 圖學與生成]
    B -.傅立葉.-> C
    C -.DCT/量化.-> D
    A -.投影幾何.-> E
    E -.感知回饋.-> A

本書的方法論#

每節遵循同一敘事結構：

1. 問題：當時的感知/藝術/工程困境是什麼？
2. 數學：什麼數學被發明或引入？
3. 後果：如何改變了影音技術？
4. 回饋：技術的反省如何催生新數學？