跳轉到

影像模型：從傳統影像處理、深度學習到生成式 AI 的視覺革命#

《像素到靈魂：從傳統影像處理、深度學習到生成式 AI 的視覺革命》 (Pixels to Soul: The Vision Revolution from Classical Image Processing and Deep Learning to Generative AI)

本書是「人工智慧系列」的視覺專卷。姊妹卷《智慧模型》講語言與心智，《神經網路與深度學習》講器官，《Agent 技術》講行動；本書專注眼睛——機器如何從一堆無意義的像素，走向能看、能生成、能推理、能行動的視覺模型。

全書主線：每一代視覺方法的出現，都是為了解決上一代方法解決不了的問題。

  • 像素量化與取樣定理解決了「世界如何變成數字」，但取樣定理只保證了重建的上限，不保證語義。
  • 傅立葉轉換讓影像可以在頻域被操作，卻只能看見「邊緣」與「紋理」，看不見「杯子」。
  • 手工特徵（SIFT、HOG）靠人類先驗去對抗光照與形變，但「語義鴻溝」終究無法靠更好的描述子填平。
  • 深度學習用「從資料中學特徵」取代「人手寫特徵」，AlexNet（2012）在 ImageNet 上的勝利宣告典範轉移。
  • CNN 把局部性與權重共享寫進了歸納偏誤，卻因此受限於局部感受野，於是 ViT 用全域自注意力打開了長距離關係。
  • 分類之後要的是「畫出來」，偵測之後要的是「一個一個分開」，分割之後要的是「生成」，於是 GAN、VAE、擴散模型依序登場。
  • 有了 GAN/擴散模型，模型終於能「寫」；有了 CLIP，文字與影像第一次共享同一個語義空間，Stable Diffusion 才把兩者接起來。
  • 靜態影像之後是時間軸：影片擴散把「每幀要逼真」與「跨幀要一致」的矛盾，逼出了 3D VAE、時空 patch 與 DiT，也逼出了可互動的世界模型。
  • 視覺能力成熟後，自然長出對話（VLM）與行動（VLA），視覺不再只是感知，而是通往具身智慧的大門。
  • 能力越強，責任越重：深偽、偏見、隱私與法規，成為視覺研究者無法迴避的下半场。

目錄#