第六篇 · 第14章

第14.1節 CMOS 感光元件與計算攝影（Computational Photography）：多幀合成與噪點消除演算法#

從 CCD 到 CMOS：一場感光元件的政權更迭#

二十世紀末，數位相機的心臟幾乎清一色是 CCD（電荷耦合元件）。CCD 影像品質優異，但每個像素的電荷必須依序移位讀出，像一條單行的運輸帶——速度慢、功耗高、且依賴昂貴的專特殊製程。改變歷史的，是任職於 NASA 噴射推進實驗室（JPL）的 Eric Fossum。1993 年前後，他與團隊發明了「主動像素感測器」（Active Pixel Sensor），將放大器直接做進每一個像素裡，讓訊號能在原位被讀出——這正是 CMOS 感光元件的濫觴。CMOS 可以用標準半導體製程製造，成本隨摩爾定律下降，且能與邏輯電路整合在同一晶片上。Fossum 曾說，他的目標是做出「相機-on-a-chip」；三十年後，這個願景以每年數十億顆的規模，安裝在每支手機裡。

進入 2010 年代，兩項硬體創新徹底釋放了 CMOS 的潛力。其一是 BSI（背照式）感光元件：傳統正面照式結構中，金屬走線擋在光線與光電二極體之間，遮去部分進光；Sony 在 2008 年前後量產 BSI 技術，把感光面「翻轉」過來直接朝向鏡頭，大幅提升低光靈敏度。其二是堆疊式 CMOS（2012 年 Sony 推出）：將感光層與處理電路層分別製造後以垂直互連（TSV）接合，讓電路層塞入更多記憶體與運算單元——這等於把一台小型影像處理電腦直接焊在感光元件背後，為「計算攝影」提供了硬體舞台。

計算攝影：當軟體成為鏡頭的一部分#

傳統攝影是「一次曝光」的物理學；計算攝影則是「多次曝光＋數學合成」。其核心難題有三：

一、拜耳陣列與去馬賽克插值。 感光元件天生只能感應亮度，要感知色彩必須在每個像素上覆蓋紅、綠、藍濾色片。1976 年 Bryce Bayer 在柯達提出的排列——每 2×2 區塊含兩個綠色、一個紅、一個藍——至今仍是主流，因為人眼對綠光最敏感。但如此一來每個像素只「知道」一種顏色的強度，其餘兩色必須靠去馬賽克（demosaicing）演算法插值補出。最簡單的是雙線性插值，高端演算法（如 Malvar–He–Cutler）則利用梯度方向相關性進行邊緣感知插值，避免出現彩色鋸齒。這是每一張數位照片都逃不掉的「數學補完」。

二、多幀對齊與合成。 手機感光元件小、單像素進光量少，單張照片在暗處必然噪點密布。解法是「連拍多張、疊加平均」：隨機噪點在平均中相互抵消，訊號則線性增強，等效信雜比（SNR）約提升 \(\sqrt{N}\) 倍。問題是手持拍攝每張照片之間必有位移與旋轉，必須先做多幀對齊——以區塊匹配或光流（optical flow）估計各幀之間的局部位移向量，再進行亞像素級的仿射校正。2010 年 iPhone 4 首次在手機上導入 HDR（高動態範圍）模式，正是「以不同曝光值連拍三張、對齊後合成」的計算攝影開山之作；同年 Google 的 HDR+ 團隊（後併入 Google 相機）把這套「欠曝光連拍＋合成」哲學推到極致，成就了 Night Sight 的夜景奇蹟。

三、光學防手抖的計算化。 機械式 OIS 用陀螺儀驅動鏡片或感光元件浮動補償；電子防手抖（EIS）則直接裁切畫面邊緣，用 Gyro 數據反向平移像素。現代旗艦機將兩者融合：感光元件位移式 OIS 提供大範圍補償，EIS 再以影像特徵追蹤修掉殘餘抖動——影片穩定度已成為「機電＋演算法」的混合工程。

產業前因後果#

計算攝影的興起與行動網路與社群經濟密不可分：4G 讓照片與影片即時上傳成為日常，Instagram（2010 年上線）以濾鏡與方形構圖定義了行動攝影美學，硬體與演算法的軍備競賽於焉展開。半導體層面，CMOS 影像感測器成為 Sony 半導體部門的金牛，而先進堆疊製程聚集於台積電與 Sony 之間的分工網絡——感光元件的良率與微縮，同樣捲入了先進製程的地緣政治。

flowchart LR
    A[Fossum 主動像素 CMOS 1993] --> B[BSI 背照式 2008]
    B --> C[堆疊式 CMOS 2012]
    C --> D[感光層上疊記憶體/運算層]
    D --> E[多幀連拍即時緩存]
    E --> F[對齊/光流估計]
    F --> G[去馬賽克+降噪+HDR 合成]
    G --> H[計算攝影: 軟體定義畫質]
    A --> I[成本隨摩爾定律下降]
    I --> J[智慧型手機普及]
    J --> K[4G 社群媒體經濟]
    K --> H

延伸思考#

1. 當畫質主要由演算法而非光學決定，「什麼是照片的真實」——AI 補完的月亮紋理算不算「拍到」？
2. CMOS 感測器供應鏈高度集中於日韓台，若先進封裝受地緣政治衝擊，手機攝影的演進會停滯嗎？
3. Fossum 當年的低成本願景，如今讓數十億人隨身攜帶相機——這對人類影像記憶的集體形塑是利是弊？