第 7 章 辛頓、李飛飛與 ImageNet:深度學習的破曉引爆點#
本章導言#
深度學習革命有三個必要條件:數據(ImageNet)、演算法(AlexNet)、算力(GPU)。本章三節:7.1 李飛飛的數據工程;7.2 2012 奪冠;7.3 GPU 的奇妙轉折。
7.1 李飛飛(Fei-Fei Li)與 ImageNet 標註資料集:用百萬張圖片為 AI 築起龐大數據基石#
7.1.1 「數據比演算法更重要」的信念#
李飛飛(Fei-Fei Li, 1976–)生於北京、少年移民美國(其間在新澤西家中經營洗衣店補貼家用的經歷廣為流傳),普林斯頓本科、加州理工博士(2005)。2007 年起在普林斯頓(後轉斯坦福)主持 ImageNet 項目。當時學界的主流思路是「更好的演算法」,她逆流提出:視覺智能的瓶頸是數據——人類幼兒每天看到的圖像量遠超任何實驗數據集。
7.1.2 WordNet + 群眾外包#
工程方案:
- 以普林斯頓認知科學家 George Miller 的 WordNet(1985 起)詞彙層級為骨架,取其中 2 萬餘個名詞類別;
- 以網路圖片檢索獲取候選圖;
- 關鍵一步:以亞馬遜 Mechanical Turk 群眾外包平台,讓全球數萬名標註員人工驗證每張圖的類別正確性(每人每圖約 30 秒,總計耗費數十萬人力工時、數百萬美元量級的等效成本)。
2009 年 ImageNet 完成時擁有約 1,400 萬張標註圖片、2 萬餘類別;同年 CVPR 會上她只能以海報(而非主講)介紹它——學界當時並未意識到這是一顆原子彈。
7.1.3 ILSVRC 競賽的創設#
2010 年起,以 ImageNet 子集舉辦 ILSVRC(ImageNet Large Scale Visual Recognition Challenge):1000 類、120 萬張訓練圖,每年一賽。規則的巧妙在於「基準競賽」文化(源自 DARPA 自動駕駛挑戰賽的傳統):統一數據、統一指標(Top-5 錯誤率),使方法優劣無法嘴硬。
7.1.4 前因後果#
- 前因:網路圖像洪流+WordNet+群眾外包基礎設施+李飛飛的洞察。
- 事件:2007 啟動、2009 完成、2010 ILSVRC 首屆。
- 後果:為 7.2 的 AlexNet 提供了唯一可能的「大數據舞台」;ImageNet 也成為 AI 治理議題(標註勞工、隱私偏見)的最早案例之一。
下一節:7.2 AlexNet