10.1 為什麼沒有度量就沒有改進#

一個反覆出現的金句#

管理學家（被歸於 Peter Drucker）有一句名言，在軟體工程界也廣為流傳：

「If you can't measure it, you can't improve it.」（你無法度量它，就無法改進它。）

本書在前面多處反覆提到「沒有度量就沒有改進」作為金科玉律。本章專門展開——它就像一把把「有沒有做好」變成「能改進」的關鍵鑰匙，尤其在 AI Agent 系統上格外重要。

在傳統軟體中，「度量」相對直接：apply_discount(100, 0.1) == 90.0——對就是對、錯就是錯。但在 AI Agent 系統中，情況完全不同：

Agent 的行為是機率性的：同一個輸入、同一個系統，兩次跑可能結果不同。你「感覺這次不錯」——但「感覺」是不穩定、不可累積、不可比較的。

Agent 要完成「一個任務」，往往要跑很多步驟（思考、行動、觀察），而且有沒有「做好」常常沒有唯一正確答案（客服回覆、摘要、決策路徑）。單看「最後有沒有跑完」往往不夠。

改動一個 Prompt 或工具，會影響整個 Agent 的整體行為——可能在這個任務變好、那個任務變差。不改的人看不出影響，改了的人也不知道改對沒有。

結論：在 AI Agent 這種「不確定、多步驟、全局影響」的系統裡，沒有度量，等於「瞎子在黑屋裡射箭」——你不知道射中沒、不知道該往哪調。度量是把「摸黑的最佳化」變成「有據可依的最佳化」的唯一辦法。

有了度量，我們才能：

一句話：度量把「猜測」轉成「決策依據」，把「主觀感受」變成「客觀資料」。它是持續改進（本章主題）的起點。

度量的價值巨大，但要謹慎看待它的陷阱：

當一個指標變成目標，它就「失真」了——人/系統會「迎合指標」而犧牲真實目的。

「當一個度量變成目標，它就不再是個好度量。」—— Goodhart 法則

例如：若「評估通過率」是唯一目標，Agent 可能被調到「只會回答容易的題、避開難題」，通過率好看，但真實能力沒變好。要小心「指標優化」與「真實目標」脫節。

如果我們度量了「不重要」的面向，可能「大幅改善一個沒價值的數字」。度量之前，先想清楚「到底什麼才算『做好了』」——這是度量設計的關鍵（10.2 節）。

度量只是「回饋」，真正的改進策略（調整 Prompt、工具、Harness、資料）才是「變革」。度量要串聯到「改進動作」才有意義（10.4、10.5 節）。

成熟心態：度量是「導航儀」不是「目的地」——它告訴你「往哪飛、飛多遠」，但你仍要自己「飛」（做改進），而且不要只盯著儀表忘了真正要去的地方。

其實「度量」不是 AI 獨有，它貫穿全書：

而本節要建立的總原則：在 AI Agent 時代，把這個「度量」的紀律，應用到「Agent 行為」這個新對象上——用「評估（Evaluation, Eval）」來度量 Agent 好不好。這就是本章接下來的內容。