10.2 評估資料集的設計原則#

評估的第二關鍵：測「什麼」樣本#

10.1 節建立了「要度量」的願景。但「度量」要落到實處，還有一件決定成敗的事：你拿「什麼題目」來測量？ 這正是評估資料集（Eval Dataset / Benchmark） 要回答的——它是 Agent 品質的「試金石」。

評估資料集，是一組「代表性的（任務輸入 → 期望輸出）樣本」。你要評估一個 Agent，就是在這組樣本上跑它，看它完成得如何，得出一個「能力畫像」。

如果樣本選得不好，評估就失真——可能「全對但其實很弱」（樣本太簡單），或「全錯但其實還行」（樣本太刁鑽、太偏）。所以評估資料集的設計，是 Eval 成敗的另一半。

好的評估資料集，有一個總目標：「它能代表『你真正在乎的那些任務』」。由此衍生出幾個核心原則：

樣子要取材於「Agent 在真實使用中會遇到的任務」，而不是「我們方便測的任務」。提升代表性的方法：

一個反例：如果評估資料集全是「簡單的 FAQ 問題」，Agent 測出來「100 分」，但真實使用者問的都是「複雜的多步驟任務」——那評估就完全失真。

樣本要「廣」且「不偏」：

評估資料集不是一次建完就永遠不變：

要跟上真實需求：真實任務在變，樣本也要持續補充新類別（見 10.4 節的持續進化）
防止「過擬合測試集」：如果 Agent 開發者不停對著同一組樣本調，最終會「背熟考題」而失去真實能力（呼應 Goodhart，10.1 節）——因此要定期換新的「未見樣本」來檢驗真實能力

每個樣本，都要能明確地判斷「做得好不好」：

在實務上，評估資料約可分為兩大類，各有用途：

好的評估體系通常是「混合的」：用基準任務客觀衡量「能力底線」，用開放式任務衡量「真實任務品質」。

評估資料「本身」的品質，也要被衡量（我們用 Agent 衡量任務，誰來衡量樣本？）：

由人設計與抽樣校準：核心樣本由領域專家設計，並定期人工抽樣確認「樣本確實代表真實任務、評分標準確實合理」
由 AI 協助生成樣本：AI（LLM）可以協助「生成」大量樣本（變體、邊界案例），擴充資料集——但要有人審查（呼應 5.4 節「人定意義、AI 加速動手」）
乾淨度（Hygiene）：樣本不能有錯、歧義、過度重複——否則評估結果混入雜訊

關鍵心態：評估資料集的品質，直接決定「評估的可信度」。一個髒的資料集，比沒有資料集更有害——因為它給你「假的可信」。

當你把評估資料集建立好，並在它之上跑 Agent，得到的不是「單一數字」，而是一張「能力畫像」——它在各類別（數學、程式、客服、多步驟）上的表現分別如何。

這張畫像比單一總分更有用，因為它能告訴你： - 瓶頸在哪：哪一類任務最弱？（→ 該改進哪個面向） - 變化方向：這次改動讓哪類變好、哪類變差？（→ 回到 10.1 節的回歸）