LLM-as-Judge 與 Jev：推理式評估與決策式評估的取捨
從推理式評估到決策式評估，理解 LLM-as-Judge 與 Jev 兩種評估範式的原理、優勢、局限與取捨策略。
LLM-as-Judge 與 Jev：推理式評估與決策式評估的取捨
在 Agent Harness 的評估體系中，規則式評分只能檢查「有沒有」，無法判斷「好不好」。
一段回答包含了所有關鍵字，但邏輯混亂、答非所問，規則式評分仍然會給它高分。
為了解決這個問題，我們引入了 LLM-as-Judge：用模型來評估模型。
但 LLM-as-Judge 並非沒有代價——它逐字生成推理，延遲高、成本可觀，而且同一份回答在不同次評分之間，分數可能出現波動。
於是，另一條路出現了：Jev。
這一篇，我們要同時討論這兩種評估範式：它們的原理、優勢、局限，以及如何根據場景做出取捨。
一、為什麼規則式評分不夠用？
規則式評分很適合檢查明確的事實：
- 有沒有提到「台北」？
- 字數夠不夠？
- 有沒有用對工具？
- 有沒有超時？
但它無法處理語意層面的品質：
- 回答是否忠於檢索到的內容？
- 回答是否邏輯連貫？
- 回答是否真的解決了使用者的問題？
- 回答是否有幻覺？
舉個具體的例子：
問題：「台北今天適合爬山嗎？」
回答 A：「台北今天多雲，降雨機率 60%，氣溫 22-28°C。降雨機率偏高，山區午後有陣雨，不建議爬山。」
回答 B：「台北今天天氣很好，適合爬山。多雲，降雨機率 60%，氣溫 22-28°C。」
兩個回答都包含了「台北」、「多雲」、「降雨機率 60%」等關鍵字，規則式評分會給它們相同的分數。
但回答 A 是對的，回答 B 是錯的——它從「降雨機率 60%」得出了「適合爬山」的錯誤結論。
只有理解語意的評分方式，才能區分這兩者。
二、LLM-as-Judge：用生成文字的方式來判斷
核心思想
LLM-as-Judge 的做法非常直觀：把「問題 + 回答 + 評分標準」組成一個 Prompt，送給 LLM，讓它輸出分數與理由。
LLM 透過逐步生成 token 來「思考」評估問題。它能看到完整的上下文，進行開放式推理，最終給出判斷。這很靈活，幾乎可以處理任何評估任務。
Prompt 設計是關鍵
LLM 評分的品質，取決於 Prompt 的設計。一個好的評分 Prompt 應該包含：
- 角色設定：告訴 LLM 它是誰（「你是一個嚴格但公正的評審」）。
- 評分標準：明確列出維度與定義（正確性、相關性、完整性、清晰度）。
- 評分尺度：給每個分數明確的定義（5 = 完美，1 = 很差）。
- 範例：每個分數都給一個範例。
- 輸出格式：明確要求 JSON，方便解析。
常見的偏見
LLM-as-Judge 不是完美的。它有幾個已知的偏見，需要主動應對：
| 偏見 | 說明 | 解法 |
|---|---|---|
| 位置偏見 | 比較兩個回答時，傾向偏好第一個（或第二個）出現的 | 交換位置，各評一次，取平均 |
| 長度偏見 | 傾向給較長的回答更高的分數 | Prompt 中明確說明「長度不是品質的指標」 |
| 自我偏見 | 傾向偏好自己生成的回答 | 用不同的模型當評審，或與人類評分校準 |
| 格式偏見 | 傾向偏好有條列、有標題的回答 | 說明「格式不影響評分」 |
校準：讓 LLM 評分與人類對齊
LLM 評分最大的挑戰是：它的分數與人類的分數是否一致？
校準的流程是：收集人類評分 → 執行 LLM 評分 → 計算一致性 → 分析差異 → 調整 Prompt → 重複，直到一致。目標是 Pearson 相關係數 > 0.8。
LLM-as-Judge 的局限
LLM-as-Judge 解決了規則式評分的語意盲區，但它帶來了新的問題：
- 延遲高：逐字生成推理過程，每次評分需要數秒。
- 成本高：每次評分都要呼叫 LLM，1000 個案例可能花費數十美元。
- 不一致：同一份回答在不同次評分之間，分數可能波動。
- 可能被欺騙：精心設計的回答可能騙過評審。
這些局限中最關鍵的是不一致。在回歸測試中，如果評審本身就不穩定，團隊就無法分辨「Agent 變了」還是「評審變了」。這正是 Jev 試圖解決的問題。
三、Jev：跳過生成，直接輸出判斷
Jev 是什麼？
Jev 是 TypeSafe AI 於 2026 年 9 月發布的 System One 決策模型，由 ChatGPT 核心技術 RLHF 的早期貢獻者 Diogo Almeida 創立。
它的定位極為鮮明：「Decisions, not strings」——要決策，不要文本。
與 LLM 不同，Jev 不生成任何文字。它接收一段非結構化的狀態，根據預先定義好的問題類型，直接返回帶有機率的類型化答案。Jev 不寫理由，只給答案與機率。
三種問題類型
Jev 支援三種問題類型，對應三種評估場景：
| 類型 | 返回內容 | 適合的評估問題 |
|---|---|---|
| Noul | Yes/No 的機率值（0 到 1） | 「最終答案是否忠於檢索到的證據？」 |
| Score | 有序評分 + 機率分布 + 置信度 | 「這個回答有多有用？」 |
| Choice | 從預定義選項中選一個 + 機率分布 + 置信度 | 「Agent 是否選擇了正確的工具？」 |
多個獨立的類型化問題可以在一次查詢中平行回答。這意味著你可以同時評估「答案是否忠實」「工具是否用對」「是否通過」等多個維度，而不需要多次呼叫。
Jev 的關鍵特性
類型化輸出，無法產生幻覺。
當 LLM 回答「該呼叫哪個工具」時，它可能發明一個不存在的工具名稱。Jev 不能這樣做，因為它不生成——它只會從你給的選項中返回一個。
低變異數。
這是 Jev 對評估最直接的價值。LangChain 的對比實驗顯示，Jev 的平均每案例變異數比三個 LLM 評審低了 92 到 913 倍。
極低的成本與延遲。
Jev 的輸入價格為每百萬 token 0.042 美元，輸出不按 token 收費。端到端回應時間為 70 至 500 毫秒。
四、LangChain 的第三方對比實驗
2026 年 9 月，LangChain 發布了一項公開的對比實驗，用同一個天氣 Agent 的 5 個固定執行結果，讓四個評審各評 100 次，比較它們與人類標籤的一致性、分數的穩定性、成本與延遲。
準確率：與人類判斷的一致性
在 500 次二值判斷中，各評審與人類標籤的一致率如下：
| 評審 | 與人類標籤一致率 |
|---|---|
| Jev | 100% |
| GPT-5.6 Terra | 99.8% |
| GPT-5.6 Luna | 96.4% |
| Claude Sonnet 4.6 | 80.0% |
Jev 在這次實驗中完全匹配了人類的每一次判斷。需要注意的是，這是一個小規模實驗（5 個案例、1 位人類評審），不能推廣為通用排名。
穩定性：分數的變異程度
在連續品質評分上，Jev 的平均每案例變異數為 0.0000149，比三個 LLM 評審低了 92 到 913 倍。
低變異數意味著：同一個 Agent 行為，不會因為評審的隨機性而得到不同的分數。 這對回歸測試至關重要。
成本與延遲
| 指標 | Jev | Claude Sonnet 4.6 |
|---|---|---|
| 每次呼叫成本 | $0.00035 | — |
| 500 次總成本 | $0.34 | $28.17 |
| 平均延遲 | 0.44 秒 | — |
Jev 的 500 次評分總共只花了 0.34 美元，而 Claude Sonnet 4.6 在同一組測試上花了 28.17 美元——差距約 83 倍。
五、兩種評估哲學的取捨
Jev 與 LLM-as-Judge 的差異，不只是「快慢」或「貴便宜」，而是兩種不同的評估哲學。
LLM-as-Judge 是推理式評估。
它透過逐步生成 token 來「思考」評估問題，能看到完整的上下文，進行開放式推理。它靈活、可解釋，但慢、貴、有變異。它像一位寫長篇評論的影評人——能告訴你為什麼好、哪裡不好，但需要時間坐下來寫。
Jev 是決策式評估。
它不「思考」，直接輸出判斷結果。評估問題必須是受約束的——答案只能是選項之一、分數之一、或 Yes/No 之一。它極快、極便宜、一致性極高，但不能做開放式推理。它像一位快速評分的裁判——直接舉牌給分，不寫評語，但一秒鐘就能完成判斷。
什麼時候用 Jev，什麼時候用 LLM-as-Judge？
| 評估場景 | 推薦工具 | 原因 |
|---|---|---|
| 二值判斷（通過/不通過） | Jev | 快、便宜、一致性極高 |
| 受約束的評分（1-5 分） | Jev | 類型化輸出，無需解析 |
| 工具選擇評估 | Jev | Choice 類型直接返回 |
| 安全/合規初篩 | Jev | 大量案例快速過濾 |
| 需要開放式理由 | LLM-as-Judge | Jev 不生成解釋 |
| 主觀品質評估 | LLM-as-Judge | 需要深層語意理解 |
| 爭議案例的深入分析 | LLM-as-Judge | Jev 無法處理開放式問題 |
最佳實踐：三層評估架構
Jev 的出現，不意味著 LLM-as-Judge 被取代，而是讓 Harness 可以分層評估：
第一層：Jev
- 快速過濾：所有測試案例先跑一遍
- 二值判斷、工具選擇、基礎評分
- 成本極低，可以大規模覆蓋
↓ 只有 Jev 標記為「邊緣」或「失敗」的案例
第二層：LLM-as-Judge
- 開放式理由
- 主觀品質評估
- 複雜語意判斷
↓ 只有關鍵或爭議案例
第三層：人類
- 最終仲裁
- 抽樣校準這樣的架構能把評估成本降低一到兩個數量級，同時保持評估品質。
六、Jev 的局限與注意事項
Jev 並非萬能，使用時需要注意以下限制：
只回答受約束的問題。
Jev 無法處理開放式問題，也不能生成解釋或評語。它只能回答你預先定義好答案空間的原子問題。
準確率不等於通用性。
LangChain 的實驗是基於 5 個天氣 Agent 案例的小規模測試，不能推廣為通用排名。有用戶回饋 Jev 在計算、日期比較、否定句和委婉表達上表現較弱。
官方數字是實驗室上限。
TypeSafe 宣稱的「快 193.6 倍、便宜 444.6 倍」來自自建評測集，屬於實際場景中的較高值。
機率是條件性的。
每一個機率都取決於候選集合——增加一個標籤會改變所有其他的機率，即使模型和 Prompt 完全相同。部署時需要把模型、Prompt、標籤和閾值視為一個整體來管理。
七、小結
LLM-as-Judge 與 Jev 代表了兩種互補的評估範式：
- LLM-as-Judge 是推理式評估：靈活、可解釋，但慢、貴、有變異。
- Jev 是決策式評估：快、便宜、一致性極高，但只能回答受約束的問題。
在設計 Harness 時，不需要二選一。用 Jev 做高頻初篩，用 LLM-as-Judge 做深入分析，用人類做最終校準——這才是讓評估既可靠又可持續的務實策略。
下一篇預告
《回歸測試與失敗分析：確保修改不退步》
我們會談如何設計回歸測試、如何從失敗案例中找出模式、如何建立基準線、如何追蹤長期趨勢，以及如何把生產環境的失敗案例轉化為可持續改善的測試資產。