AI Tutorial
Generative AI·生成式 AI·

🚨 評估生成式 AI 能力時可能遇到的各種坑

#AI評估#LLM#Hallucination#RAG#李宏毅

課程來源： 台大李宏毅《生成式人工智慧與機器學習導論》2025 Fall 第4講
影片連結： YouTube
投影片： Evaluation.pdf

#一、為什麼評估很重要？

#1. 從使用者角度

  • 想選「最適合某任務」的模型（例如寫論文摘要、寫程式、回答問題）。
  • 需要客觀比較不同模型的表現。

#2. 從開發者角度

  • 比較不同訓練資料、方法、超參數下訓練出的模型哪個比較好。
  • 評估是模型迭代與優化的基礎。

核心問題： 生成式 AI 的輸出是「開放式」的，評估遠比分類、回歸困難。

#二、有標準答案時的評估方法

#2.1 Exact Match（精確匹配）

  • 最簡單：模型輸出必須與標準答案完全一樣才算對。
  • 問題：
    • 格式差異（「15」vs「十五」、空格、標點）。
    • 語意相同但文字不同，會被判定為錯誤。
    • 很多 Benchmark 其實是「選擇題 + Exact Match」，高分可能只代表「很會聽指令」，不代表真正理解。

#2.2 表面相似度（Surface Similarity）

  • BLEU、ROUGE 等：看詞彙重疊程度。
  • 仍然容易被「字面相似但語意不同」的輸出騙過。

#2.3 語意相似度（Semantic Similarity）

  • 使用 Token Embedding 或 Contextualized Embedding（如 BERTScore）。
  • 計算標準答案與模型輸出在向量空間的相似度。
  • 比純字面匹配更合理，但仍非完美。

#三、最重要的坑：不要過度相信評估分數

#Goodhart's Law（古德哈特定律）

「當一個指標成為目標時，它就不再是好指標。」

如果只追求 Benchmark 高分，模型可能學會「鑽漏洞」，而不是真正變強。

#經典案例：Parrot（鸚鵡）模型

  • 任務：Paraphrasing（換句話說）。
  • 學生做了一個「什麼都不做」的模型：直接把輸入原封不動輸出。
  • 結果：在當時很多評測指標上竟然拿到很高分（甚至接近 SOTA）。
  • 後來改進：強制要求輸出必須有一定比例的詞彙不同，Parrot 才被打下來。
  • 結論：指標可以被玩弄。

#幻覺（Hallucination）與評估機制的關係

  • 模型明明不知道，卻硬要編答案。
  • 原因之一：現行評估中，「我不知道」和「答錯」通常都是 0 分。
  • 模型為了拿分，寧願亂猜。
  • 改進方向：引入倒扣機制（答錯扣分，承認不知道不扣或少扣），鼓勵模型誠實。

#四、沒有標準答案時怎麼評估？

#4.1 人類評估（Human Evaluation）

  • 最萬能的方法（例如 Mean Opinion Score, MOS）。
  • 問題：
    • 成本高（時間、金錢）。
    • 再現性差、主觀。
    • 容易被「表面因素」影響（回答風格、格式、長度、是否像人類）。

#4.2 LLM-as-a-Judge（用大模型當評審）

  • 用另一個強大的 LLM 來打分或比較。
  • 常見偏見：
    • Self-preference bias：偏好自己（或同系列）模型的輸出。
    • Position bias：答案出現的位置會影響分數。
    • Verbosity bias：偏好比較長的回答。
  • 建議：多模型交叉評審 + 少量人工抽查 + 仔細設計 Prompt。

#五、其他常見陷阱

#5.1 資料洩漏（Data Leakage）

  • Benchmark 的題目已經出現在訓練資料中，分數虛高。
  • 常見於公開資料集（如 GSM8K、部分程式碼評測）。

#5.2 Prompt 極度敏感

  • 同一個模型、同一組題目，換個 Prompt 寫法，排名可能完全改變。

#5.3 模型本身的偏見

  • 對不同性別、種族、立場等產生不一致的回應。
  • 評估時也需要專門設計測試。

#5.4 安全性評估

  • Jailbreak：用特殊編碼、多輪對話、角色扮演等方式誘騙模型做不該做的事。
  • Prompt Injection：在輸入中偷偷植入指令（例如論文白色小字、直播留言）。
  • 實際部署時，抗攻擊能力比「平均分數」更重要。

#5.5 實務考量（不只看內容品質）

  • 速度：首 Token 延遲、生成速度。
  • 價格：API 成本。
  • 穩定性：最差情況表現（木桶理論），而不是只看平均分數。
  • 平均高分 ≠ 實用可靠。

#六、總結與建議

  1. 評估是必要的，但分數不是一切。
  2. 單一指標很容易被「玩」。
  3. 有標準答案 → 用 Exact Match + 相似度 + 語意相似度，並思考倒扣機制。
  4. 沒有標準答案 → 人類評估 + LLM Judge，並警惕各種偏見。
  5. 實務應用要同時看：正確性、速度、成本、安全性、最差情況表現。
  6. 保持批判思考：永遠問「這個分數真的代表能力嗎？」

延伸閱讀：