LLM 评测体系

课程来源：AI 工程化实战笔记 影片链接：待补充 投影片：待补充

#一、为什么要做 LLM 评测

大语言模型的输出具有随机性与开放性，传统基于精确匹配的评测方法不再适用。建立系统化的评测体系是保障 LLM 应用质量的前提。

#二、离线评测

#1. 评测维度

#2. 常用评测方法

• 人工评测：黄金标准，但成本高、不可扩展
• 规则评测：针对结构化输出，如准确率、F1、BLEU
• LLM-as-a-Judge：使用 GPT-4 等强模型作为裁判
• Embedding 相似度：衡量语义距离

#3. LLM-as-a-Judge 实践

prompt = f"""
你是一名严格的评审专家，请根据以下维度给回答打分（1-5）：
- 正确性：回答是否准确？
- 完整性：是否覆盖关键点？
- 相关性：是否紧扣问题？

用户问题：{question}
参考答案：{reference}
模型回答：{answer}

请以 JSON 输出：{{"correctness": 4, "completeness": 5, "relevance": 4, "comment": "..."}}
"""

注意事项：

• 明确评分标准（Rubric）
• 多次评测取平均，降低随机性
• 对 Judge 进行校准与偏差分析

#三、在线评测

#1. A/B 测试

• 新旧模型并行对比
• 主要观察业务指标（点击率、转化率、用户停留）
• 配套安全性监控

#2. 真实用户反馈

• 点赞/点踩、复制、追问等隐式反馈
• 用户显式打分与评论
• 错误样本的主动收集

#3. 线上指标体系

• 功能指标：任务成功率、平均轮次
• 性能指标：首 token 延迟、端到端延迟
• 稳定性指标：错误率、重试率

#四、评测数据的积累

• 构建场景化评测集：覆盖核心业务路径
• 定期进行回归评测：防止迭代过程中能力退化
• 建立Bad Case 库：持续追踪失败案例

#五、小结

LLM 评测是一门新兴学科。工程上的最佳实践是：离线自动化评测 + 线上 A/B 测试 + 人工抽检 三者结合，形成完整的质量闭环。