AI 应用的可观测性与评估

传统软件是可确定的：同样的输入，同样的输出。大模型应用则不同——输出充满不确定性。这要求我们建立一套全新的质量保障体系。

为什么传统测试不够

单元测试断言「输出等于预期」，但大模型的回答没有标准答案。一个回答可能「语法正确但事实错误」或「格式对但语气不对」。这迫使我们用「评估」而非「断言」来衡量质量。

建立评估集

评估集是一组「输入 + 期望的评判标准」的测试用例，来源：

• 真实用户的高频问题；
• 专家标注的典型场景；
• 边缘 case 与对抗性输入。

评估集要持续扩充，覆盖模型可能出错的地方。

评估的三种方式

1. 规则校验：格式、长度、关键词、JSON 结构等可自动判断的维度；
2. LLM 评估：用另一个模型对回答打分（正确性、相关性、语气），成本低但需校准；
3. 人工评估：抽样人工打分，最可靠但昂贵，用于关键版本。

可观测性：追踪每一次调用

对 AI 应用，可观测性尤其重要：

• 追踪（Tracing）：记录每次调用的提示词、工具调用、耗时、成本；
• 监控指标：延迟、token 消耗、错误率、用户反馈；
• 回归对比：每次改动提示词或模型后，跑评估集对比效果。

持续改进的闭环

评估 → 发现问题 → 改进（提示词/检索/微调）→ 再评估，形成闭环。没有评估的 AI 应用，等于在黑暗中飞行。

结语

AI 应用的质量保障，核心是把「不可确定」转化为「可度量」。建立评估与可观测体系，是 AI 应用走向生产的关键门槛。