评分与评估：让 Agent 的表现可量化、可优化
Agent 是否好用，不能只靠主观感受判断。更可靠的方式是：提前定义评估标准，用一组真实或典型任务持续测试，再根据分数和明细定位问题。
在 Pipora 里，这套「考核 Agent 和工作流」的能力，就叫评分与评估。
评分系统是什么
评分系统是一套给 Agent、工作流、处理器打分的机制。它帮助你回答一个核心问题：
「我搭出来的这个智能助手，质量是否稳定？」
它的工作流程包括四个部分：
- 数据集：准备一组测试任务或问题
- 被测对象：Agent、工作流或处理器，负责给出输出结果
- 评分器：按照你设定的标准逐项打分
- 实验报告：汇总分数和明细，展示优势与问题
通过这套机制，Agent 的表现从「感觉还行」变成了「准确率 87%」——模糊变清晰，优化有方向。
为什么要用评分系统
1. 避免只凭主观判断
Agent 在简单问题上表现良好，不代表它能应对真实场景的复杂情况。评分系统用批量测试代替零散试用，暴露真正的薄弱环节。
2. 改动有据可依
你调整了 Agent 的角色设定，或者换了一个工具——效果真的变好了吗？
跑一遍评分实验，对比改动前后的分数，用数据验证调整是否有效，而不是凭猜测。
3. 持续监控，防退化
Agent 今天表现很好，一个月后呢？给它挂上评分器，系统会持续运行测试。如果分数下滑，你会第一时间知道，及时排查原因。
4. 团队协作有共同语言
当多个人一起搭建 Agent 时，「我觉得不够好」很容易引发争论。而「评分从 85 降到了 72」是一个客观事实，大家能围绕数据讨论怎么改进。
评分系统的核心组成
评分器：定义「怎么打分」
评分器用于定义评分标准。你可以创建多个评分器，针对不同维度设定规则：
- 准确性：回答是不是事实正确？
- 相关性：有没有答非所问？
- 完整性：关键信息有没有漏掉？
- 格式合规：输出格式是否符合预期？
评分器本身也支持版本管理：你可以不断迭代评分标准，尝试新的打分维度，改坏了随时回退到之前的版本，也可以对比不同版本的差异。
数据集：准备测试用例
数据集是一组测试用例的集合。每个测试用例包含：
- 输入：给 Agent 的问题或任务
- 参考答案（可选）：你认为的正确回答，供评分器对照
你可以为不同的评估目标创建不同的数据集：
| 数据集类型 | 用途 |
|---|---|
| Agent 测试集 | 检验某个 Agent 的回答质量 |
| 工作流测试集 | 检验整条工作流的输出结果 |
| 处理器测试集 | 检验数据加工环节的准确性 |
实验：运行评估任务
实验就是把评分器应用到数据集上的过程。一次实验会：
- 取出数据集中的每一道测试题
- 让目标 Agent/工作流/处理器作答
- 用评分器逐题打分
- 汇总生成完整的评分报告
你可以随时查看实验结果，看到总分、每道题的得分、以及具体的失分原因。
怎么使用评分系统
第一步：创建数据集
在界面上创建一个新的数据集，给它起个名字、写一段描述，然后指定它要测试的对象类型（Agent、工作流、处理器或评分器本身）。
接着，往数据集里添加测试用例。每个用例包含你要问的问题，以及你认为的理想答案（可选）。测试用例可以随时增删改，数据集也会自动保存版本历史。
第二步：创建评分器
定义你的评分维度。比如你想考核「客服 Agent」的服务质量，可以设定几个评分项：语气是否礼貌、问题是否解决、信息是否准确。
评分器创建后，可以先做几次小规模实验验证打分规则是否合理，再逐步调整到满意的状态。
第三步：运行实验
选择你要测试的目标（某个 Agent 或工作流）、选择数据集、选择评分器，启动一次实验。
系统会自动逐题测试、打分，最后给你一份完整的成绩单。你可以：
- 看总分，判断整体水平
- 看逐题得分，定位具体问题
- 多次实验对比，追踪改进效果
第四步：持续挂测（可选）
如果你希望长期监控某个 Agent 的表现，可以把评分器绑定到 Agent 上。这样系统会定期自动运行评分，你随时能看到最新的质量趋势，一旦发现分数异常下滑，立刻介入排查。
常见的使用场景
场景一：上线前的质量把关
新的客服 Agent 上线前，先用评分系统跑 100 条真实客户问题，确认准确率达标再投入使用。
场景二：A/B 对比优化
Agent A 和 Agent B 用不同的角色设定，拿同一套数据集分别测试，看哪个分数高，就用哪个。
场景三：回归测试防退化
每次修改 Agent 配置后，自动跑一遍历史测试集，确保没有「改好一处、弄坏三处」。
场景四：量化汇报
向团队或领导汇报 Agent 项目进展时，用「准确率从 72% 提升到 91%」代替「感觉越来越好了」，更有说服力。
一句话总结
评分系统 = 用标准化测试，让 Agent 的表现看得见、比得准、管得住。
它不是给 Agent「挑毛病」的，而是帮你建立持续优化的闭环：设定标准 → 批量测试 → 发现问题 → 针对性改进 → 再次验证。