这件事在什么时候变成问题
当企业级RAG知识库系统进入稳定运行阶段后，仅靠临时测试或主观感受判断回答质量的方式逐渐失效。随着知识库迭代更新、检索模型版本升级、业务场景扩展，不同人员对回答质量的评判标准难以统一，无法量化判断系统是变好还是变差。当出现批量用户反馈回答偏差、检索结果异常波动时，缺乏固定参照样本的排查工作会陷入盲目性。例如当系统出现检索片段遗漏、相关度过滤失效等问题时，仅通过单次随机测试无法定位是配置变更、模型波动还是知识库更新导致的异常。当需要对比不同版本系统的效果，或验证配置调整对质量的影响时，没有统一的评测集就无法生成可对比的量化数据，只能依赖零散的测试结果，无法支撑决策。当系统接入多轮对话工作流后，单次对话的结果波动会影响整体体验，此时需要固定样本验证多轮执行的一致性，这类需求会让评测集构建成为必须解决的问题。
需要先定下来的判据
| 判据 | 取什么值 | 依据 |
|---|---|---|
| 知识库召回准确率 | 召回目标片段的比例需按实际场景设定阈值 | 用已标注的结构化文档样本衡量召回片段与预期内容的匹配度 |
| 最低相关度过滤有效性 | 低于配置阈值的召回结果未被返回，匹配预设空搜索回复规则 | 按检索模式与重排配置验证过滤逻辑，记录低相关片段和空结果 |
| 重排模型输出一致性 | 重排结果的排序与相关性分数符合模型返回逻辑 | 记录重排空结果、超时和排序波动，检查异常处理路径 |
| 检索结果完整性 | 按已标注的相关片段计算召回率，并记录返回数量与检索长度限制 | 对照目标片段检查排序与遗漏情况，衡量检索覆盖范围 |
| 工作流节点稳定性 | 固定数据、查询和配置，比较多次检索的稳定性与允许波动 | 记录数据和配置版本，区分多轮输入变化与检索结果波动 |
| 空搜索触发正确性 | 无相关召回时触发预设空回复内容 | 使用负样本验证空结果分支与预设回复 |
这些判据的取舍需结合业务优先级确定。知识库召回准确率与空搜索触发正确性是核心指标，直接决定回答的基础准确性，是所有场景下的优先验证项。最低相关度过滤有效性保障检索结果的合规性，避免低相关内容干扰最终回答，适用于对内容严谨性要求较高的场景。重排模型输出一致性与检索结果完整性是优化检索效果的补充指标，用于提升召回结果的相关性与覆盖范围，适用于需要精细化检索的场景。工作流节点稳定性则针对多轮对话与自动化部署场景，保障系统长期运行的一致性。不同业务场景可调整判据优先级，例如面向合规性要求高的内部知识库系统，会优先验证最低相关度过滤有效性；面向内容覆盖范围广的公开知识库系统，会优先验证检索结果完整性。
具体怎么做
固定知识库快照、检索模式、模型与参数后再比较结果。相似度分数的含义与过滤方式随检索模式和重排配置变化，应分别标定；低分过滤后的空结果通过已配置的工作流分支处理。 上线前评测集搭建需从现有知识库中提取覆盖多场景的固定样本。首先梳理样本来源，包括结构化问答对文档（如格式为dataId,q,a,index1,index2的文件）、非结构化文档分块片段，以及负样本（与知识库内容无关的查询）。为每个样本标注明确的预期结果，包括需召回的目标片段ID、预期的最低相关度阈值、预期的重排排序结果。将样本整理为标准化格式，如JSON或CSV文件，固化样本内容与元数据，包括关联的知识库ID、检索模式、重排模型配置、空搜索回复规则等。确保每次测试使用完全相同的样本集，避免因样本差异导致的结果偏差。
上线后的回归测试需搭建自动化执行流程。首先编写自动化测试脚本，调用知识库检索接口，遍历评测集中的每个查询，获取返回的召回片段、相关度分数、重排结果。脚本需记录每次测试的执行状态、返回结果与预期结果的差异。将测试结果与预设的判据进行比对，例如检查召回片段是否包含目标ID、相关度分数是否符合阈值、重排结果是否符合预期排序。针对异常场景，如向量库调用错误、重排模型超时等，脚本需记录错误类型与发生频率，生成包含详细测试数据的报告。定期执行回归测试，例如在知识库更新、模型升级、系统配置变更后立即执行，确保系统变化后的质量符合预期。
判分口径的落地需结合业务需求调整权重。首先为每个评测样本设定分项得分，例如召回正确得对应分数、相关度过滤正确得对应分数、重排结果正确得对应分数、空搜索触发正确得对应分数。将每个样本的分项得分汇总，计算整体的准确率、一致性率等综合指标。针对异常问题，如最低相关度不生效、重排模型返回空结果等，在判分规则中加入对应的扣分项，确保异常场景被准确识别。定期更新评测集，例如在知识库新增文档后，将新的文档片段加入样本集，确保评测集覆盖最新的知识库内容。同时，根据业务需求调整判分权重，例如面向客服场景可提升召回准确率的权重，面向自动化办公场景可提升工作流节点稳定性的权重。
怎么验收
- 验证评测集加载完整性：导入固化的评测集文件，确认所有样本的查询内容、预期结果、关联元数据均完整加载，无缺失字段。
- 验证基础检索功能：随机选取一定比例的语义检索样本，确认返回的召回片段包含预期的目标内容，相关度分数符合配置阈值。
- 验证相关度过滤功能：选取包含低相关度召回的样本，确认低于配置阈值的结果未被返回，触发预设的空搜索回复内容。
- 验证重排功能稳定性：对同一样本连续执行多次重排测试，确认结果排序、相关性分数在预设的稳定性范围内，记录异常与波动。
- 验证工作流节点一致性：在工作流中添加知识库检索节点，重复执行相同查询多次，记录每次返回的召回结果、相关度分数，并与预设的稳定性范围比较。
- 验证异常场景处理：选取与知识库无关的负样本，确认触发预设的空搜索回复，无无关召回内容。
- 验证自动化测试脚本正确性：运行完整的自动化测试脚本，确认所有测试项均完成，无执行错误，生成的测试报告包含完整的测试数据与结果比对记录。
边界：什么情况下这套做法不成立
这套评测集的适用范围存在明确边界。当系统新增未覆盖的检索模式时，例如多模态知识库检索、图搜图功能，现有评测集的样本未包含对应场景的查询与预期结果，无法有效验证新增功能的质量。当模型或检索组件发生重大升级，例如更换Embedding模型或重排模型，原有评测集的判分标准可能不再适配新模型的输出逻辑，需重新调整判据与样本预期结果。当业务场景发生重大变更，例如从内部专业知识库切换至外部第三方知识库，原有样本的预期结果不再符合新的业务需求，无法准确评估系统质量。当部署环境出现分布式负载均衡配置，不同实例的模型或检索组件存在差异，可能导致重排结果或召回结果不一致，现有评测集无法覆盖这种场景下的稳定性验证。此外，若评测集样本量不足，无法覆盖所有业务场景，例如针对特定行业的专业文档样本过少，会导致测试结果的代表性不足。最后，该评测集无法直接定位基础设施层面的问题，例如向量库重启、API调用超时等，需结合基础设施监控工具进行排查。
继续阅读
参考资料
需要进一步确认时
上述判据与验收项可依据公开文档逐条核对。若需要结合具体部署环境与运维条件落地这套流程，可通过商务咨询获取支持；云服务形态可直接开始使用。