现象
使用FastGPT过程中,对应用评测功能的维度、评分实现方式存在疑问,无法明确具体的评测维度与评分逻辑。
可能原因
未获取到官方公开的应用评测维度说明与评分实现细节,对评测逻辑存在认知空白。
排查步骤
- 确认需使用的评测维度范围,明确是否仅需使用回答准确性维度
- 梳理需实现的评分逻辑,区分不同维度对应的实现方式
- 按实际需求对齐评测维度与评分方法
解决与验证
FastGPT应用评测的维度包含回答准确性、问题相关性、语义准确性,当前仅支持回答准确性维度。不同评测维度使用不同的实现方式,包含大模型评分及其他方式。可通过实际调用评测功能,确认输出的评分维度与预期一致,验证评分结果符合对应维度的评估规则。