现象
使用ChatGLM2-6B-32K模型生成QA时,出现两类问题。一是无法在生成QA前选择模型、指定分段长度、指定生成问题数量,也无法自定义生成QA的prompt。二是输入的prompt中的system消息被忽略,生成的QA对质量不高。
可能原因
ChatGLM2模型本身对生成QA的参数适配存在局限,无法支持prompt中的system消息。生成QA的分段长度默认按模型最大长度的45%自动匹配,未提供明确的手动调整配置入口。
排查步骤
- 确认当前生成QA所使用的模型为ChatGLM2系列。
- 查看生成QA的配置界面,检查是否存在分段长度、问题数量、自定义生成prompt的设置选项。
- 验证输入的system消息是否在生成流程中被正确传递。
解决与验证
- 分段长度默认取模型最大长度的45%,需按实际环境确认是否存在手动调整的配置项。
- ChatGLM2无法支持prompt中的system消息,生成的QA对质量不足以满足生产环境需求,可更换其他适配的模型。
- 自定义生成QA的prompt功能,需按实际环境确认是否存在对应配置入口。