现象
在FastGPT知识库中插入图片内容后,调用LLM生成回复时,无法稳定输出相关图片内容,无法满足智能客服回复带软件截图的需求。
可能原因
知识库中的图片以markdown链接形式存储,LLM仅能识别为代码片段,无法准确理解图片实际内容。LLM在不确定内容的情况下,不会主动输出相关图片,导致调用效果不稳定。
排查步骤
- 确认知识库中图片的存储形式,是否为标准markdown图片链接格式。
- 确认当前使用的LLM模型是否支持多模态内容识别。
- 检查应用提示词配置,确认是否包含针对图片内容调用的引导规则。
解决与验证
为知识库中的每张图片链接添加详细的前置描述文本,说明图片的具体内容与使用场景。在应用的提示词中明确强调,要求LLM在匹配到相关知识时,调用知识库中的图片链接。发起测试请求,确认LLM可以稳定输出带有图片链接的回复内容,满足智能客服带截图回复的需求。