故障排查GitHub issue2 分钟阅读排错/错误码

解决FastGPT知识库图片内容无法支撑AI对话问答的问题

上传包含图片的知识库并开启图标标注功能后,可识别图片内的图形与文字,但在AI对话中提问图片内的具体内容时,模型回复知识库无相关信息。例如上传包含多组手机图片及对应型号、参数描述的知识库,开启功能后可识别图片内容,但提问「xx型号手机CPU是什么规格」时,模型回复知识库没有信息。更换多个模型后,问题依旧存在。

现象

上传包含图片的知识库并开启图标标注功能后,可识别图片内的图形与文字,但在AI对话中提问图片内的具体内容时,模型回复知识库无相关信息。例如上传包含多组手机图片及对应型号、参数描述的知识库,开启功能后可识别图片内容,但提问「xx型号手机CPU是什么规格」时,模型回复知识库没有信息。更换多个模型后,问题依旧存在。部分场景下,PDF内的表格图片仅生成索引,未将图片内文本作为上下文提供给模型。

可能原因

当前系统仅对图片内容生成索引标识,未将识别出的图片文本或实体内容作为知识库的正式上下文内容传入模型,导致模型无法获取图片内的相关信息,无法回答针对图片内容的提问。

排查步骤

  1. 确认已将包含目标内容的图片类文件上传至目标知识库。
  2. 确认已开启知识库的图片内容识别(图标标注)功能。
  3. 在AI对话界面输入针对图片内具体内容的提问,验证模型是否返回知识库无相关信息的回复。
  4. 检查PDF等文件内的图片是否仅生成索引,未将图片内文本纳入上下文。

解决与验证

可通过将图片识别出的文本内容加入知识库上下文的方式优化该功能。需按实际环境确认相关配置项的开启路径与参数。验证流程为:上传包含目标内容的图片至知识库,开启图片内容识别功能,发起针对图片内具体内容的提问,确认模型可返回匹配的知识库信息。

来源: FastGPT GitHub issue #4240