故障排查GitHub issue2 分钟阅读排错/错误码

FastGPT上传文件超出模型上下文长度的流程优化方案

上传文件至FastGPT后,经解析的总文本长度超出所绑定大模型的上下文窗口限制,无法直接将完整文件内容传入大模型生成回答,导致问答流程异常。 上传的文件经解析转换为文本后,总长度超过了当前使用大模型的上下文窗口上限,大模型无法处理超出限制的输入内容,进而无法完成基于该文件的问答。

现象

上传文件至FastGPT后,经解析的总文本长度超出所绑定大模型的上下文窗口限制,无法直接将完整文件内容传入大模型生成回答,导致问答流程异常。

可能原因

上传的文件经解析转换为文本后,总长度超过了当前使用大模型的上下文窗口上限,大模型无法处理超出限制的输入内容,进而无法完成基于该文件的问答。

排查步骤

  1. 确认当前FastGPT绑定的大模型的上下文窗口限制参数。
  2. 上传目标文件至FastGPT,获取解析后的总文本长度数据。
  3. 将解析后的总文本长度与大模型上下文窗口上限进行对比,确认是否超出限制。

解决与验证

可通过指定流程优化该问题:用户上传文件→解析至临时知识库→通过语义/全文检索知识库获取匹配内容→将匹配内容传入大模型完成回答。该流程可避免将完整文件内容直接传入大模型,仅将检索到的匹配内容作为上下文输入,从而规避超出模型上下文长度的问题。按照该流程部署并测试后,上传超出模型上下文长度的文件,可正常生成基于文件内容的回答。

来源: FastGPT GitHub issue #5187