现象
FastGPT 4.8.16版本调用本地模型时,因上下文较长、GPU资源有限导致等待时间较长,返回报错{"message": "Request timed out.", "name": "Error"}。直接调用目标模型API可成功,仅FastGPT返回该超时报错,目标模型日志显示状态200,仅FastGPT日志存在timeout相关记录。
可能原因
超时限制来自FastGPT内部配置。流响应默认超时时间为1分钟,非流响应默认超时时间为10分钟,长上下文调用可能超出该默认阈值。
排查步骤
- 确认报错文本为{"message": "Request timed out.", "name": "Error"},且仅FastGPT返回该报错。
- 查看FastGPT运行日志,确认是否存在timeout相关的记录。
- 直接调用目标模型的API接口,验证模型服务本身无超时问题。
- 定位FastGPT的超时配置文件路径,该文件位于FastGPT源码的FastGPT/packages/service/core/ai/config.ts。
解决与验证
- 找到FastGPT源码中的FastGPT/packages/service/core/ai/config.ts文件。
- 修改该文件中的超时参数,按需调整流响应与非流响应的超时时间。
- 若使用Docker部署FastGPT,需将修改后的配置文件打包进镜像,或通过挂载方式加载自定义配置。
- 重启FastGPT服务,测试长上下文的模型调用,确认超时报错不再出现。