故障排查GitHub issue2 分钟阅读排错/错误码

解决FastGPT回复中途中断并提前结束会话的问题

使用FastGPT时,回复内容输出至中途停止,停顿数秒后会话提前结束。该问题在使用NVIDIA T4 GPU的环境中较为常见,部分场景下表现为回复不全,属于断卡类异常。 目前已知关联的异常因素包括Python进程偶然发送异常字符串、模型调用出现断卡异常(涉及NVIDIA T4 GPU环境)。

现象

使用FastGPT时,回复内容输出至中途停止,停顿数秒后会话提前结束。该问题在使用NVIDIA T4 GPU的环境中较为常见,部分场景下表现为回复不全,属于断卡类异常。

可能原因

目前已知关联的异常因素包括Python进程偶然发送异常字符串、模型调用出现断卡异常(涉及NVIDIA T4 GPU环境)。需排查模型API本身是否存在调用异常。

排查步骤

  1. 直连调用目标模型API,验证返回的信息是否完整,确认模型API本身是否存在异常。
  2. 查看完整的响应内容,确认异常是否属于回复不全的断卡类异常。
  3. 检查部署环境的GPU运行状态,确认是否存在关联NVIDIA T4 GPU的断卡问题。

解决与验证

当前已通过最新提交修复该问题,修复逻辑为强制拦截Python进程偶然发送的异常字符串。验证方式为重新部署最新版本的FastGPT,发起对话测试,确认回复内容可完整输出,无中途停止及会话提前结束的情况。

来源: FastGPT GitHub issue #218