FastGPT 模型网关架构:路由、凭据与故障处理

说明 FastGPT 模型网关与自定义端点的请求路径,梳理渠道配置、OneAPI 导入、凭据管理和失败场景,形成可交接的接入验收清单。

模型网关把应用使用的模型名称映射到具体服务商、部署地址和凭据。设计时应同时考虑聊天、embedding、重排及其他模型类型,让应用能够使用稳定名称,并让运维人员定位一次请求实际经过的渠道。

FastGPT 的官方模型配置文档介绍了 AIProxy 的渠道管理、负载均衡、模型日志与看板。向量模型服务负责生成 embedding;模型网关负责请求路由。为两类服务分别配置容量和健康检查,才能清楚判断请求失败发生在哪一层。

画出一条请求路径

一条典型路径是:FastGPT 应用选择模型 → 模型配置决定请求地址或网关 → 网关选择渠道 → 上游模型服务返回结果。每一层都应能对应到模型标识、请求时间和响应状态。

配置对象需要确认的内容验收方法
应用模型名称FastGPT 中的模型标识与上游标识映射同一应用调用时能找到实际渠道
网关渠道地址、鉴权、可用模型与启停状态对每个渠道独立发送最小请求
请求格式消息、流式响应、工具调用与其他参数使用业务实际使用的参数组合测试
模型预算输入上限、输出预算与应用超时测试长输入、长输出与慢请求
运维记录请求状态、延迟、用量与关联标识从应用错误定位到上游响应

明确直连与网关路由

FastGPT 模型配置中的字段使用 requestUrlrequestAuth。配置完整的自定义请求 URL 后,请求可以走该地址,绕过模型渠道选择。需要统一渠道管理时,应在接入验收中确认实际请求路径。

为每个渠道配置独立凭据,限定其可访问的模型和使用范围。凭据通过部署环境或管理配置维护,导出配置和日志时进行脱敏。第三方接口支持的参数需要逐项验证,尤其是流式结束事件、工具调用结构和图片输入。

迁移已有 OneAPI 配置

官方文档给出了显式导入 OneAPI 渠道的接口:POST /api/channels/import/oneapi。迁移前备份原配置,准备导入所需的管理信息;导入后逐条检查代理地址、模型和 API Key 的映射,再启用业务流量。

先通过一个测试应用验证普通聊天与流式聊天,再加入业务需要的工具调用和长上下文。原渠道保留到目标渠道通过验收,切换时记录应用绑定与恢复方法。导入后的配置正确性应由实际请求确认。

设计失败处理

为连接失败、鉴权失败、限流、模型报错和超时分别定义动作。仅在请求具备可安全重试条件时重试;具有外部副作用的工具执行需要单独控制重复调用。多渠道切换也应检查输出格式和能力是否一致。

测试时主动停止一个测试渠道,观察实际请求分配与错误返回。为长响应记录首个输出耗时和完整响应耗时;为 embedding 与重排记录输入量、延迟和失败比例。对同一问题使用相同输入进行重复测试,避免把输入变化归因于路由策略。

上线验收表

每种模型至少覆盖成功、错误凭据、限流或过载、超时、上游异常响应五类场景。验收记录应包含模型名称、实际渠道、请求类型、结果、延迟与恢复动作。用一条失败请求演示从应用到网关再到上游的定位过程,形成运维交接材料。

继续阅读

参考资料