现象
部署FastGPT过程中,需配置中转地址与密钥,无法实现完全私有化部署。用户希望使用本地开源大模型替代付费在线服务,且未在部署文档中找到本地模型的接入方法。
可能原因
部署文档未明确说明本地模型的接入方式,默认配置依赖中转服务导致需访问外网,且未提供本地模型对接的相关指引。
排查步骤
- 检查部署文档是否包含本地模型接入的相关说明。
- 确认当前配置是否强制要求中转地址与密钥。
- 核实本地模型的接口格式是否与FastGPT兼容。
- 需按实际环境确认硬件是否满足本地模型的运行需求。
解决与验证
可通过OneAPI对接本地模型或在线API,文档中有相关说明。可不通过OneAPI直接对接部署的模型接口。本地模型运行对硬件要求较高,性价比需按实际环境确认。配置完成后,发起模型调用测试,确认调用正常且无需访问外网即可完成验证。