现象
使用FastGPT时,需频繁更换和调整模型,花费大量时间。缺少预制的各模型配置文件,模型配置过程繁琐且混乱,增加了模型调试的成本。
可能原因
当前FastGPT未提供预制的模型配置文件,需手动配置每个模型的参数,且无统一的实时更新的模型参数参考来源,导致配置效率低,且易出现与官方参数不符的错误。
排查步骤
- 检查当前部署环境中是否存在预制的模型配置文件
- 逐一核对已配置模型的参数是否与官方公开的参数一致
- 梳理多模型配置的管理情况,确认是否存在配置混乱的问题
解决与验证
目前可通过手动核对官方公开参数完成模型配置。官方后续将推出基于oneapi的定制界面,可简化模型配置流程,减少手动配置的工作量。配置过程中,需确保每个模型的参数与官方公开信息匹配,避免出现参数错误。配置完成后,可通过调用测试验证参数是否正确,模型是否可正常调用。若需参考配置格式,可按照通用的模型配置文件规范编写配置文件。