为FastGPT配置Xinference以接入本地大模型的完整步骤
Xinference是开源模型推理平台,支持部署LLM、Embedding和ReRank模型,可用于企业级RAG构建,还支持Function Calling功能与分布式水平扩展。根据部署环境不同,可选择不同推理后端:服务器环…
面向开发与部署人员,按任务搜索 4316 篇技术内容,覆盖部署升级、知识库、工作流、集成与 API。
共 4316 篇
Xinference是开源模型推理平台,支持部署LLM、Embedding和ReRank模型,可用于企业级RAG构建,还支持Function Calling功能与分布式水平扩展。根据部署环境不同,可选择不同推理后端:服务器环…
私有部署FastGPT时,对象存储用于存储对话文件、知识库文件等附件内容,一旦出现存储桶相关故障,会影响这些核心功能的使用。本文档用于排查该场景下的两类高频存储桶问题:存储桶连接失败、文件上传报错。当系统日志出现ERR等级的…
该功能仅面向FastGPT商业版用户开放,需联系客服申请密钥后方可使用,计费方式为按量计费,直接扣除sealos账户余额。使用前需确认已部署FastGPT商业版,且团队已获得Agent Sandbox使用权限,同时需提前向客…
FastGPT 使用 Sealos 部署时,通过 OneAPI 管理模型池,可兼容多种类型模型。部署提供新加坡区和北京区两个选项:新加坡区服务器在国外,可直接访问境外模型服务,但国内用户需通过网络工具访问,价格稍高;北京区由…
SiliconCloud(硅基流动)是专注开源模型调用的平台,自带加速引擎,可提供语言、向量、重排、语音等多类型模型,能够覆盖FastGPT的所有模型需求。使用该平台前,需先阅读FastGPT官方的模型配置说明文档,确保掌握…
用户在使用FastGPT私有部署v4.14.10版本时,注意到agent-sandbox的默认容器配置需要挂载 /var/run/docker.sock:/var/run/docker.sock:ro ,担心该挂载项会赋予容…
使用FastGPT私有部署版V4.14.20时,通过API Key调用知识库更新接口,返回403错误,报错内容为 {"code": 403,"statusText": "unAuthorization","message":…
升级到V4.14.9后code-sandbox无法启动,从V4.14.8起该问题就已出现。在ARM架构的麒麟V10SP3操作系统环境中,sandbox无日志输出并持续重启;同操作系统的x86架构服务器可正常使用该组件。使用d…
在Linux ARM64(aarch64)架构的系统上启动或编译FastGPT时,控制台会输出报错信息 Failed to load native module for linux-arm64. Ensure the cor…
用户使用Docker私有部署FastGPT后,后台日志出现以下异常:1. 多次重复发起 GET /api/core/ai/model/getMyModels?versionKey=3530738b-d4f4-45c9-80d…
在FastGPT私有部署V4.14.5版本中,使用包含 formatter 函数的ECharts JSON配置时,图表无法正常渲染,页面呈现空白状态。用户提供的配置中, tooltip 字段内的 formatter 为自定义…
在FastGPT 4.14.8私有部署版本中,用户新建知识库并上传Excel文件后,查看分块结果时发现多行文本被合并为一个分块,未按照每行内容单独拆分。从用户提供的截图可见,原本独立的多行Excel内容被整合为单个分块,与预…