故障排查GitHub issue2 分钟阅读排错/错误码

说明FastGPT知识库文件分割的具体实现策略

使用者在使用FastGPT的知识库功能时,存在对文件分割策略的疑问,希望明确两种场景下的分割规则:一是使用大语言模型时的提示词构造方式,二是未使用大语言模型时的具体分割方式。

现象

使用者在使用FastGPT的知识库功能时,存在对文件分割策略的疑问,希望明确两种场景下的分割规则:一是使用大语言模型时的提示词构造方式,二是未使用大语言模型时的具体分割方式。

可能原因

使用者未掌握FastGPT知识库文件分割的两种实现模式,不清楚不同模式对应的分割逻辑,也无法判断自身业务场景适配的分割方式,同时对自定义提示词的配置场景存在困惑。

排查步骤

  1. 确认当前使用的知识库分割模式类型,区分直接分割与问答拆分两种模式。
  2. 依据模式类型,对照对应的分割逻辑进行核对,明确当前分割规则是否符合业务需求。
  3. 如需自定义提示词,切换至问答拆分模式后完成相关配置。

解决与验证

直接分割模式下,文件按照字符数与段落进行分割。问答拆分模式下,文件按照大语言模型进行分割,支持自定义提示词,可根据内容的信息结构调整分割逻辑。验证时,可选取目标文件按照对应模式进行分割测试,确认分割结果与预期一致。如需调整提示词,可在问答拆分模式下完成自定义配置,适配不同的内容信息结构。同时,可根据自身业务需求,选择对应的分割模式,确保文件分割结果符合使用要求。

来源: FastGPT GitHub issue #2482