现象
工具调用时,默认将调用接口与LLM对话强制合并,导致返回内容混乱。工具调用下配置多个插件时,返回内容显得更加杂乱,无法自主选择由插件直接返回内容或经LLM处理后返回,影响使用体验。
可能原因
工具调用的原生设计逻辑默认将调用接口的返回结果与LLM对话流程强制绑定,未提供可配置的分离选项,导致无法灵活控制返回内容的处理方式,也不利于新用户理解工具的使用逻辑。
排查步骤
- 确认当前使用的工具调用模块的配置项,需按实际环境确认是否存在强制合并调用结果与LLM对话的设置。
- 检索工具调用相关的配置文档,查找是否存在工具调用终止类的配置项,需按实际环境确认。
- 发起一次工具调用测试,观察返回内容是否自动进入LLM对话处理流程,确认绑定逻辑是否生效。
解决与验证
可通过两种方式调整配置。其一,添加工具终止组件,控制工具调用的返回流程。其二,使用问题分类与内容提取组合的方式,分离工具调用与LLM对话的处理流程。两种方式均可实现功能分离,具体选择需结合实际业务场景。配置完成后,发起工具调用,验证返回内容可按需求由插件直接输出,或经LLM处理后再输出,确认配置生效。