Skip to content

工具数量增加后,Tool Calling 的准确率和延迟怎样优化?

题型:调优 · 工具越多,不能简单把所有 Schema 都发送给模型。

建议回答

我会先通过租户、角色、Agent 类型和场景策略过滤无权或无关工具,再用规则、Embedding 检索或轻量路由模型从 Registry 中选出候选工具,只把少量高相关工具交给主模型。工具命名要稳定且互斥,描述包含适用场景和不适用场景,参数 Schema 尽量简洁,并用真实调用样本评估工具选择准确率和参数正确率。

执行层对只读且无依赖的调用可并行,对外部 MCP 连接做复用和健康检查;大结果进行字段白名单、摘要或对象存储引用。对确定性高的流程可直接使用固定工作流,不必每一步都让模型重新选择。

关键指标

  • 工具 Top1 选择准确率、参数一次通过率。
  • 无效调用、重复调用和工具切换次数。
  • 工具描述 Token、调用 P95 和成功率。
  • 每个工具对最终任务成功率的贡献。

易错点

  • 候选检索不能绕过权限过滤。
  • 描述写得更长不一定更准,可能增加混淆和成本。

知识关系

从当前问题继续深入,或者回到提出这个问题的知识入口。