主题
工具数量增加后,Tool Calling 的准确率和延迟怎样优化?
题型:调优 · 工具越多,不能简单把所有 Schema 都发送给模型。
建议回答
我会先通过租户、角色、Agent 类型和场景策略过滤无权或无关工具,再用规则、Embedding 检索或轻量路由模型从 Registry 中选出候选工具,只把少量高相关工具交给主模型。工具命名要稳定且互斥,描述包含适用场景和不适用场景,参数 Schema 尽量简洁,并用真实调用样本评估工具选择准确率和参数正确率。
执行层对只读且无依赖的调用可并行,对外部 MCP 连接做复用和健康检查;大结果进行字段白名单、摘要或对象存储引用。对确定性高的流程可直接使用固定工作流,不必每一步都让模型重新选择。
关键指标
- 工具 Top1 选择准确率、参数一次通过率。
- 无效调用、重复调用和工具切换次数。
- 工具描述 Token、调用 P95 和成功率。
- 每个工具对最终任务成功率的贡献。
易错点
- 候选检索不能绕过权限过滤。
- 描述写得更长不一定更准,可能增加混淆和成本。