Agent Runtime 的延迟与成本怎样调优？

题型：调优 · 优先减少无效步骤和大上下文，再优化单个组件。

建议回答

我会先统计每个节点耗时、模型调用次数、Agent 平均步数、工具选择命中率、输入输出 Token 和失败重试次数。调优通常从减少链路开始：简单问题走直接问答或固定工作流，复杂问题才进入 Agent；用工具白名单和更清晰的描述减少错误选择；对独立检索或工具并行执行；对历史消息、Scratchpad 和工具结果做裁剪与摘要。

模型侧可以按节点使用不同档位，例如路由与改写使用小模型，最终生成使用更强模型；同时设置总步数、总 Token、总时长和单工具预算。Checkpoint 根据风险分级保存，流式事件与审计日志采用异步批量写入，但不能丢失关键决策记录。

关键指标

• 首 Token、端到端 P95、单节点 P95。
• 每请求模型调用次数与 Agent 步数分布。
• 每成功任务成本，而不是单次模型价格。
• 工具误调用率、重复调用率和提前终止率。

易错点

• 盲目换小模型可能增加重试和步骤数，最终更贵。
• 并行调用要受预算、限流和依赖关系约束。