请用 30 秒介绍多模型路由与适配层

题型：30 秒基础题 · 说明统一什么，以及保留哪些能力差异。

30 秒回答

多模型层对上统一 Chat、Streaming、Embedding 和 Tool Calling 等能力，对下适配 OpenAI、通义千问及企业私有模型的鉴权、请求格式、流式协议和错误码。模型配置按租户和场景管理，路由时综合能力、成本、延迟、上下文长度、数据合规和健康状态选择模型。适配层统一异常分类、超时、重试、限流和指标，但不会假设所有模型能力完全相同，而是通过 capability 显式声明差异。

面试官关注点

• 统一接口不能抹平流式、工具调用和结构化输出的能力差异。
• Chat 模型和 Embedding 模型有不同版本与兼容性要求。
• 企业私有模型常见 OpenAI-compatible，但仍可能存在协议细节差异。

易错点

• 不要只按模型名称写 if-else。
• 模型切换不能只改一个配置项，还要考虑 Prompt、Tokenizer、Tool Schema 和评估结果。