微软公布智能体LLM路由
微软发布 Azure Kubernetes Service 上的智能体流量路由参考架构,结合 RouteLLM、agentgateway 与 Kubernetes Gateway API Inference Extension。方案按提示语义、策略治理和 GPU 实时状态分层调度,可将大量简单智能体调用路由到低成本模型,最高节省 85% 成本。
事件进展(1 篇报道)
-
2026-08-07 23:00InfoQ 中国 最高节省 85% 成本:微软公布 AI 智能体 LLM 路由方案