vLLM引入受限解码提升工具调用准确率
vLLM新增受限解码支持,可约束模型输出并保证工具调用符合预期 schema。文章称,使用 vLLM 0.28 服务 Kimi K2.6 时,工具调用格式正确率约为 92%,错误调用会影响多轮 Agent 任务表现。
事件进展(1 篇报道)
-
2026-10-26 20:59Hacker News Fixing Tool-Call Accuracy in vLLM
vLLM新增受限解码支持,可约束模型输出并保证工具调用符合预期 schema。文章称,使用 vLLM 0.28 服务 Kimi K2.6 时,工具调用格式正确率约为 92%,错误调用会影响多轮 Agent 任务表现。