突破长文本推理瓶颈 九章云极Alaya-DFlash2助GLM-5.3解码提速3.41倍
长文本的等待，发生在输出阶段。 32k 的文档读进去了，模型开始回答。第一个字很快，后面每个字都要等——主模型一次只往前一步，每生成一个 token，都要把整段上下文重新算一遍。上下文越长，这一步越贵。 推测解码换了个做法：让一个更小的草稿模型先往后猜几步，主模型一次性验证。猜中的部分直接接收，一轮就能推进好几个 token。猜得准不准，用一个指标衡量——接受长度，即每次验证平均能通过多少个候选。
事件进展（1 篇报道）
-
2026-10-20 23:07