llama.cpp合入DFlash
社区用户测试刚合入llama.cpp的DFlash支持,在Qwen 3.6 27B和RTX 6000 Pro环境下,36K上下文场景速度最高提升4.44倍。DFlash采用块扩散草稿器进行 speculative decoding,可一次生成一批候选token,对本地大模型长上下文推理加速有参考价值。
事件进展(1 篇报道)
-
2026-07-08 00:40
社区用户测试刚合入llama.cpp的DFlash支持,在Qwen 3.6 27B和RTX 6000 Pro环境下,36K上下文场景速度最高提升4.44倍。DFlash采用块扩散草稿器进行 speculative decoding,可一次生成一批候选token,对本地大模型长上下文推理加速有参考价值。