llama.cpp量化KV解码提速169%
一则 llama.cpp PR 报告称，将 Intel Battlemage 上的量化 KV decode 路径从 VEC 切到 TILE 后，长上下文性能大幅提升，作者给出最高约 169% 的加速数据。讨论重点是 SYCL FlashAttention 调度的一个小改动，带来明显吞吐收益。
事件进展（1 篇报道）
-
2026-08-08 01:09
一则 llama.cpp PR 报告称，将 Intel Battlemage 上的量化 KV decode 路径从 VEC 切到 TILE 后，长上下文性能大幅提升，作者给出最高约 169% 的加速数据。讨论重点是 SYCL FlashAttention 调度的一个小改动，带来明显吞吐收益。