llama.cpp优化x86量化推理
llama.cpp一项PR为x86 VNNI加入Q2_0×Q8_0点积实现，作者基准显示Bonsai 1.7B至27B模型CPU吞吐提升约3至3.6倍。8B模型decode从2.39提升至8.20 tok/s，显示低比特量化在CPU本地推理上的优化空间。
事件进展（1 篇报道）
-
2026-08-07 20:27
llama.cpp一项PR为x86 VNNI加入Q2_0×Q8_0点积实现，作者基准显示Bonsai 1.7B至27B模型CPU吞吐提升约3至3.6倍。8B模型decode从2.39提升至8.20 tok/s，显示低比特量化在CPU本地推理上的优化空间。