KV缓存量化基准发布

社区基于BeeLlama.cpp v0.4.0测试413组KV cache量化配置，覆盖Qwen 3.6 27B和Gemma 4 31B。结果显示KVarN 6-bit在部分指标上优于q8_0，且保留最近1024 token高精度尾部对误差控制影响显著。

事件进展（1 篇报道）

1. 2026-08-07 01:09
   Reddit r/LocalLLaMA KV cache quantization benchmarks: 413 pairs tested on Qwen 3.6 27B, Gemma 4 31B. KLD with BeeLlama.cpp v0.4.0: KVarN 6-bit beats q8_0, precision tail 1024 dominates

← 返回首页