Gemma 4 QAT更适合KV量化

Reddit 讨论用 BeeLlama.cpp 对 Gemma 4 31B 做 KV cache quantization 基准，结果显示 QAT 版本的 KLD 明显更低。作者认为 QAT 模型在 KV 缓存量化下更接近原始模型，推理损失更小。

事件进展（1 篇报道）

1. 2026-08-12 23:28
   Reddit r/LocalLLaMA Gemma 4 QAT handles KV cache quantization MUCH better, KLD benchmarks show

← 返回首页