Qwen量化格式对比测试
Reddit用户对Qwen3.6 27B的16种量化格式进行对比,覆盖GGUF、NVFP4、AWQ、AutoRound和FP8等方案。测试以未量化模型为参考,通过下一词概率分布的KL散度衡量质量漂移,认为GGUF在质量与体积权衡上表现突出。
事件进展(1 篇报道)
-
2026-08-11 02:16Reddit r/LocalLLaMA I compared GGUF quants of Qwen3.6 27B to NVFP4, AWQ, AutoRound, and FP8