Ling 3.0 Flash量化测速公布
社区在一台DGX Spark上测试Ling-3.0-flash全套GGUF量化版本,单流解码整体落在32至40 tok/s区间。由于该MoE模型每token仅激活5.1B参数,量化位宽对吞吐影响较小,Q5_K_M反而成为最快且接近无损的选择。
事件进展(1 篇报道)
-
2026-08-12 00:47
社区在一台DGX Spark上测试Ling-3.0-flash全套GGUF量化版本,单流解码整体落在32至40 tok/s区间。由于该MoE模型每token仅激活5.1B参数,量化位宽对吞吐影响较小,Q5_K_M反而成为最快且接近无损的选择。