开发者与开源 重要度 5

Unsloth发布Qwen量化加速

Unsloth 社区发布面向 Qwen3.6 27B 和 35B-A3B 的 NVFP4 量化版本，称相较 NVIDIA NVFP4 量化可实现最高 2.5 倍推理加速且无精度下降。方案使用 W4A4 4bit Tensor Core 矩阵乘法，并提供 FP8 KV Cache 校准以支持更长上下文。

事件进展（2 篇报道）

  1. 2026-07-10 21:20
    Reddit r/LocalLLaMA 2.5x faster Qwen3.6 NVFP4 Unsloth quants
  2. 2026-07-11 09:51
    Reddit r/LocalLLaMA Benchmark of the new unsloth/Qwen3.6-27B-NVFP4 on 4x 5060 ti's with P2P and PP=4 at 1,4,8,12, and 16 concurrency.

← 返回首页