Qwen3.6 NVFP4 5090实测
有人对 Unsloth 的 Qwen3.6-27B NVFP4 版本做了 1 张和 2 张 5090 的推理测试,重点看 speculative decoding 的收益。结论是短上下文、单用户时提速明显,但并发一上来或上下文拉长,优势会快速缩水,甚至转为降速。
事件进展(1 篇报道)
-
2026-07-21 23:04
有人对 Unsloth 的 Qwen3.6-27B NVFP4 版本做了 1 张和 2 张 5090 的推理测试,重点看 speculative decoding 的收益。结论是短上下文、单用户时提速明显,但并发一上来或上下文拉长,优势会快速缩水,甚至转为降速。