V100跑通Qwen FP4
开发者开源 v100-skinny,让 4 张 2017 年 Tesla V100 通过软件转换运行 Qwen3.8 的混合 FP4/FP8 权重。作者称单请求解码吞吐达到约 219 tok/s,接近 RTX 5090 上专用推理引擎的表现。
事件进展(1 篇报道)
-
2026-08-19 23:44
开发者开源 v100-skinny,让 4 张 2017 年 Tesla V100 通过软件转换运行 Qwen3.8 的混合 FP4/FP8 权重。作者称单请求解码吞吐达到约 219 tok/s,接近 RTX 5090 上专用推理引擎的表现。