双3090运行Qwen3.8达218 tokens/s

社区使用两张RTX 3090、vLLM、AutoRound INT4和DFlash2运行Qwen3.8-27B，单请求代码解码速度达到218.3 tokens/s。测试支持131K上下文，峰值显存约22.3GB/卡，展示了低成本部署大模型的推理优化空间。

事件进展（1 篇报道）

1. 2026-08-19 12:39
   Reddit r/LocalLLaMA Qwen3.8-27B on 2x 3090 + vLLM + DFlash2: 218 tok/s single request

← 返回首页