RTX3090跑Qwen3.8达99tps

开发者更新面向RTX 3090的Qwen3.8-27B高优化推理引擎，单请求速度从82 tps提升至99 tps，批量请求峰值达1150 tps。优化包括fp8 KV缓存、int8激活、fp16 recurrent state与MTP采样等，但fast模式以较短上下文为代价。

事件进展（2 篇报道）

1. 2026-08-18 04:01
   Reddit r/LocalLLaMA I pushed Qwen3.8-27B to 99 tps single request and 1150 tps with a batch request on a RTX 3090
2. 2026-08-18 05:17
   Reddit r/LocalLLaMA Benchmarked Qwen3.8-27B on 4x RTX 3090

← 返回首页