NInfer跑Qwen3.8高速实测

社区用户称单张 RTX 5090 运行 NInfer 上的 Qwen3.8-27B 4-bit NVFP4，可达 880 tok/s 聚合吞吐，并支持完整 262k 上下文。该引擎并非 llama.cpp 或 vLLM 分支，但使用封闭式格式且需转换权重。

事件进展（1 篇报道）

1. 2026-08-16 05:04
   Reddit r/LocalLLaMA 880 tok/s on one 5090 Qwen3.8-27B in 4-bit NVFP4, full 262k context

← 返回首页