单卡5090跑出Qwen高吞吐

一个从零实现的 C++/CUDA 推理引擎 NInfer 开源，面向特定 Qwen3.6 检查点优化。作者称在单张 RTX 5090 上，65,536 token 长上下文下仍可实现约 543 tok/s。

事件进展（1 篇报道）

1. 2026-07-20 22:48
   Reddit r/LocalLLaMA 543 tok/s single-request Qwen3.6-35B-A3B on one RTX 5090 over a 65K-token decode

← 返回首页