Ninfer本地推理走红

Reddit 用户称开源项目 Ninfer 可在 RTX 5090 上运行 Qwen3.6 27B/35B，并实现约 550-720 tokens/s 的单实例推理速度。该项目针对特定显卡和模型优化，支持 25 万上下文，但目前主要是社区实测与早期项目热度。

事件进展（1 篇报道）

1. 2026-07-28 03:17
   Reddit r/LocalLLaMA Nifer is insane. 700t/s with Qwen 3.6 35B (no thinking). Purpose build for RTX5090. Full 250k context too.

← 返回首页