NInfer首日支持Qwen3.8

NInfer宣布首日支持Qwen3.8-27B，并发布适配权重。作者称在单张RTX 5090上借助推测解码可达约200 tok/s，同时加入共享分页KV缓存、并发请求和CUDA内核优化。

事件进展（1 篇报道）

1. 2026-08-15 01:07
   Reddit r/LocalLLaMA NInfer day0 support for Qwen3.8 27b: ~200 tok/s generation, with tons of engine improvments

← 返回首页