NInfer优化4090运行Qwen 3.8

NInfer分支新增rk2v4-e8 KV缓存量化选项，使单张RTX 4090可在部分配置下将Qwen 3.8 27B上下文扩展至25万至35万token且无需溢出到系统内存。作者还称，针对代码、数学等重复工作负载，生成速度可达每秒80至160 token。

事件进展（1 篇报道）

1. 2026-08-17 04:48
   Reddit r/LocalLLaMA NInfer RTX 4090 for Qwen 3.8 27B update - up to 250-350K tokens context in VRAM

← 返回首页