单卡3090跑近百万上下文
社区用户报告称，基于 Qwen 3.5 35B A3B 的约 17GB 模型可在 24GB 显存 RTX 3090 上加载近 100 万 token 上下文，并成功完成多位置“needle”检索。方案使用 BeeLlama.cpp fork 与华为 KVarN 4-bit KV Cache 量化，显示本地长上下文推理的显存效率仍有提升空间。
事件进展（1 篇报道）
-
2026-08-10 19:38
社区用户报告称，基于 Qwen 3.5 35B A3B 的约 17GB 模型可在 24GB 显存 RTX 3090 上加载近 100 万 token 上下文，并成功完成多位置“needle”检索。方案使用 BeeLlama.cpp fork 与华为 KVarN 4-bit KV Cache 量化，显示本地长上下文推理的显存效率仍有提升空间。