Qwen超大模型本地运行

网友在 RTX 5090、RTX 5060 Ti 与 128GB DDR5 内存配置上，用 llama.cpp 运行 Qwen3.8-2.4T-A95B 的 GGUF 量化版本，速度约 0.80 tok/s。实验还启用了原生 MTP speculative decoding，展示超大 MoE 模型在消费级混合硬件上的边界玩法。

事件进展（3 篇报道）

1. 2026-08-14 02:52
   Reddit r/LocalLLaMA EXPERIMENT: Qwen3.8-2.4T-A95B running locally on an RTX 5090 + RTX 5060 Ti at ~0.80 tok/s
2. 2026-08-14 06:59
   Reddit r/LocalLLaMA Qwen3.8 2.4T UD-Q1_0 - 178 token generation - 11 min 38s - 0.25 tokens/sec
3. 2026-08-14 09:54
   Reddit r/LocalLLaMA 1BIT Qwen 3.8 2.4T a95b (unsloth iQ1_S) (MEDIUM Reasoning)

← 返回首页