MoE专家预取提速热议

LocalLLaMA用户尝试用MTP头预测下一token会路由到的MoE专家，并提前通过PCIe预取到GPU，以缓解CPU/GPU offload中的带宽瓶颈。该方案声称可能将Qwen3.6 35B在RTX 3060上的生成速度从30 tok/s提升至150-200 tok/s，引发可实现性讨论。

事件进展（1 篇报道）

1. 2026-07-17 02:47
   Reddit r/LocalLLaMA tried predicting which MoE experts get used next token to speed up cpu/gpu offload, got some real numbers, is this actually implementable or am i wasting my time (30tg/s -> 150-200tg/s)

← 返回首页