VRAM缓存加速Kimi MoE推理

社区用户分享在llama.cpp中用VRAM作为磁盘缓存保留MoE专家权重的推理方案，使Kimi-K2.7-Code量化模型在单台DGX Spark上达到约340 pp/s和9.6 tg/s。该方法结合统一内存、mmap和层权重固定，展示了大MoE模型在有限显存环境下的优化思路。

事件进展（1 篇报道）

1. 2026-07-22 14:12
   Reddit r/LocalLLaMA VRAM disk cache of MoE makes 340 pp/s 9.6 tg/s for Kimi 2.7 on a single dgx spark

← 返回首页