llama.cpp试验MoE专家缓存
llama.cpp新PR通过热度图追踪MoE专家调用频率，将高频专家缓存到GPU、低频专家留在CPU运行。作者在8GB显存下报告部分模型推理速度提升1.7至2倍，但也有模型变慢，说明收益依赖专家复用模式。
事件进展（1 篇报道）
-
2026-08-05 01:52
llama.cpp新PR通过热度图追踪MoE专家调用频率，将高频专家缓存到GPU、低频专家留在CPU运行。作者在8GB显存下报告部分模型推理速度提升1.7至2倍，但也有模型变慢，说明收益依赖专家复用模式。