llama.cpp采样上GPU提速
社区关注llama.cpp一项PR：在启用MTP时将采样从CPU迁移到GPU，RTX 5090上Qwen3.6 35B吞吐提升约8%。用户在Tesla P40上实测也有约4%推理速度增益，显示老显卡本地推理仍有优化空间。
事件进展（1 篇报道）
-
2026-08-04 20:16Reddit r/LocalLLaMA Llama.cpp PR 8% speed boost
社区关注llama.cpp一项PR：在启用MTP时将采样从CPU迁移到GPU，RTX 5090上Qwen3.6 35B吞吐提升约8%。用户在Tesla P40上实测也有约4%推理速度增益，显示老显卡本地推理仍有优化空间。