TensorSharp合并MoE卸载
TensorSharp已将MoE CPU-offload功能合并进主线,可将部分或全部路由专家权重放入系统内存,由CPU计算以降低显存占用。作者对DeepSeek V4、Gemma4、Qwen、GPT-OSS等模型进行了与llama.cpp的基准对比。
事件进展(1 篇报道)
-
2026-08-05 21:13
TensorSharp已将MoE CPU-offload功能合并进主线,可将部分或全部路由专家权重放入系统内存,由CPU计算以降低显存占用。作者对DeepSeek V4、Gemma4、Qwen、GPT-OSS等模型进行了与llama.cpp的基准对比。