LFM2.5-DSpark提速推理
Hugging Face介绍LFM2.5-DSpark推理优化,GPU吞吐最高提升3.18倍,端侧最高提升2.87倍。该方案通过投机解码降低解码阶段访存瓶颈,并让LFM2.5-2.6B函数调用平均延迟下降57%,已支持llama.cpp和SGLang上游开源集成。
事件进展(1 篇报道)
-
2026-08-21 00:52Hugging Face Blog Up to 3.2x Faster Inference with LFM2.5-DSpark