DFlash调优后提升Laguna S 2.1推理
社区用户在2x RTX 5090上测试Laguna S 2.1配合DFlash投机解码,默认参数一度比无draft更慢,但经过调优后吞吐提升到64 tok/s,略高于基线。案例显示,当大模型部分专家溢出到CPU内存时,DFlash这类方案仍有优化空间。
事件进展(1 篇报道)
-
2026-07-23 23:12
社区用户在2x RTX 5090上测试Laguna S 2.1配合DFlash投机解码,默认参数一度比无draft更慢,但经过调优后吞吐提升到64 tok/s,略高于基线。案例显示,当大模型部分专家溢出到CPU内存时,DFlash这类方案仍有优化空间。