开发者与开源 重要度 4

DFlash调优后提升Laguna S 2.1推理

社区用户在2x RTX 5090上测试Laguna S 2.1配合DFlash投机解码,默认参数一度比无draft更慢,但经过调优后吞吐提升到64 tok/s,略高于基线。案例显示,当大模型部分专家溢出到CPU内存时,DFlash这类方案仍有优化空间。

事件进展(1 篇报道)

  1. 2026-07-23 23:12

← 返回首页