开发者与开源 重要度 4

Ling INT4推理提速方案曝光

社区分享 Ling-3.0-flash 官方 INT4 在单台 DGX Spark 上的优化配置:关闭 enforce-eager 以启用 cudagraphs,并开启内置 MTP speculative decode。该组合将速度从 20.8 tok/s 提升至 38.7 tok/s,同时保留 256K 上下文窗口。

事件进展(1 篇报道)

  1. 2026-08-10 00:10

← 返回首页