Ling INT4推理提速方案曝光
社区分享 Ling-3.0-flash 官方 INT4 在单台 DGX Spark 上的优化配置:关闭 enforce-eager 以启用 cudagraphs,并开启内置 MTP speculative decode。该组合将速度从 20.8 tok/s 提升至 38.7 tok/s,同时保留 256K 上下文窗口。
事件进展(1 篇报道)
-
2026-08-10 00:10
社区分享 Ling-3.0-flash 官方 INT4 在单台 DGX Spark 上的优化配置:关闭 enforce-eager 以启用 cudagraphs,并开启内置 MTP speculative decode。该组合将速度从 20.8 tok/s 提升至 38.7 tok/s,同时保留 256K 上下文窗口。