WASTE支持NVMe跑Kimi K3
sqliteai发布WASTE,一个无依赖、可嵌入的C语言推理引擎,可通过从NVMe流式加载激活权重,在内存不足时运行2.78万亿参数Kimi K3。项目将模型主干留在内存中,并用剩余RAM作为专家缓存。
事件进展(1 篇报道)
-
2026-08-03 08:16
sqliteai发布WASTE,一个无依赖、可嵌入的C语言推理引擎,可通过从NVMe流式加载激活权重,在内存不足时运行2.78万亿参数Kimi K3。项目将模型主干留在内存中,并用剩余RAM作为专家缓存。