Inkling-Small可低内存本地运行

Mference新增支持Inkling-Small 276B-A12B，本地测试显示在M5 24GB设备上常驻内存约3.4GB、峰值低于10GB，解码速度约2.6-2.9 tok/s。该模型为Apache 2.0许可的MoE模型，但长提示词预填充耗时较长，当前仅支持文本。

事件进展（1 篇报道）

1. 2026-08-06 02:35
   Reddit r/LocalLLaMA Inkling-Small 276B-A12B at ~2.9 tok/s on <10gb memory

← 返回首页