Mac本地LLM从SSD流式加载MoE
开发者基于llama.cpp制作Slipstream,通过从SSD流式加载MoE专家权重,让36GB内存MacBook运行35B到480B编码模型。项目以macOS应用形式发布,并公开成功与失败的基准数据,突出本地AI与存储带宽结合的新玩法。
事件进展(1 篇报道)
-
2026-07-26 01:42
开发者基于llama.cpp制作Slipstream,通过从SSD流式加载MoE专家权重,让36GB内存MacBook运行35B到480B编码模型。项目以macOS应用形式发布,并公开成功与失败的基准数据,突出本地AI与存储带宽结合的新玩法。