Mac本地多会话跑Qwen

Reddit用户分享在96GB Mac Studio上运行多路Qwen3.5 122B会话的实验，通过磁盘KV缓存减少GPU预填充计算。20分钟测试中约93.8%的提示词来自磁盘缓存，预填充计算量约降低16倍。

事件进展（1 篇报道）

1. 2026-07-18 15:44
   Reddit r/LocalLLaMA Serving a fleet of Qwen3.5 122b sessions on a single Mac Studio (96GB) without losing your sanity

← 返回首页