TurboFieldfare低内存跑Gemma
开发者在 HN 展示开源推理引擎 TurboFieldfare,可在任意 M 系列 Mac 上用约 2GB RAM 运行 4-bit Gemma 4 26B-A4B-IT。其思路是将共享层与 KV cache 留在内存,只按 token 从 SSD 流式读取所需专家权重,以突破本地内存限制。
事件进展(1 篇报道)
-
2026-07-29 23:05
开发者在 HN 展示开源推理引擎 TurboFieldfare,可在任意 M 系列 Mac 上用约 2GB RAM 运行 4-bit Gemma 4 26B-A4B-IT。其思路是将共享层与 KV cache 留在内存,只按 token 从 SSD 流式读取所需专家权重,以突破本地内存限制。