大MoE量化内存规划求助
Reddit 用户计划未来搭建 256GB 或 512GB DRAM 加 48GB VRAM 的本地推理机器，提前下载大 MoE 模型并选择合适量化版本。帖子重点询问 GLM-5.2 等模型在 Q2/Q3/Q4 量化、未量化 KV 缓存和不同上下文长度下的实际内存占用。
事件进展（1 篇报道）
-
2026-07-04 02:21
Reddit 用户计划未来搭建 256GB 或 512GB DRAM 加 48GB VRAM 的本地推理机器，提前下载大 MoE 模型并选择合适量化版本。帖子重点询问 GLM-5.2 等模型在 Q2/Q3/Q4 量化、未量化 KV 缓存和不同上下文长度下的实际内存占用。