16张AMD MI50跑GLM-5.2
社区用户展示用 16 张 AMD MI50 32GB 通过 llama.cpp RPC 运行 GLM-5.2 Q4，模型规模约 436GiB，在 1.07 万 token 文档上达到约 12.2 tok/s 输出速度。该案例披露了双 8 卡节点、10GbE 互联、512GB 总显存等配置，对本地大模型推理硬件实践有参考价值。
事件进展（1 篇报道）
-
2026-07-23 01:30Reddit r/LocalLLaMA 16x AMD MI50 32GB: GLM-5.2 Q4 at 12.2 tok/s with llama.cpp RPC