双3080运行DeepSeek V4
Reddit 用户分享在 2 张 RTX 3080 20GB 与 64GB DDR5 机器上运行 DeepSeek V4 Flash Q2 GGUF 的实践,生成速度约 17 tk/s、prefill 约 270 tk/s。帖子给出了 llama.cpp fork、KV cache 量化与启动参数,对本地大模型部署玩家有参考价值。
事件进展(1 篇报道)
-
2026-07-16 22:52Reddit r/LocalLLaMA Q2 DeepSeek V4 Flash on 2x 3080 20GB, 64GB DDR5 | 17 tk/s gen, 270 tk/s prefill