Llama-modchip压缩284B模型至64GB内存运行

开源项目 Llama-modchip 宣称通过二阶 Hessian 压缩、低比特量化、模型分块与 MoE 剪枝，使 DeepSeek-V4-Flash 284B MoE 可在无 GPU、64GB 内存的 CPU 设备上运行。项目还称 30B MoE 模型可在 16 核 Zen 5 CPU 上达到 25至60 tok/s，主打降低大模型本地推理的内存与硬件门槛。

事件进展（1 篇报道）

1. 2026-11-08 18:22
   Hacker News Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU

← 返回首页