GGUF低显存训练进展
社区开发者展示在 GGUF 基座模型上进行 LoRA 训练的新进展,可用约 90GiB 显存训练 DeepSeek-V4-Flash,且无需 CPU offload。项目还实现了多种注意力相关 Triton kernel,目标是把 GGUF 更深入接入 PyTorch 生态。
事件进展(1 篇报道)
-
2026-07-29 00:49Reddit r/LocalLLaMA LoRA over GGUF: Train DeepSeek-V4-Flash in 90G VRAM