SkewAdam降低MoE训练显存
研究者发布SkewAdam优化器预印本与代码，面向MoE训练中的优化器状态显存瓶颈。其按参数类型分层分配状态精度，声称可将优化器状态内存降低97%，使6.7B MoE可在40GB GPU上训练。
事件进展（1 篇报道）
-
2026-07-22 15:04Reddit r/MachineLearning SkewAdam: A tiered optimizer that cuts MoE state memory by 97% (fits a 6.7B MoE on a 40GB GPU) [R]