同一GRPO配方在三款自训LLM上分化
作者用纯 PyTorch 从零训练 3 个不同规模的 LLM，再统一做 SFT 和 GRPO 后训练，发现预训练损失随模型更大和架构更新而下降，但 GRPO 反而让其中两款模型变差。结果显示，GRPO 的效果不只取决于规模，架构和训练细节也会显著影响后续强化阶段的收益。
事件进展（1 篇报道）
-
2026-08-20 05:30
作者用纯 PyTorch 从零训练 3 个不同规模的 LLM，再统一做 SFT 和 GRPO 后训练，发现预训练损失随模型更大和架构更新而下降，但 GRPO 反而让其中两款模型变差。结果显示，GRPO 的效果不只取决于规模，架构和训练细节也会显著影响后续强化阶段的收益。