Dust提出无反向传播预训练Transformer
研究团队提出Dust零阶优化方法，通过对每个Token的激活独立扰动，在一次前向传播中并行评估虚拟种群，实现无需反向传播的Transformer语言模型预训练。实验显示，该方法在计算资源充足时可逼近甚至超过反向传播效果，但需要更多计算开销。
事件进展（1 篇报道）
-
2026-10-06 05:15
研究团队提出Dust零阶优化方法，通过对每个Token的激活独立扰动，在一次前向传播中并行评估虚拟种群，实现无需反向传播的Transformer语言模型预训练。实验显示，该方法在计算资源充足时可逼近甚至超过反向传播效果，但需要更多计算开销。