小样本QLoRA学习率争议
Reddit用户质疑QLoRA教程常用的2e-4默认学习率不适合1万条以下小数据集，容易在首个epoch内过拟合。讨论聚焦微调实践中学习率、样本规模和验证集表现的经验偏差。
事件进展（1 篇报道）
-
2026-07-16 20:50Reddit r/MachineLearning The qlora 2e-4 default is wrong under 10k samples and nobody talks about it [D]
Reddit用户质疑QLoRA教程常用的2e-4默认学习率不适合1万条以下小数据集，容易在首个epoch内过拟合。讨论聚焦微调实践中学习率、样本规模和验证集表现的经验偏差。