权重衰减与L2正则化：为什么这个看似微小的区别让AdamW成为大模型训练的标配
一个困扰深度学习社区多年的困惑 2015年，Diederik Kingma和Jimmy Ba在ICLR上发表了Adam优化器论文（该论文于2014年12月提交arXiv）。这个结合了动量和自适应学习率的优化器迅速成为深度学习社区的最爱。然而，一个奇怪的现象开始困扰研究者们：使用Adam训练的模型，其泛化能力似乎总是不如使用普通SGD加权重衰减训练的模型。 ...
大模型训练
梯度裁剪：为什么这个"简单"技巧能拯救你的深度学习模型
训练大语言模型时，你是否遇到过这样的情况：损失函数曲线突然出现莫名其妙的尖峰，模型仿佛"失忆"了一般，之前学到的知识瞬间消失？或者在训练循环神经网络时，梯度变成了NaN，整个训练过程直接崩溃？这些问题的背后，往往隐藏着一个共同的罪魁祸首——梯度爆炸。 ...
梯度累积真的能模拟大批量训练吗？从数学等价性到隐性成本的完整解析
当你的显卡显存不足以容纳更大的batch size时，梯度累积似乎是唯一的救星。这个技术在几乎所有大模型训练框架中都有支持，从Hugging Face Transformers到PyTorch Lightning，再到各种分布式训练框架。只需一行配置，你就能在有限的显存下"模拟"更大的batch size——至少文档是这么说的。 ...