在深度学习的众多超参数中，batch size（批次大小）可能是最容易被忽视的一个。相比于学习率的精细调节、模型架构的反复打磨，batch size的选择往往只遵循一个简单的规则：在显存允许的范围内，尽量设大。
这个直觉来源于一个朴素的认知：更大的batch意味着每次迭代看到更多数据，梯度估计更准确，训练更稳定。然而，2016年的一篇论文颠覆了这个认知——研究者发现，在相同训练轮次下，使用大batch训练的模型泛化能力反而更差。这个现象被称为"泛化差距"（generalization gap）。
为什么更多的数据、更准确的梯度反而导致了更差的泛化？这个看似矛盾的现象背后，隐藏着深度学习最核心的优化秘密。
一个反直觉的发现：大batch的泛化陷阱
2016年，Keskar等人在论文《On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima》中报告了一个令人困惑的实验结果：当batch size增大时，模型在测试集上的表现反而下降。
这个现象并非偶然。在CIFAR-10数据集上，当batch size从32增加到8192时，测试准确率下降了约5个百分点。更令人惊讶的是，即使控制了所有其他变量（学习率、训练轮次、优化器），这个差距依然存在。
graph LR
A[Batch Size增大] --> B[梯度方差减小]
B --> C[收敛更稳定]
C --> D[训练损失更低]
D --> E[测试准确率下降?]
style E fill:#f9f,stroke:#333,stroke-width:4px
这个发现挑战了当时的主流认知。在那之前，人们普遍认为SGD（随机梯度下降）中的随机性是一种需要克服的缺陷——大batch减少了这种随机性，应该会带来更好的优化结果。但实验结果恰恰相反：正是这种"不完美"的随机性，成就了更好的泛化。
尖锐最小值 vs 平坦最小值：损失地形的秘密
要理解这个现象，我们需要深入神经网络的损失地形（loss landscape）。
想象你在一座山脉中寻找最低的山谷。传统优化理论告诉你，找到最低点就是胜利。但神经网络的情况更复杂：训练集上的最低点，未必是测试集上的最优解。
Keskar等人提出了一个关键洞察：大batch倾向于收敛到尖锐最小值（sharp minima），而小batch更可能收敛到平坦最小值（flat minima）。
graph TB
subgraph 平坦最小值
A1[损失值] --- A2[参数空间]
A2 --- A3[宽阔的低谷区域]
end
subgraph 尖锐最小值
B1[损失值] --- B2[参数空间]
B2 --- B3[狭窄的深坑]
end
A3 --> C[对参数扰动鲁棒<br/>泛化能力强]
B3 --> D[对参数扰动敏感<br/>泛化能力弱]
为什么平坦的最小值泛化更好？
训练集和测试集的数据分布存在微小差异。如果你站在一个宽阔的山谷底部（平坦最小值），即使数据分布稍有偏移，你依然处于较低的位置。但如果你站在一个陡峭的深坑底部（尖锐最小值），任何微小的扰动都可能让你跃升到高处。
这就解释了为什么大batch训练的模型在训练集上表现优秀，却在测试集上表现糟糕——它找到了一个"过于精确"的答案，精确到只对训练数据有效。
梯度噪声：不完美中的完美
那么，小batch是如何"帮助"模型找到平坦最小值的呢？答案在于梯度噪声。
SGD的更新公式可以写为：
$$\theta_{t+1} = \theta_t - \eta \cdot \nabla L(\theta_t; B_t)$$其中 $B_t$ 是当前batch，$L$ 是损失函数，$\eta$ 是学习率。当batch size较小时，梯度估计 $\nabla L(\theta_t; B_t)$ 包含较大的随机噪声。这个噪声使参数更新轨迹呈现出一种"探索"的特性——它不会沿着最速下降方向直奔最近的最小值，而是在损失地形中游走。
graph LR
subgraph 小Batch训练
A1[高梯度噪声] --> B1[探索性更新]
B1 --> C1[跳出尖锐最小值]
C1 --> D1[收敛到平坦区域]
end
subgraph 大Batch训练
A2[低梯度噪声] --> B2[确定性更新]
B2 --> C2[直奔最近最小值]
C2 --> D2[陷入尖锐最小值]
end
这种游走有一个重要效果：逃离尖锐最小值。尖锐最小值周围的梯度较大，但梯度噪声会"推着"参数跳出这个区域。相比之下，平坦最小值区域的梯度较小，梯度噪声也相应较小，参数更容易在这里稳定下来。
从另一个角度看，梯度噪声相当于一种隐式正则化。就像Dropout通过随机丢弃神经元来防止过拟合，SGD的随机性通过梯度噪声来鼓励模型学习更鲁棒的特征。
2018年，Masters和Luschi在论文《Revisiting Small Batch Training for Deep Neural Networks》中进一步验证了这个观点。他们发现，在适当调整学习率的情况下，小batch训练可以达到与大batch相当甚至更好的泛化性能，同时收敛过程更加稳定。
学习率与Batch Size的微妙关系
既然小batch有优势，为什么不都用小batch？一个现实问题是训练效率。大batch可以利用GPU的并行计算能力，大幅减少训练时间。2017年，Goyal等人在论文《Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour》中展示了如何用8192的batch size在1小时内完成ImageNet训练。
他们成功的关键在于一条经验法则：学习率线性缩放规则。
线性缩放规则
当batch size增大 $k$ 倍时，学习率也应该增大 $k$ 倍。直觉上，大batch的梯度估计更准确，可以承受更大的步长；小batch梯度噪声大，需要更小的步长来保持稳定。
$$\eta_{\text{large}} = k \cdot \eta_{\text{small}}$$graph LR
A[Batch Size x2] --> B[学习率 x2]
B --> C[保持相同的<br/>参数更新幅度]
D[Batch Size x4] --> E[学习率 x4]
E --> F[保持相同的<br/>参数更新幅度]
G[Batch Size x8] --> H[学习率 x8]
H --> I[可能失效<br/>需要额外技巧]
style I fill:#f99,stroke:#333
但这个规则并不总是有效。研究者发现，当batch size超过某个阈值（通常是4096-8192），线性缩放开始失效，模型性能下降。
学习率预热
Goyal等人还提出了一个重要技巧：学习率预热（learning rate warmup）。在训练初期，参数距离最优解较远，直接使用大学习率可能导致不稳定。预热策略在开始阶段使用较小的学习率，然后逐渐增加到目标值。
graph LR
A[训练开始] --> B[小学习率]
B --> C[逐渐增加]
C --> D[目标学习率]
D --> E[正常训练]
D --> F[逐步衰减]
这个技巧后来被广泛应用于Transformer类模型的训练，包括BERT和GPT系列。在BERT的训练中，前10%的训练步用于学习率预热，之后才开始正常的衰减。
LARS与LAMB：大batch训练的救星
尽管有了线性缩放和预热策略，大batch训练依然面临挑战。2017年，Yang You等人提出了LARS（Layer-wise Adaptive Rate Scaling）优化器，成功将ResNet-50的batch size扩展到32K。
LARS的核心思想是分层自适应学习率。神经网络的不同层有不同的参数规模和梯度幅度。如果所有层使用相同的学习率，某些层可能更新过快，导致训练不稳定。LARS为每一层计算一个"信任比率"（trust ratio），根据层的参数范数和梯度范数动态调整学习率。
graph TB
A[神经网络] --> B[层1: 卷积层]
A --> C[层2: 卷积层]
A --> D[层3: 全连接层]
A --> E[层4: 输出层]
B --> F[信任比率: 0.8]
C --> G[信任比率: 1.2]
D --> H[信任比率: 0.5]
E --> I[信任比率: 0.3]
F --> J[有效学习率<br/>根据信任比率调整]
G --> J
H --> J
I --> J
其中 $w$ 是层的参数，$\nabla w$ 是梯度，$\beta$ 是一个小的常数用于数值稳定性。
LAMB：让BERT训练提速40倍
LARS在卷积网络上表现出色，但在Transformer架构上效果不佳。2019年，同一团队提出了LAMB（Layer-wise Adaptive Moments for Batch training）优化器，专门针对Transformer架构设计。
LAMB结合了Adam的自适应矩估计和LARS的分层归一化策略。在BERT训练中，LAMB将batch size从512扩展到64K，训练时间从3天缩短到76分钟——效率提升了约57倍。
下表展示了LAMB在BERT训练上的效果：
| Batch Size | 训练步数 | F1分数 | 训练时间 |
|---|---|---|---|
| 512 | 1,000,000 | 90.395 | 81.4小时 |
| 16,384 | 31,250 | 91.345 | 200分钟 |
| 32,768 | 15,625 | 91.475 | 101分钟 |
| 65,536/32,768* | 8,599 | 90.584 | 76分钟 |
*混合batch训练：第一阶段使用65,536，第二阶段使用32,768
Ghost Batch Normalization：在大batch中模拟小batch
Batch Normalization（批归一化）是深度学习中最常用的技术之一。它通过在batch维度上归一化激活值来加速训练并提高稳定性。然而，当batch size很大时，BN的效果会下降——因为所有样本被一起归一化，模型失去了梯度噪声带来的正则化效果。
2017年，Hoffer等人提出了Ghost Batch Normalization（幽灵批归一化）来解决这个问题。
GBN的核心思想很简单：在计算归一化统计量时，将大batch分割成多个"虚拟小batch"（ghost batch）。例如，总batch size为1024，可以将其分割成32个大小为32的ghost batch，每个ghost batch独立计算均值和方差，然后用于归一化。
graph TB
A[大Batch: 1024样本] --> B[分割成32个Ghost Batch]
B --> C[每个Ghost Batch: 32样本]
C --> D[独立计算均值/方差]
D --> E[独立归一化]
E --> F[合并为输出]
这种做法有两个好处：
- 保留了小batch的正则化效果：每个ghost batch的统计量都有噪声，为训练引入了有益的随机性
- 没有额外的计算开销：前向和后向计算仍然可以并行进行
实验表明，GBN可以显著减小大batch训练的泛化差距。在CIFAR-10上，使用GBN的模型与使用小batch训练的模型泛化性能相当，同时保持了大batch的训练效率。
梯度累积：真的等价于大batch吗？
当GPU显存不足以容纳大batch时，梯度累积是一个常用的变通方案。它的思想是：进行多次前向和后向传播，累积梯度，然后在一次更新中使用累积的梯度。
这看起来等价于使用更大的batch size，但事实并非完全如此。
关键区别在于Batch Normalization。在梯度累积中，每次前向传播只使用一个小batch的数据进行归一化，而不是整个"累积batch"。这意味着BN层看到的统计量仍然来自小batch，保留了小batch的正则化效果。
graph TB
subgraph 梯度累积
A1[小Batch前向] --> B1[计算BN统计量]
B1 --> C1[反向传播]
C1 --> D1[累积梯度]
D1 --> A1
D1 --> E1[多次后更新参数]
end
subgraph 真实大Batch
A2[大Batch前向] --> B2[使用全部样本<br/>计算BN统计量]
B2 --> C2[反向传播]
C2 --> D2[一次更新参数]
end
如果使用Group Normalization或Layer Normalization（这些方法不依赖batch维度），梯度累积就更接近于真实的大batch训练。但即使如此，梯度累积也有一个劣势：无法利用大batch的并行计算优势。每次迭代必须串行地执行多个前向-后向传播。
大模型时代的Batch Size实践
现代大语言模型的训练为batch size选择提供了新的视角。让我们看看几个标志性模型的配置：
GPT-3的Batch Size策略
GPT-3系列模型采用了与模型规模匹配的batch size策略：
| 模型规模 | Batch Size (tokens) | 学习率 |
|---|---|---|
| 125M | 0.5M | 6.0×10⁻⁴ |
| 350M | 1.0M | 3.0×10⁻⁴ |
| 1.3B | 2.0M | 2.0×10⁻⁴ |
| 175B | 3.2M | 0.6×10⁻⁴ |
有趣的是，OpenAI没有简单地使用最大的batch size。相反，他们根据模型规模调整batch size，较小的模型使用较小的batch。这可能与大batch训练的稳定性挑战有关——对于参数空间更复杂的模型，需要更谨慎的优化策略。
Llama 3的动态Batch Size
Meta在Llama 3的训练中采用了动态batch size策略：
graph LR
A[训练初期] --> B[Batch Size: 4M tokens<br/>序列长度: 4096]
B --> C[训练中期]
C --> D[Batch Size: 8M tokens<br/>序列长度: 8192]
D --> E[训练后期]
E --> F[Batch Size: 16M tokens<br/>序列长度: 8192]
- 初始阶段：batch size = 4M tokens，序列长度 = 4096
- 中期阶段：batch size = 8M tokens，序列长度 = 8192
- 后期阶段：batch size = 16M tokens
这个策略背后的直觉是：训练初期参数不稳定，使用较小的batch size有助于探索参数空间；训练后期参数趋于稳定，可以增大batch size以提高训练效率。
2的幂次方：必须还是迷信？
在深度学习社区，batch size通常设置为2的幂次方：32、64、128、256、512…这个习惯源于什么？
理论依据
主要有两个理论支持：
-
内存对齐：GPU内存按页（通常4KB或更大，是2的幂）组织。当batch size是2的幂时，数据可以整齐地放入内存页，减少碎片化。
-
Tensor Core优化：NVIDIA的Tensor Core在矩阵维度为8的倍数时效率最高。在FP16混合精度训练中，batch size为8的倍数可以获得最佳性能。
graph TB
A[GPU内存架构] --> B[内存页: 4KB/8KB/...]
A --> C[Tensor Core]
B --> D[Batch Size为2的幂<br/>数据对齐]
C --> E[Batch Size为8的倍数<br/>矩阵乘法优化]
D --> F[理论上的性能优势]
E --> F
实验验证
然而，2022年Sebastian Raschka的实验表明，这个差异在大多数情况下可以忽略不计。在V100 GPU上训练MobileNetV3的实验中：
| Batch Size | 训练时间（10 epochs） |
|---|---|
| 127 | 9.80分钟 |
| 128 | 9.78分钟 |
| 129 | 9.92分钟 |
差异在1-2%以内，考虑到训练过程中的其他随机性，这个差异几乎可以忽略。
更激进的实验甚至发现，某些情况下非2的幂次方batch size反而更快。一项实验提出了一个公式：
$$\text{optimal\_batch\_size} = \text{int}\left(\frac{n \times 2^{14} \times SM}{H \times W \times C}\right)$$其中 $n$ 是整数，$SM$ 是GPU流处理器数量（如V100为80，RTX 2080 Ti为68），$H \times W \times C$ 是输入维度。
实践建议
尽管2的幂次方不是严格必要的，但它仍然是一个好习惯：
- 简化超参数搜索：将batch size限制为2的幂减少了搜索空间
- 便于复现：大多数论文使用2的幂，便于比较
- 避免"看起来像调参作弊"：在学术论文中，使用标准值更可信
但如果你需要充分利用GPU显存，不需要因为显存限制从512降到256——试试500或其他值，效果可能差不多。
实战指南：如何选择Batch Size
综合以上研究，我们可以总结出一套batch size选择的实践指南：
graph TB
A[开始] --> B[确定GPU显存上限]
B --> C{训练目标?}
C -->|最快速度| D[使用接近上限的batch size]
C -->|最佳泛化| E[使用较小batch size<br/>32-128]
C -->|平衡| F[从中等batch size开始<br/>128-512]
D --> G[调整学习率<br/>线性缩放]
E --> H[适当学习率]
F --> H
G --> I[使用学习率预热]
H --> I
I --> J[监控训练曲线]
J --> K{验证损失正常?}
K -->|是| L[成功!]
K -->|否| M[调整batch size或学习率]
M --> J
第一步：确定GPU显存上限
首先，找到你的硬件能支持的最大batch size。这取决于：
- 模型大小
- 输入维度
- 数据类型（FP32/FP16/BF16）
- 是否使用梯度检查点等内存优化技术
一个简单的方法是从小batch开始，逐步增大直到OOM（Out of Memory），然后回退到安全值。
第二步：考虑训练目标
- 追求最快训练速度：使用接近显存上限的batch size，配合适当的学习率缩放
- 追求最佳泛化：考虑使用较小的batch size（32-128），或在大batch上使用GBN
- 平衡两者：从中等batch size（如128-512）开始，通过验证集表现微调
第三步：调整学习率
如果改变了batch size，需要相应调整学习率：
- 小幅度变化（如64→128）：可以尝试线性缩放
- 大幅度变化（如32→1024）：线性缩放可能失效，需要重新调参
- 始终使用学习率预热：特别是batch size较大时
第四步：监控训练曲线
观察训练和验证损失曲线：
- 如果训练损失下降很快但验证损失不降反升，可能是batch size过大
- 如果训练损失震荡剧烈，可能是batch size过小或学习率过大
第五步：考虑混合策略
对于大规模训练，考虑：
- 动态batch size：训练初期用小batch，后期增大
- 梯度累积：显存有限但想模拟大batch时
- Ghost Batch Normalization：大batch训练时保持正则化效果
结语：在效率与泛化之间寻找平衡
Batch size的选择，本质上是在训练效率与泛化能力之间寻找平衡。大batch带来训练速度的提升，但可能牺牲模型的泛化性能；小batch提供更好的正则化效果，但训练时间更长。
过去几年的研究给我们提供了多种工具来缩小这个差距：LARS和LAMB优化器让大batch训练成为可能，Ghost Batch Normalization保留了小batch的正则化优势，动态batch size策略在大模型训练中展现了灵活性。
最终，没有放之四海而皆准的"最优batch size"。它取决于你的模型架构、数据规模、硬件条件和训练目标。理解batch size背后的原理，才能在具体场景中做出明智的选择——而不是简单地"把显存用满"。
在深度学习的超参数调优中，batch size常常被低估。但它可能是那个"四两拨千斤"的参数——一个合适的选择，能让模型在效率和效果之间达到最佳平衡。
参考文献
-
Keskar, N. S., et al. (2016). On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima. arXiv:1609.04836
-
Goyal, P., et al. (2017). Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour. arXiv:1706.02677
-
Hoffer, E., et al. (2017). Train longer, generalize better: closing the generalization gap in large batch training of neural networks. NeurIPS 2017
-
Masters, D., & Luschi, C. (2018). Revisiting Small Batch Training for Deep Neural Networks. arXiv:1804.07612
-
You, Y., et al. (2017). Large Batch Training of Convolutional Networks. arXiv:1708.03888
-
You, Y., et al. (2020). Large Batch Optimization for Deep Learning: Training BERT in 76 minutes. ICLR 2020
-
Brown, T. B., et al. (2020). Language Models are Few-Shot Learners. NeurIPS 2020
-
Touvron, H., et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783
-
Smith, S. L., et al. (2018). Don’t Decay the Learning Rate, Increase the Batch Size. ICLR 2018
-
Raschka, S. (2022). No, We Don’t Have to Choose Batch Sizes As Powers Of 2. sebastianraschka.com