什么是 Batch Size？

Batch Size（批大小）指一次模型训练迭代中使用的训练样本数量。换句话说，它表示每次向神经网络输入多少个样本参与训练计算。

在深度学习训练中，Batch Size 是一个常见且直观的超参数。它不描述模型结构本身，而是描述训练数据如何被分批送入模型，因此会影响训练过程中的资源占用、迭代次数和梯度计算表现。

可以把训练数据理解为一批需要搬运的货物，Batch Size 就像每次搬运的数量。每次搬得多，整体搬运次数可能减少，但对单次承载能力的要求也更高；每次搬得少，单次压力较小，但需要更多轮次处理完整数据。

为什么训练通常需要按批次处理数据？

实际训练中，通常无法把全部训练数据一次性输入神经网络。主要原因是计算资源和内存有限，尤其在深度学习任务中，样本、特征以及中间计算结果都会占用内存。

因此，训练过程通常会把数据拆成多个 batch，每次取其中一个 batch 输入模型，完成相应的训练计算。Batch Size 决定了每个 batch 中包含多少训练样本。

批次处理的基本思路

批次处理可以概括为三个动作：

• 将训练数据划分为若干批次；
• 每次选择一个批次输入模型参与计算；
• 重复处理后续批次，逐步完成训练过程。

要点：Batch Size 的本质不是“数据集有多大”，而是“每次训练迭代使用多少样本”。它是训练流程中的输入粒度参数。

Batch Size 如何影响训练过程？

Batch Size 会影响训练过程中的多个环节，其中较容易观察的是迭代次数、训练时间和梯度计算稳定性。

对迭代次数的影响

在训练数据规模固定的情况下，较大的 Batch Size 通常意味着每次迭代处理更多样本，因此完成同一批训练数据所需的迭代次数可能减少。相反，较小的 Batch Size 每次处理样本较少，通常需要更多迭代。

对训练时间的影响

由于较大的 Batch Size 可以减少迭代次数，它有机会降低训练时间。但训练时间并不只由 Batch Size 决定，实际表现还会受到硬件内存、计算能力和训练配置的影响。

对梯度稳定性的影响

较大的 Batch Size 往往会让梯度计算更稳定，训练曲线也更平滑。在一定范围内增加 Batch Size，有助于提升收敛稳定性。

下面的表格可以帮助理解不同批大小在训练过程中的典型差异：

较大 Batch Size 的收益与限制

较大的 Batch Size 常见收益包括减少迭代次数、可能缩短训练时间，以及让梯度计算更稳定。这些特点让它在资源允许时经常成为调参关注项。

但 Batch Size 不能简单理解为越大越好。更稳妥的表述是：在一定范围内，增加 Batch Size 有助于收敛稳定性；当设置过大时，可能带来问题，具体影响需要结合任务、模型和训练环境观察。

可以明确把握的边界

• 较大的 Batch Size 通常会提高单次训练迭代的内存压力；
• 较大的 Batch Size 通常可以减少迭代次数；
• 较大的 Batch Size 往往让梯度计算更稳定；
• Batch Size 的设置需要同时受到硬件资源和训练稳定性的约束。

要点：选择 Batch Size 时，不应只看“能否更快”，还应同时观察内存是否可承载、训练曲线是否稳定，以及整体训练过程是否符合预期。

global batch size 在数据并行训练中的含义

在数据并行训练中，Batch Size 的含义会从单设备扩展到多设备。global batch size 指所有计算设备上的 batch size 总和。

例如，在多卡训练中，每张卡可能各自处理一部分样本。此时，单张设备上的 batch size 只描述局部输入规模，而 global batch size 才表示一次并行训练中整体参与计算的样本总量。

在数据并行训练中，一种配置思路是让 global batch size 与单卡训练时的 batch size 保持一致。这样做的关注点是让整体训练输入规模与单卡基线相匹配，而不只是查看每张设备上的局部 batch size。

选择 Batch Size 时可以关注哪些判断维度？

Batch Size 的设置没有一个脱离任务和硬件环境的固定答案。更稳妥的做法是从资源、效率、稳定性和分布式配置四个维度观察。

先看硬件内存是否可承载

Batch Size 越大，单次输入模型的样本越多，通常也会带来更高的内存占用。设置时应先确认设备能否承载当前批大小，避免训练过程因内存不足而无法运行。

再看迭代次数和训练时间

如果增大 Batch Size 后迭代次数减少，训练时间可能下降。此时可以观察整体训练耗时是否确实改善，而不是只根据单次迭代的体感判断。

同时观察梯度和训练曲线

较大的 Batch Size 往往让梯度计算更稳定，训练曲线更平滑。实际调参时，可以结合训练曲线变化判断当前批大小是否让训练过程更稳定。

分布式训练要同时看局部和全局

在数据并行训练中，不应只看单设备 batch size。还需要检查 global batch size，因为它代表所有计算设备合计后的批大小，会影响整体训练输入规模。

简单检查清单

• 当前 Batch Size 是否能被设备内存承载？
• 调整后迭代次数是否减少？
• 训练时间是否有实际改善？
• 梯度计算和训练曲线是否更稳定？
• 如果是数据并行训练，是否同时检查了单设备 batch size 和 global batch size？

小结

Batch Size 是深度学习训练中控制“每次输入多少样本”的关键超参数。它的设置受到内存限制影响，也会改变迭代次数、训练时间和梯度稳定性。

较大的 Batch Size 通常能减少迭代次数，并让梯度计算更稳定，但并不意味着越大越好。在单机训练中，需要关注设备承载能力和训练表现；在数据并行训练中，还需要理解 global batch size，避免只从单设备视角判断批大小。