为什么随机梯度要小批量

现在我们的数据可能包含海量特征，一个批量可能相当巨大，如果是超大批量，则单次迭代就可能要花费很长的时间计算。

包含随机抽象样本的大量数据集可能包含冗余数据。实际上，批量越大，出现冗余的可能性越高。一些冗余可能有助于消除杂乱的梯度，但更大批量的预测价值往往并不能提高。

如果我们可以通过更少的计算量得出正确的平均梯度，会怎么样？通过从我们的数据集中随机选择样本，我们可以通过小得多的数据集估算（尽管过程非常杂乱）出较大的平均值。 随机梯度下降法 (SGD) 将这种想法运用到极致，它每次迭代只使用一个样本（批量大小为 1）。如果进行足够的迭代，SGD 也可以发挥作用，但过程会非常杂乱。“随机”这一术语表示构成各个批量的一个样本都是随机选择的。

小批量随机梯度下降法（小批量 SGD）是介于全批量迭代与 SGD 之间的折衷方案。小批量通常包含 10-1000 个随机选择的样本。小批量 SGD 可以减少 SGD 中的杂乱样本数量，但仍然比全批量更高效。

来自
Google速成课程

作者：明月工作坊
链接：https://www.jianshu.com/p/f2a783f9d327