多层神经网络上的反向传播

Question

我正在使用 c# 制作神经网络系统，而不使用任何库或 Accord.Net。但我坚持如何反向传播我的错误。我是否必须包括我已经传播到下一层的所有层，或者只有前一层进入等式？编辑以获取更多信息：我的网络结构主要是动态的。它创建了一个带有用户输入的神经网络，其中包含每层的层数和节点数。它具有基于使用的数据集创建的输入和输出层。它可以在层上使用线性、sigmoid、tanh 或 relu 激活函数，并且您可以在每层混合匹配它们。我确实了解反向传播的工作原理及其使用。但是我看到的每个例子都只在 3 个分层结构上使用它，其中 1 个输入层、1 个隐藏层和 1 个输出层。他们计算输出层误差并更新其权重。然后他们计算包含输出层的隐藏层的误差。我的问题从这里开始。它们不会显示好像只包含隐藏层之前的层（考虑从右到左进行反向传播），或者所有层直到输出层都包含在误差方程中。用于可视化输入层--->隐藏层1--->隐藏层2--->输出层在这个例子中，当我计算隐藏层1的误差和权重更新时，我只包括隐藏层2，还是隐藏层2+输出层？

Answer 1

我想知道你所说的“包括”是什么意思。反向传播应该计算梯度。梯度是每个变量对损失函数的导数（您称之为误差，但该术语不太精确。它不是误差，而是斜率）。计算梯度后，所有参数（“权重”）都会立即更新。

计算梯度本质上是数值微分。如果你有a * b = c，你有所有a，b并且c和gradient(c)，那么很容易计算的梯度a和b以及（gradient(a) = b * gradient(c)）。

所以你一层一层地向后推渐变。对于每一层，您只需要下一层的渐变。TensorFlow 等框架会自动为您执行此操作。该技术适用于任何计算图，而不仅仅是您描述的结构的神经网络。首先理解沿着计算图的数值微分的一般概念，可以很容易地理解神经网络的特殊情况。