Chainer 中加载的神经网络层的梯度

Question

我正在 Chainer 中加载一个预先训练的模型：net=chainer.links.VGG16Layers(pretrained_model='auto')然后，我使用一些数据进行前向传递并添加一个损失层：acts = net.predict([image]).array loss=chainer.Variable(np.array(np.sum(np.square(acts-one_hot))))现在的问题是，如何进行反向传播并获得不同层的梯度？典型的向后方法不起作用。

Answer 1

第 1 点。

不要调用VGGLayers.predict()，这不是用于反向传播计算。

请VGGLayers.extract()改用。

点2

不要申请np.square()和np.sum()直接chainer.Variable。

请使用F.square()andF.sum()代替 for chainer.Variable。

第三点

使用loss.backward()，以获得.grad对学得的参数。（模式1）

使用loss.backward(retain_grad=True)，以获得.grad对所有变量。（模式2）

使用chainer.grad()，以获得.grad针对特定变量。（模式 3）

代码：

import chainer

from chainer import functions as F, links as L

from cv2 import imread

net = L.VGG16Layers(pretrained_model='auto')

img = imread("/path/to/img")

prob = net.extract([img], layers=['prob'])['prob']  # NOT predict, which overrides chainer.config['enable_backprop'] as False

intermediate = F.square(prob)

loss = F.sum(intermediate)

# pattern 1:

loss.backward()

print(net.fc8.W.grad)  # some ndarray

print(intermediate.grad)  # None

###########################################

net.cleargrads()

intermediate.grad = None

prob.grad = None

###########################################

# pattern 2:

loss.backward(retain_grad=True)

print(net.fc8.W.grad)  # some ndarray

print(intermediate.grad)  # some ndarray

###########################################

net.cleargrads()

intermediate.grad = None

prob.grad = None

###########################################

# pattern 3:

print(chainer.grad([loss], [net.fc8.W]))  # some ndarray

print(intermediate.grad)  # None