负对数似然的约简参数

Question

PyTorch中负对数似然损失函数中的reduction参数的直观解释是什么？该参数可以采用“mean”或“sum”等值。它是对批次的元素求和吗？torch.nn.functional.nll_loss(outputs.mean(0), target, reduction="sum")

Answer 1

从文档中：

指定要应用于输出的缩减：'none' | '意思' | '和'。'none'：不应用减少，'mean'：输出的总和将除以输出中的元素数，'sum'：输出将被求和。注意： size_average 和 reduce 正在被弃用，同时，指定这两个 args 中的任何一个都将覆盖 reduction。默认值：“平均”

如果使用 none，输出将与批量大小相同，

如果使用均值，则为均值（总和除以批次）

如果使用 sum，它将是所有元素的总和。

您还可以使用以下代码验证这一点：

import torch 

logit = torch.rand(100,10)

target = torch.randint(10, size=(100,)) 

m = torch.nn.functional.nll_loss(logit, target)

s = torch.nn.functional.nll_loss(logit, target, reduction="sum") 

l = torch.nn.functional.nll_loss(logit, target, reduction="none")

print(torch.abs(m-s/100))

print(torch.abs(l.mean()-m))

输出应为 0 或非常接近 0。