聊一聊ICLR‘18 高分paper AmbientGAN

AmbientGAN: Generative models from lossy measurements

Paper的motivation很简单，一般情况GAN都是在一个完整的dataset available情况下做生成图像的工作。然而当可用的图像都是有缺损（corrupted）时，vanilla GAN的表现会非常差。文中给了几种对原始图像破坏的方法，例如加噪声，加mask，对每个像素随机概率dropout等。下图中的中间一列代表原始GAN的效果。

AmbientGAN要做的事就是在只能获取corrupted image的情况下生成质量尽可能好的图像，AmbientGAN的网络结构十分简单，只需要在generator后加上一个measurement 网络 f Θ ，这里的 f Θ 满足两点，首先必须是可导的，这样才能保证反向传播，还有一个假设下面会说到。

与vanilla GAN不同的是，AmbientGAN的discriminator用于判断real measurement和fake measurement，也就是上图中的Y^r ~~p^r_x 和 Y^g ~ p^r_y 。这样，与之前的GAN一样的训练方式，AmbientGAN就能产生远好于Vanilla GAN的效果，如之前的图中最右边一列所示。

那么，为什么简单的加一个measurement network会有如此大的提升？这里就要提到本文关于 f Θ提出的一个假设，即每一个measured image distribution可以唯一确定real image distribution。这里并不是指 f Θ必须是可逆或者是单射函数，而是指每一个缺损图像分布 p^r_x 有一个唯一的生成图像分布  p^r_x产生它。这样，模型最优的条件又回到了使真实图像分布与生成图像分布相等，即  p_x^g = p_x^r。

简单来说，如果每一个缺损图像分布唯一确定真实图像图像分布这个假设成立，那么所有的的证明直接套用GAN的证明即可得证。这样的assumption太强，但是如果不成立似乎也不能说明为什么效果这么好。ICLR的revirewer也提到，

The theoretical proofs do make strong assumptions (in particular, the fact that the true distribution must be uniquely constrained by its marginal along the measurement). However, in most theoretical analysis of GANs and neural networks in general, I view proofs as a means of gaining intuition rather than being strong guarantees

不得不说这样的效果着实令人感到惊艳，证明更像是起到锦上添花的作用。AmbientGAN又一次说明GAN这样的模式表现总是超出期望，相信不久之后就有相关的工作出来，值得期待。

聊一聊ICLR‘18 高分paper AmbientGAN -  知乎

作者：月如辰
链接：https://www.jianshu.com/p/5231441183c3