恶狗变萌犬，路人妹子变老婆：日本开源GAN“插件”，想P哪里点哪里 | Demo

花栗子 发自 凹非寺
量子位 出品 

这是一只面露凶光的哈士奇。

但它凶不过三秒，只要在眼睛上刷一刷：

就回归了呆萌的本性。

机智的你可能已经发现，是左下角那只 (有点像博美的) 小狗，帮它找到了自我。

既然眼睛圆润了，耳朵就没必要再挣扎，也刷一下吧：

一键换上梗犬的耳朵，更加温柔了。

还有，只要让忧郁的小猎犬保持皱眉，再把嘴张开，便可以获得职业假笑。

想修哪里点哪里，这是东京大学和日本独角兽Preferred Networks开源的“插件”，可调教各种GAN：包括BigGAN和StyleGAN，也不用重新训练。

另外，既然是来自东瀛的AI，当然可以定制老婆啦：

已为您生成，棕瞳的猫女。

有Demo可以玩，还有开源代码。

不过为什么，修改局部也可以这样天衣无缝？

面露凶光

团队用了两种方法。

一种是标签拼贴 (Label Collage) 。拼贴大法名叫sCBN。

通俗地说，图上的各种色彩代表不同的标签，共同组成一张标签图 (Label Map) 。比如，红色是狐狸的头：

修改一个标签，把图上的某个部分，标成自己想要的样子：比如把狐狸的头，标成狗头。它就真的变成了狗：

“绿色”的后背部分也修改了

这就是从标签图上生成的结果。

做法很简单，只要在归一化参数上，应用一下位置相关的仿射变换 (Affine-Transformations) ，就能在空间上改变语义信息，不用重新训练一只GAN，直接用预训练网络就可以。

这样，把金毛变成狮子，人类依然笑得灿烂：

就算不是动物，两岸青山相对出，中间的绿草如茵，也能变成碧波粼粼：

但有时候，要修改的部分，对应的并不是单一的标签。

这时，便有了名叫特征混合 (Feature Blending) 的第二种方法。

它不需要用标签图，直接把几张图拼起来就可以了。

一张是源图：

两张作为样本，老爷爷的胡子，和小朋友的刘海：

然后，最初的男生就有了花白的胡子和棕色的头帘：z

原理是，虽然想要修改的部位，对应的不是某一个标签；但图上的一个区域，依然可以对应到一组神经元。

前段时间轰动的GAN Dissection算法，就是给网络做解剖，找到一组神经元，对应某个中间特征 (Intermediate Feature) 。

特征混合，就是要加工各种中间特征，把它们无缝融合到一起。

你看，丹凤眼的面瘫少年：

有了棕色的大眼睛，再加上愉快的嘴：

画风就全然不一样了。

你一定还记得，开头的老婆也是这样生成的：

如果“红瞳才是正义！”，今后就可以把这样的方法插进各种GAN，一键追求正义，不用再截下转瞬即逝的缘分了：

 这是英伟达StyleGAN的作品

开源了

上周，新版本的论文已经发布了。

算法也开源了，近期可能有更新。

想定制老婆的同学，可以使用Demo：

https://colab.research.google.com/github/quolc/neural-collage/blob/master/NeuralCollage_demo.ipynb

代码传送门：
https://github.com/quolc/neural-collage

论文传送门：
https://arxiv.org/pdf/1811.10153v2.pdf

— 完 —