Read Paper 《How to make a pizza: Learning a compositional layer-based GAN model》

URL: http://pizzagan.csail.mit.edu/

TL;DR

这是一篇生成图片烹饪方法的生成对抗网络，生成制作皮萨过程中每一步在皮萨饼上面加入或移除佐料的图片。

Dataset

本文采用合成皮萨和真实皮萨进行实验。 分别有1.8G和2.8G。 所收集的数据在项目网站上公开。

Algorithm

将皮萨的制作分成多个步骤(标签),每个步骤是包含某种饼上面放的佐料,分别学习添加这种佐料和移除这种佐料的图像映射。

本文的主要工作应该算是设计了针对此任务的复杂损失函数。 损失函数由对抗损失、分类损失、一致性损失、改变正则化(惩罚生成器不进行任何改动)组成。

Model

生成器基于CycleGAN,鉴别器基于PatchGAN。

Experiment Detail

量化指标主要和基于resnet的CAM和AffinityNet进行了对比,当然优势明显。 自身对比打乱顺序不如按照顺序。 可视化展示效果还是很不错的。

Thoughts

奇思妙想，而且取得了非常好看(好吃)的结果。