Example-Guided Style-Consistent Image Synthesis from Semantic Labeling

一、論文出發點

這裡從兩幅圖片來闡述論文的出發點，該文也是從pix2pix（上圖）發展而來，相對於pix2pix該文的重要出發點就是，引入風格指導圖片，讓網絡合成的圖片輸出給定風格的圖片。個人覺得這樣的重要意義在於：以往圖片到圖片合成，很難說（也有相關論文表明）網路學到了新的資料分佈，這篇文章的

風格圖片實際就是給定不同的資料分佈型別（例如下圖的夜晚圖片），所以這樣網路可以輸出不同的資料分佈。

二、論文怎麼做的

相對於pix2pix，論文添加了一個判別器來判斷生成的圖片風格是不是給定風格。

所以文章的思路如下：

１，根據草圖、風格圖片

生成

影象；

２，

判別

圖片自不自然（標準ＧＡＮ）；

３，

判別

圖片風格對不對；

4、生成圖片還要儘量與給定標籤保持語義連續性

所以文章定義了三個損失

1、標準GAN損失，就是儘量使得圖片看起來自然，透過生成器，判別器對抗損失來計算

2、風格GAN損失，儘量使得生成圖片看起來風格和給定風格圖片相似，

3、語義連續性損失