我們如何將圖像中的特定結構（由掩碼定義）轉移到另一個圖像？

Question

顯示源圖像和目標圖像之間所需內容傳輸的圖像

基本上有沒有辦法增加由掩碼定義的圖像補丁並保持真實？

Answer 1

對於您的第一個問題，您正在談論圖像風格轉移。 在這種情況下， CNN可能會幫助您。

其次，如果我理解正確的話，增長意味着在保持逼真的同時在圖像補丁中引入變化。 如果這是目標，您可以使用GAN生成圖像，前提是您有一個合理大小的數據集來訓練：

使用 GAN 進行圖像合成

直觀地說，條件 GAN 對輸入數據集（在您的情況下，是您想要模仿的圖像）的聯合分布進行建模，並且可以從學習到的分布中繪制新樣本（圖像），從而允許您創建更多具有相似內容的圖像。

Pix2Pix是著名論文的開源代碼，您可以使用它來生成圖像。 具體來說，讓 X 是您的輸入圖像，Y 是目標圖像。 您可以訓練網絡並饋送 X 以觀察生成器的輸出 O。 此后，通過稍微調整架構或再次更改跳過連接（閱讀論文）訓練，您可以在輸出圖像 O 中生成多樣性。

Font Style Transfer是一個有趣的實驗，使用圖像上的文本（而不是圖像上的圖像，就像你的情況一樣）。