基于方向條件的循環(huán)一致性生成對抗網(wǎng)絡

　　摘要：為了充分利用非配對數(shù)據(jù)進行圖像翻譯、減少網(wǎng)絡參數(shù)和提高訓練速度，采用條件生成對抗的監(jiān)督訓練與循環(huán)一致性生成對抗的無監(jiān)督訓練相結合的方法，設計了基于方向條件對偶的生成網(wǎng)絡，同時采用 Patch 結構的判別器輸出多維判別結果，結合感知損失和同一損失與循環(huán)一致?lián)p失，設計了更有效的損失函數(shù)。通過在相同數(shù)據(jù)集上與 CycleGAN 進行對比實驗，驗證了所提網(wǎng)絡在非配對圖像翻譯任務上，網(wǎng)絡參數(shù)減少 34%，生成圖像的 PSNR 值平均提升 4.9%，SSIM 值平均提升 6.3%，并且有效提升了訓練速度和重建圖像的質(zhì)量。

　　關鍵詞：圖像翻譯;條件對偶;CycleGAN;循環(huán)一致?lián)p失;無監(jiān)督學習

　　李錫超; 李念 電子設計工程 2022-01-05

　　生成對抗網(wǎng)絡[1 (] Generative Adversarial Network， GAN)已延伸到圖像、視頻、自然語言[2] 、語音[3] 等領域。GAN 直接進行采樣學習分布規(guī)律，使得生成數(shù)據(jù)可以逼近真實數(shù)據(jù)。由于 GAN 生成數(shù)據(jù)沒有針對性的指導和約束條件，因此原始 GAN 生成的圖像是隨機的。條件生成對抗網(wǎng)絡[4 (] Conditions GAN， CGAN)在原始 GAN 的基礎上加入了對生成器的約束條件，使得生成的數(shù)據(jù)變得可控。

　　圖像翻譯指在圖像源域和目標域建立映射關系，在保留源域內(nèi)容的情況下，將圖像轉換成目標圖像的風格而不改變源域圖像的內(nèi)容。CGAN 解決了圖像生成的約束問題，為后來的各種圖像翻譯網(wǎng)絡提供了思路。配對的圖像翻譯網(wǎng)絡 Pix2pix[5] 是一種基于 CGAN 的有監(jiān)督模型，利用配對數(shù)據(jù)集進行訓練，使圖像翻譯的質(zhì)量和穩(wěn)定性都得到了大幅提升。循環(huán)一致性對抗生成網(wǎng)絡[6 (] Cycle-Consistent GAN，CycleGAN)是基于機器翻譯中對偶的思想[7] ，將非配對的訓練數(shù)據(jù)用于圖像翻譯，取得了不錯的效果，這很大程度上解決了圖像翻譯中配對數(shù)據(jù)獲取困難的問題。但 CycleGAN 存在收斂慢、參數(shù)量大的問題。

　　針對配對數(shù)據(jù)獲取困難，且現(xiàn)有非配對方法訓練緩慢、參數(shù)量大的問題，該文基于 CycleGAN 中構建對偶任務的思想和 CGAN 的條件約束思想，設計了新的基于方向條件非對稱的生成網(wǎng)絡和條件對偶任務，同時引入同一映射損失[8] 用以約束圖像內(nèi)容，引入感知損失[9] 保證圖像主體細節(jié)在變換前后的穩(wěn)定性。在與 CycleGAN 的對比實驗中，生成和重建圖像質(zhì)量以及訓練速度都有所提升，采用了非對稱設計的網(wǎng)絡結構，使得網(wǎng)絡參數(shù)大幅減少。

　　1 相關工作 1.1 對偶學習

　　對偶學習(Dual Learning)是一種半監(jiān)督[10] 的學習方式，它通過對稱的兩個學習任務互相反饋，可以從未標注的數(shù)據(jù)中學習。能夠有效利用中間過程產(chǎn)生的偽標簽，甚至在某種程度上可以把對偶學習看作是在把未標注的數(shù)據(jù)當作標簽數(shù)據(jù)使用。因此對偶學習可以有效利用未標注的數(shù)據(jù)，使得對沒有標注的數(shù)據(jù)進行訓練成為可能。對偶學習最初用于有效利用機器翻譯中的單語 數(shù) 據(jù) ，顯 著 降 低 對 平 行 雙 語 數(shù) 據(jù) 的 要 求 。 CycleGAN 和 DualGAN[11] 將對偶學習應用到圖像翻譯領域。循環(huán)一致性的思想基于對偶，被應用于不同領域，如在視覺跟蹤中加強前后一致性，在機器翻譯中通過反向翻譯驗證結果并進行無監(jiān)督機器翻譯。

　　1.2 生成對抗網(wǎng)絡

　　GAN 通過零和博弈的對抗過程來生成模型，在網(wǎng)絡中同時訓練兩個模型：一個是用來捕獲數(shù)據(jù)分布的生成模型，另一個是用來判別數(shù)據(jù)來自訓練數(shù)據(jù)還是生成數(shù)據(jù)的判斷模型。在競爭對抗過程中，生成模型不是為了訓練得到與特定圖像的最小距離，而是為了騙過判別模型，這使得模型能夠以無監(jiān)督的方式學習。

　　CGAN 擴展了 GAN，使得生成對抗網(wǎng)絡能夠根據(jù)一些額外的條件信息(比如類別標簽)來調(diào)整生成器和判別器，使得定向圖像生成和圖像轉換成為可能。Pix2pix 基于 CGAN 進行一系列改進，拋棄了傳統(tǒng)算法[12] 手工建模、需要大量專家知識和設計復雜的損失函數(shù)，提出了一個用于解決各類圖像翻譯問題的統(tǒng)一框架。

　　1.3 非配對的圖像翻譯方法

　　Pix2pix 要求數(shù)據(jù)必須是有標簽的配對輸入，現(xiàn)實碰到的數(shù)據(jù)更多是非配對、沒有標簽的，這使得非配對圖像翻譯沒有辦法開展。CycleGAN 基于對偶學習的思想，通過循環(huán)一致性損失和對偶網(wǎng)絡保持圖像結構的前后一致，實現(xiàn)了從非配對的圖像中學習映射。

　　2 基于方向矩陣的循環(huán)一致性生成對抗網(wǎng)絡

　　2.1 基于條件的對偶學習網(wǎng)絡

　　CycleGAN 形成一組對偶學習關系需要兩組相同且對稱的生成器和判別器。結合 CGAN 對于圖像生成具有方向性和指導性的特性，文中提出基于方向向量的條件對偶學習結構，如圖 1所示。

　　在改進的對偶學習任務中，a 和 b 為方向條件(向量)，用來指導在生成器中圖像翻譯生成的方向;共用參數(shù)的生成器 G 取代 CycleGAN 中對稱的生成器。其中，Y 和 X 可以表示為在方向條件 a 和 b 下由生成器 G 生成的圖像：Y= G(x,a)，X= G(y,b) 。同時兩個判別器 DX 和 DY 對兩組映射生成的圖像和源域圖像進行對抗判別。方向矩陣 a 和 b 作為生成器 G 的條件輸入，對輸入的源域圖像 x 或 y 在生成方向上起到指導作用，構成新的非對稱對偶學習任務。通過控制和改變方向向量，達到對在同一個生成器上就能控制圖像翻譯生成的目的，同時改進的對偶結構相比 CycleGAN 更加精簡。

　　2.2 生成器網(wǎng)絡結構 2.2.1 生成器結構

　　生成器主要結構如圖 2 所示，包括編碼器、轉換器、解碼器。其中編碼器用于提取源域圖像的特征，轉換器用于完成風格特征的轉換，解碼器用于生成轉換之后的圖像，使其具有源域的內(nèi)容和目標域的風格。生成器網(wǎng)絡使用了 U 型結構，將 ResNet[13] 中跳 層 連 接 的 殘 差 結 構 改 為 更 靈 活 的 殘 差 模 塊(Residule_block)。改進的生成器結構如圖 3 所示。對于 256×256 分辨率的圖像，編碼器部分采用多層卷積層+實例正則化+ReLU 激活函數(shù)，獲取源域圖像特征編碼;轉換器部分使用 9 個殘差模塊，特征層跳躍連接，可以較好地結合前一層的特征，完成圖像風格從源域到目標域的翻譯;解碼器部分利用反卷積層從高維度特征向量中還原出低級特征，使生成圖像的風格更接近目標域風格。

　　經(jīng)過編碼、轉碼和解碼過程之后生成的圖像在損失函數(shù)的約束下就可以在理論上完成圖像風格從源域到目標域的遷移。

　　2.2.2 實例正則化

　　圖像翻譯中的生成結果主要依賴于某個圖像實例，而一般的批量正則化(Batch Normalization)則是對每個批次的圖像進行標準化，更注重數(shù)據(jù)分布的一致，所以批量正則化不適合圖像翻譯中對生成圖像 進 行 標 準 化 。 在 圖 像 翻 譯 中 使 用 實 例 正 則 化(Instance Normalization)不僅可以加快模型收斂速度，而且可以使每個圖像實例保持相互獨立。因此，在生成網(wǎng)絡的標準化過程中該文采用了實例正則化。

　　2.3 判別器網(wǎng)絡

　　判別器的網(wǎng)絡結構如圖 4 所示。它用來區(qū)分輸入的樣本來自真實數(shù)據(jù)還是生成器生成的數(shù)據(jù)，其判別作用會激勵生成器生成更加接近目標域的數(shù)據(jù)。在具體結構設計上，卷積網(wǎng)絡的輸出特征參考 PatchGAN[6] 結構，源域圖像經(jīng)過 5 次卷積和實例正則化，最終得到一個 32×32×1 的輸出特征向量，而不是將一維輸出作為分類依據(jù)。特征向量的每一個維度，代表源域圖像中的一個感受野，保證了生成圖像和源域圖像的語義相似性。

　　2.4 循環(huán)一致性對抗網(wǎng)絡 2.4.1 對抗損失

　　GAN 一般由生成模型和判別模型組成，生成模型的目的是學習數(shù)據(jù)的分布規(guī)律，生成逼近真實數(shù)據(jù)的圖像;判別模型盡可能區(qū)分給定的圖像是否來自真實數(shù)據(jù)。在不斷地對抗訓練中，兩個模型的能力都會變強，最終達到穩(wěn)態(tài)平衡。在原始 GAN 中，需要優(yōu)化的目標函數(shù)如式(1)所示： min G max D V(D,G) = Ex~pdata(x)[log(D(x))] + Ez~pz(z)[log(1 - D(G(z)))] (1)為學習數(shù)據(jù) pdata(x) ，定義了一個先驗輸入噪聲變量 pz(z) ，然后將數(shù)據(jù)空間映射表示為 G(z) ，其中 G 為生成模型。定義了判別模型 D ，其中 D(x) 表示 x 來自真實數(shù)據(jù)而不是由生成模型生成的數(shù)據(jù)的概率。在這個目標函數(shù)中，先優(yōu)化 D 再優(yōu)化 G ，拆解之后如下： 1)優(yōu)化判別模型 D，目標函數(shù)表示如式(2)所示： max D V(D,G) = Ex~pdata(x)[log(D(x))] + Ez~pZ(z)[log(1 - D(G(z)))] (2)優(yōu)化判別模型 D 時與生成模型無關。根據(jù)函數(shù)變化規(guī)律，在優(yōu)化過程中，上式第一項中的 x 來自真實樣本的判別結果的概率 D(x) 越接近于 1 越好;對于來自生成模型從噪聲 z 中生成的假樣本 G(z) ，需要使優(yōu)化的判別結果 D(G(z)) 越接近于 0越好。

　　2)優(yōu)化生成模型 G，目標函數(shù)表示如式(3)所示：min G V(D,G) = Ez~pz(z)[log(1 - D(G(z)))] (3)優(yōu)化生成模型時，與真實樣本 x 無關。這時只有來自噪聲 z 生成的假樣本 G(z) ，生成器的優(yōu)化目標是使假樣本 G(z) 的判別結果的概率 D(G(z)) 越接近于 1 越好。如此，為了使總的優(yōu)化目標的損失函數(shù)表達一致，故表示為 1 - D(G(z)) 的形式，這樣就成了開始表示形式的目標函數(shù)了。

　　對于文中提出的基于條件矩陣 a 和 b 的循環(huán)一致 性 對 抗 生 成 模 型 來 說 ，生 成 模 型 可 以 表 示 為 Y= G(x|a) 和 X= G(y|b) 。 按 照 對 抗 生 成 損 失 的 思想，使判別模型最大化，生成模型最小化。對于 x → y 映射的對抗損失函數(shù)如式(4)所示： LGAN1 = Ey~pdata(y)[log(DY (y))] + Ex~pdata(x) ■ ■ ■ ■ log(1 - DY (G(x|a))) (4)對于 y → x 映射的對抗損失函數(shù)如式(5)所示： LGAN2 = Ex~pdata(x)[log(DX(x))] + Ey~pdata(y) ■ ■ | ■ ■ log | ■ ■ | ■ ■ 1 - D | X ■ ■ ■ ■ G(y|b) (5)

　　2.4.2 循環(huán)一致性損失

　　對抗訓練能夠從理論上學習到生成器 G 的映射，產(chǎn)生與目標域相同分布的輸出。但在非配對數(shù)據(jù)訓練中，當網(wǎng)絡容量足夠大的時候，會將相同的圖像映射到目標域中任意隨機的圖像上，其中任何一個學習都可以產(chǎn)生與目標分布匹配的輸出。因此，僅使用對抗損失，不能保證學習的函數(shù)能將單個的輸入 xi 映射到期望的輸出 yi 。為了進一步減少可能的映射空間，映射函數(shù)必須是循環(huán)一致的。對于源域 X 中的每一張圖像 x ，圖像經(jīng)過循環(huán)轉換網(wǎng)絡之 后 ，可 以 還 原 出 源 域 圖 像 x 。 將 x → G(x|a) → G(G(x|a)|b) ≈ x 稱 為 循 環(huán) 一 致 性 。 同 樣 的 ，有 y → G(y|b) → G■ ■ ■ ■ G(y|b) |a ≈ y。因此定義了循環(huán)一致性損失，如式(6)所示： Lcycle = Ex~pdata(x) ■ ■ | ■ ■ | ‖ ‖ ‖ ‖ ‖ G ‖ (G(x|a)|b) - x + Ey~pdata(y) ■ ■ | ■ ■ | ‖ ‖ ‖ ‖ ‖ G ‖ ■ ■ ■ ■ G(y|b) |a - y (6)循環(huán)一致性損失能夠保證輸入和生成的輸出為一對一的映射關系。

　　重建的圖像與輸入的圖像匹配的映射關系如圖 5所示。

　　2.4.3 同一映射損失和感知損失

　　由于不同數(shù)據(jù)集上對于圖像翻譯的要求不同，僅依賴對抗損失和循環(huán)一致?lián)p失，不足以滿足圖像翻譯的要求，因此加入同一映射損失用以約束在原圖上的改動。對于生成器 G(x|a) 定義如式(7)所示： Liml(Gx → y) = Ey~pdata(x)‖Gx → y(x) - y ‖1 + Ex~pdata(x)‖Gy → x(y) - x‖1 (7)文獻[8]利用感知損失來增強圖像細節(jié)，故引入感知損失 Lpl ，使生成的圖像在映射出目標域風格的同時保留細節(jié)，不產(chǎn)生模糊。感知損失定義如式(8)所示： Lpl = 1 DHW ■ ■ | | | ■ ■ | | | ‖ φ(Gx → y(x)) - φ(y)‖ 2 2 +‖ φ(Gy → x(y)) - φ(x)‖ 2 2 (8)其中，φ 為特征提取函數(shù)，一般使用 VGG16或者 VGG19 來提取。 D、W 和 H 分別表示特征的深度、寬度和高度。文中使用了 VGG16 預訓練模型的深度特征向量計算感知損失，各部分系數(shù)比例如式(9)所示： Lpl = Lpl(block1conv1) + 2 × Lpl(block2conv1) +5 × Lpl(block5conv1) (9)這樣整個網(wǎng)絡的損失函數(shù)如式(10)所示： L = LGAN1 + LGAN2 + Lcycle + Liml + Lpl (10)

　　3 實驗結果與分析 3.1 實驗數(shù)據(jù)集和實驗設置

　　為驗證改進網(wǎng)絡能否在非配對數(shù)據(jù)上完成圖像翻譯的任務，以及為對比改進網(wǎng)絡與基準 CycleGAN 網(wǎng)絡的性能，選擇相同數(shù)據(jù)集分別進行 300 次迭代訓練。這里使用的人像風格數(shù)據(jù)為 Face2Sketch(以下簡稱 F2S)，數(shù)據(jù)集樣本如圖 6 所示。為了構造逼真的人臉數(shù)據(jù)集，通過混合網(wǎng)絡爬蟲獲取的證件照，基于 StyleGAN[14] 生 成 脫 敏 數(shù) 據(jù) ，并 進 行 對 齊 和 使 用PortraitNet[15] 去除背景(如圖 6 第 1 行)。非配對的黑白人像風格數(shù)據(jù)由 APDrawingGAN[16] 生成(如圖 6 第 2 行)。形成的訓練數(shù)據(jù)包含 2 000 張彩色脫敏證件圖片和 2 000張非配對關系的人像風格圖片。

　　3.2 實驗結果

　　分別用 CycleGAN、該文方法但僅使用對抗損失+循環(huán)一致性損失(以下簡稱該文方法(1))、該文改進的方法結合感知損失和同一損失并對參數(shù)進行調(diào)整(以下簡稱該文方法(2))，進行圖像翻譯和重建實驗，實驗結果如圖 7 所示。其中，第一行為分別用 3 種方法進行圖像翻譯生成的實驗結果;第三行為由生成圖像進行重建的結果。

　　從實驗結果對比可以發(fā)現(xiàn)，在同樣的實驗條件下，采用 CycleGAN 和該文方法(1)的細節(jié)表現(xiàn)較差(生成人像眼睛模糊、背景顏色失真)。該文方法(2)可以更好地完成從源域到目標風格域的轉換，同時能夠在重建源域時生成相似度更高、圖像質(zhì)量更高的重建結果。

　　為了量化具體的提升，在相同實驗條件下，進行了 300 次迭代。使用 SSIM(結構相似性)和 PSNR(圖像信噪比)圖像質(zhì)量指標進行評價。比較結果如表 1 所示，其中 a→b為翻譯生成結果，b→a為重建結果。

　　該文改進網(wǎng)絡對比 CycleGAN，3 種方法的生成損失收斂對比如圖 8 所示，該文方法(2)下降速度更快，最終平穩(wěn)值更小，表明對應網(wǎng)絡的方法速度越快生成質(zhì)量越好。

　　文中所提方法在進行圖像翻譯時，與 CycleGAN 方法相比，在 Inception Score 獲得更高得分。同樣進行 300 次 迭 代 ，計 算 衡 量 圖 像 清 晰 度 的 Inception Score結果，該文方法(1)可以在 F2S數(shù)據(jù)上獲得更高的得分。并且由于設計了非對稱結構的生成器，可以在不同方向條件下共享網(wǎng)絡參數(shù)，因此網(wǎng)路參數(shù)由 CycleGAN 的約 112 M 減少為約 74 M，參數(shù)量下降 34%。3 種方法的 Inception Score 和網(wǎng)絡參數(shù)量對比如表2所示。

　　4 結 論

　　該文研究了圖像翻譯的發(fā)展，針對現(xiàn)有非配對圖像翻譯方法 CycleGAN 進行改進，在圖像生成的編碼和解碼過程中使用基于方向條件的方法代替原有的循環(huán)對偶網(wǎng)絡，減少了 36%的參數(shù)量，降低了計算量;設計了共享參數(shù)的非對稱生成器，通過添加感知損失和同一性損失，提高了圖像生成質(zhì)量，獲得了更加相似的重建結果。實驗表明，所提網(wǎng)絡能夠加快生成器的訓練速度，獲得了更小的穩(wěn)定收斂，圖像翻譯結果保留更多的細節(jié)，重建結果與源域圖像具有更高的相似度。和 CycleGAN 相比，文中提出的改進網(wǎng)絡在相同數(shù)據(jù)集上的表現(xiàn)更好，在 SSIM、PSNR 和 Inception Score 上獲得了更好的評估參數(shù)，觀察結果表明，也獲得了更好的圖像質(zhì)量。