在美顏軟件必不可少的今天，自動(dòng)化妝和妝容美化已經(jīng)深入了每一個(gè)拍照、直播甚至是購(gòu)物軟件中。貌美如花的背后是人工智能和視覺(jué)技術(shù)的不斷發(fā)展，面部妝容遷移是其中一項(xiàng)重要的技術(shù)，可以目標(biāo)圖像的化妝遷移到?jīng)]有化妝的照片上，比如在挑選化妝品時(shí)就可以輸入圖像嘗試模特的妝容是否適合。

但目前的算法大多集中于固定的場(chǎng)景和輸出，無(wú)法適應(yīng)多種多樣的應(yīng)用場(chǎng)景。為了靈活地進(jìn)行妝容遷移，實(shí)現(xiàn)不同圖像間妝容的遷移、互換、混合，平滑的調(diào)節(jié)妝容的濃度甚至生成新的樣式，來(lái)自上海交大和浙大的研究人員提出了一種解偶人臉屬性與化妝屬性的妝容解偶遷移器，實(shí)現(xiàn)了任意圖像間的妝容遷移、互換、混合與生成。

針對(duì)妝容遷移，目前的方法大多針對(duì)兩幅圖像間固定的妝容遷移，而在現(xiàn)實(shí)生活中對(duì)于美顏的需求缺不僅僅于此。不僅需要能夠調(diào)節(jié)妝容的濃淡、融合不同的妝容效果，甚至還需要在沒(méi)有參考圖像的情況下為面部添加合適的妝。

在這篇文章中，研究人員提出了一種稱(chēng)為解偶妝容遷移器(disentangled makeup transer,DMT)的模型，基于解偶表示利用編碼器將圖像中涉及個(gè)人屬性的特征和涉及妝容的特征進(jìn)行分離，隨后利用解碼器對(duì)于妝容和人臉的編碼重建出面部圖像。

解偶表示使得任意妝容遷移稱(chēng)為可能，同時(shí)讓妝容的強(qiáng)度可調(diào)、也可以通過(guò)采樣化妝編碼來(lái)實(shí)不同妝容的生成。DMT模型一共分為了四個(gè)部分:人臉身份編碼器Ei、妝容編碼器Em，生成器G和判別器D。模型架構(gòu)如下圖所示：

模型中一共包含了五個(gè)部分的損失，除了通常的對(duì)抗損失外，生成器G還包括圖像的重建損失Lrec、妝容遷移后的感知損失Lper、遷移后的妝容損失Lmak以及保證一對(duì)一人臉化妝編碼的重建損失Limr。

針對(duì)某一張輸入的圖像x，編碼器首先從其中抽取出了人臉編碼ix和妝容編碼mx。基于解偶表示，我們得到的ix是與化妝不相關(guān)的人臉特征、衣著與背景，而mx則是獨(dú)立的表示化妝的編碼。通過(guò)ix與mx的重建首先得到了第一個(gè)損失函數(shù)，來(lái)表達(dá)生成器對(duì)于輸入圖像的重建能力：

在重建損失后就需要利用其他額外的損失來(lái)控制妝容遷移的質(zhì)量了。我們假設(shè)有另一張圖像y，利用妝容編碼器得到了對(duì)應(yīng)的化妝編碼my，這時(shí)候就可以利用上一步生成的人臉編碼ix與這里的新的妝容my合成新的圖像xs，這就是換妝后的圖像。此時(shí)可以利用這張合成妝容的圖像得到三個(gè)損失。首先利用預(yù)訓(xùn)練的模型抽取出高層次特征，將合成的圖像xs與原始人物x的面部特征進(jìn)行比較得到人物面部的感知損失：

隨后需要利用化妝損失來(lái)約束模型，看看生成的圖像xs中是否得到了y的妝容。

這時(shí)候研究人員針對(duì)面部的不同區(qū)域進(jìn)行的損失計(jì)算，利用語(yǔ)義分割來(lái)得到各個(gè)感興趣的區(qū)域。

包括面部、額頭、眼睛、嘴唇等區(qū)域，并通過(guò)直方圖匹配來(lái)得到與y對(duì)應(yīng)的x作為gt進(jìn)行計(jì)算：

圖中可以看到，首先將輸入圖像根據(jù)不同區(qū)域，與目標(biāo)妝容圖像進(jìn)行直方圖匹配作為基準(zhǔn)，隨后利用生成的圖像與這一基準(zhǔn)進(jìn)行比較得到化妝損失。

最后為了保證圖像與面部編碼/化妝編碼一一對(duì)應(yīng)，研究人員還引入了IMRL(identity makeup reconstruction loss)損失,解偶的表達(dá)在編解碼過(guò)程中保持一致：

在一對(duì)一妝容遷移的基礎(chǔ)上，研究人員還探索了妝容濃淡插值算法，利用一個(gè)強(qiáng)度因子將化妝編碼mx，my進(jìn)行插值，就可以得到在x，y妝容間平滑漸變的妝容了。

如果要混合多個(gè)妝容，只需要將多個(gè)化妝編碼進(jìn)行加權(quán)并利用生成器解碼即可：

如果想生成新的妝容而不依賴(lài)于任何參考圖像，就可以從化妝編碼m所在的分布中進(jìn)行采樣，并將采樣得到的編碼與人臉編碼一起進(jìn)行解碼實(shí)現(xiàn)隨機(jī)的妝容輸出。

為了更為精細(xì)化地處理圖像的妝容遷移，研究人員提出了一種掩膜注意力機(jī)制，使得模型在合成圖像的時(shí)候只針對(duì)眼部、嘴唇等特定的感興趣區(qū)域進(jìn)行操作，而保留背景、衣著和與妝容無(wú)關(guān)的區(qū)域，在生成合成圖像時(shí)同時(shí)也會(huì)得到一張掩膜，最終根據(jù)掩膜、原始圖像與合成妝容圖像實(shí)現(xiàn)了精細(xì)化的妝容遷移圖像輸入：

M是模型生成掩膜，M'是標(biāo)注的化妝相關(guān)區(qū)域掩膜

最終的損失函數(shù)就是以上各項(xiàng)與對(duì)抗損失的加和形式，其中不同的權(quán)重代表了不同項(xiàng)目在模型中對(duì)應(yīng)的重要性。最終提出的模型架構(gòu)如下：

其中包含了人臉屬性編碼器、化妝編碼器、生成器和判別器等。為了保證原始的妝容屬性，在化妝編碼器中沒(méi)有使用歸一化層。因?yàn)闅w一化會(huì)改變妝的均值和方差，而這些對(duì)于妝容屬性特別重要。

此外為了融合人臉編碼ix與妝容編碼my，研究人員將妝容編碼my轉(zhuǎn)換成了兩個(gè)隱變量γ和β，作為動(dòng)態(tài)均值和方差輸入生成器G中。研究人員Makeup Transfer(MT)數(shù)據(jù)上進(jìn)行了訓(xùn)練和測(cè)試，這一數(shù)據(jù)集包含了1115張無(wú)妝和2719張化妝照片。同時(shí)還分別檢驗(yàn)了前面提到的各項(xiàng)損失對(duì)于網(wǎng)絡(luò)整體性能的影響，下圖可以看到人臉各個(gè)部分的妝容損失函數(shù)對(duì)于妝容的影響特別明顯：

同時(shí)注意力機(jī)制和感知損失也會(huì)顯著影響圖像妝容遷移的質(zhì)量。在不使用mask和注意力機(jī)制的情況下背景會(huì)受到比較大的改變。上圖中現(xiàn)實(shí)了妝容遷移后與原圖的差分圖像結(jié)果。

研究人員將提出的算法DMT與其他的算法進(jìn)行了充分的對(duì)比，DMT可以在充分遷移妝容的基礎(chǔ)上保留與妝容無(wú)關(guān)的內(nèi)容：

隨后還充分比較了表現(xiàn)較好的BeautyGAN，雖然BG可以實(shí)現(xiàn)和逼真自然的妝容遷移，但是不可避免的對(duì)于不相關(guān)區(qū)域造成改變，而專(zhuān)注于化妝區(qū)域?qū)W習(xí)的DMT在多個(gè)指標(biāo)上都呈現(xiàn)了更好的效果。

研究人員還對(duì)不同妝容的圖像進(jìn)行了降為的可視化分析，基于妝容編碼向量在二維空間中進(jìn)行顯示。可以看到妝容相似的圖像被分類(lèi)在了一起，紅唇都在左上方，小清新都集中在了左下方的圖片中，而歐美煙熏妝和韓式妝容也各自聚集在了一起，這證明了妝容編碼器的表示有效區(qū)分了不同數(shù)據(jù)妝容屬性，具有很強(qiáng)的可解釋性。

最后讓我們一起來(lái)看看這個(gè)模型得到的驚艷效果吧！

妝容編碼線性插值下的變妝女神：

混合妝容也魅力十足:

人臉妝容插值下的無(wú)窮變幻

妝容、面容都在變換，哪個(gè)妝才是你的最?lèi)?ài)？

多模態(tài)下的混合采樣

化妝創(chuàng)意從此不再是問(wèn)題！

在實(shí)驗(yàn)中研究人員還探究了妝容編碼中的每一個(gè)分量各自的影響，可以看到m向量中不同的分量負(fù)責(zé)化妝不同的屬性。例如m7與嘴唇的顏色和面部的黃白色調(diào)有著直接的聯(lián)系，這樣就可以針對(duì)性的調(diào)節(jié)向量分量來(lái)實(shí)現(xiàn)更多美妝效果了。