而今，深度學習大行其道。

結果來看，它是能說會畫外加打游戲，但這是如何實現的？模型里的中間數據有什么意義？換句話說，模型訓練中所生成的高維數據如何進行有意義的理解？

這離不開非監督學習解耦表征（Unsupervised Learning of Disentangled Representations）。

一個在好奇心驅動的探索（curiosity driven exploration）、抽象推理（abstract reasoning）、視覺概念學習（visual concept learning ）等方面早已用起來的方法。

但是目前，并未有什么方案可以統一衡量非監督學習解耦表征的有效性和局限性。即，解耦表征所得出的因子是否真正獨立？某些解耦表征指標是否的確代表解耦的有效程度？

為解決這一問題，Francesco Locatello等人在“Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations ”(ICML 2019)一文中，對目前最佳的一些非監督解耦表征模型做出了大規?？蓮同F評估，并指出了一些未來發展方向，造福業界人士。

該評估經由7個不同數據集上超12000個模型得出，涵蓋了對業界最佳的解耦方法以及一些評估指標的評測，不僅可復現，而且該研究的代碼和10800個預訓練好的模型都已開源在disentanglement_lib，研究者們也可以將自己的解耦模型在此進行統一評估，與其他解耦模型進行對比，非常棒。

啥是解耦

通俗來講，解耦就是將一個對象分解為各自獨立的因素。不同的因素控制不同的結果，一個因素只控制一個結果的改變。解耦表征，也就是找出對象特征里的可解釋因子，從而對高維的數據產生有意義的理解。

非監督解耦認為，現實世界的數據是由一些可解釋的獨立因子不同組合產生的，可以通過非監督學習的方式找到這些獨立因子。如在Shapes3D數據集中，每個圖像由六個獨立因子控制，分別是：物體形狀、物體大小、相機角度、地板顏色、墻壁顏色，物體顏色。

圖 | Shapes3D數據集的獨立真值因子可視化：地板顏色：上左；墻壁顏色：上中；物體顏色：上右；物體尺寸：下左；物體形狀：下中；相機角度：下右。

解耦表征希望捕捉到這些獨立因子，下圖中每個3D圖像數據是10維的數據，用FactorVAE解耦模型（一種變分自編碼器variational autoencoders，即VAE的變種）對3D圖像進行解耦，企圖找出十維數據的每一維度信息，也即獨立控制因子，結果有些因子被成功分離，而有些因子仍然未被捕捉。上右和上中表明，模型成功分解了地板顏色，然而，下左一和下左二兩圖表明物體顏色和尺寸仍未被分解開來，物體的顏色和大小都在變化，說明控制的兩個因子并未獨立分解。

圖 | 可視化用FactorVAE模型所學到的隱含維度信息。墻壁顏色、地板顏色、相機角度被成功分解（見上右一、上中、和下中）；物體的形狀、尺寸、顏色還未被分解出來（見上左一和下左一、下左二）

本大型可復現研究的關鍵結論

為了理解高維數據，目前已有大量的非監督解耦模型。這些解耦模型一般基于變分自編碼器（variational autoencoders， VAE，一種非監督生成模型，通過將數據分解出獨立隱含因子來進行數據的生成，也即將高維數據映射成低維數據，并且低維數據的每一維度都獨立控制著該數據的某一個性質）衍變而來，同時研究者們也設計了一些度量指標來衡量解耦水平，但實際上，并沒有一個大規模的可復現實驗來對這些模型及指標做出統一的衡量。

為解決這一問題，Francesco Locatello等人對六個現有最佳模型（BetaVAE，AnnealedVAE，FactorVAE，DIP-VAE I / II和Beta-TCVAE， 以上皆為變分自編碼器的變種）和六個解耦指標（BetaVAE評分，FactorVAE評分，MIG，SAP，Modularity和DCI Disentanglement）的實際解耦的程度做了統一的可復現衡量實驗，通過7個數據集上12800個模型的訓練，衡量模型和參數的實際效果，他們有了這樣的發現：

1、無法證實解耦模型的確可以進行可靠的解耦。

解耦模型的結果，即所分析出的獨立因子并不是每次都確定，會隨著模型的改變而變化，也就是說，分析出的獨立因子并不是真正的唯一控制因子。解耦表征是非監督的，如果沒有一些真值標簽，其實無法衡量是否成功解耦。如想對解耦進行衡量，必須提前規定好數據集和模型的歸納偏好（Inductive Bias）。即，必須有假設才能知曉結果是否吻合假設，如果什么假設都沒有，那就無法衡量結論好壞。

將不同解耦模型在同一個數據集上多次訓練，只是每次隨機數不同，解耦指標FactorsVAE分數的分布跨度很大，即使同一個模型，僅僅隨機數不同，FactorsVAE分數就會變化，并且該影響超過了正則化強度所能施加的影響。因此這種解耦表征的結果不固定，所解出的因子便難以稱之為獨立因子，畢竟我們設想現實世界中的對象是由確定因素以某種組合造成的。

圖 | 不同模型在Cars3D數據集上FactorsVAE分數的分布：左圖是不同分解模型的FactorsVAE分布；右圖是FactorVAE模型不同正則化強度的FactorsVAE分布。

2、解耦表征有益于下游任務（如分類任務）也是無法證實的。

FactorVAE分數和分類表現（基于Gradient Boosted Trees，GBT）并沒有什么相關性，也就是FactorVAE分數高的解耦模型，利用模型解出的因子實現的分類任務表現也不一定就很好。

圖 | 利用相應解耦模型的下游分類任務在dSprites數據集上的表現

由此，他們得出了這樣一些見解：

1． 進行非監督的解耦表征需設置歸納偏好。未來工作需要明確描述強加的歸納偏好并明確是否利用了顯性和隱性監督。

2． 找到好的能適用多個數據集的非監督模型歸納偏好非常關鍵。

3． 應證明引入解耦表征舉措的具體實際益處。

4． 解耦模型效果應該在多種數據集上具有可重復性。

開源解耦表征庫

該研究所用評估流程及方法、所用解耦模型（10800個，有一些模型關于Shapes3D不可用）、所采用的解耦衡量指標，以及一些幫助理解模型的可視化工具都開源在disentanglement_lib（https://github.com/google-research/disentanglement_lib）此庫優點有三：

易復現。少于4個shell命令，disentanglement_lib即可重現評估所用的任何模型。另，雖所用參考模型所需算力非常之巨，但別怕，10800個預訓練好的模型已奉上。

能修改?？蓪嶒灧桨缚梢赃M行一些修改，驗證你自己的想法。

易擴展。該庫可實現公正統一的、可復現的，標準化的評估，可以輕松地將自己的新模型與參考模型對比。