近年來(lái)，深度學(xué)習(xí)已成為機(jī)器學(xué)習(xí)社區(qū)的一個(gè)主要研究領(lǐng)域。其中一個(gè)主要挑戰(zhàn)是這種深層網(wǎng)絡(luò)模型的結(jié)構(gòu)通常很復(fù)雜。對(duì)于一般的多類別分類任務(wù)，所需的深度網(wǎng)絡(luò)參數(shù)通常隨著類別數(shù)量的增加而呈現(xiàn)超線性增長(zhǎng)。如果類別的數(shù)量很大，多類別的分類問(wèn)題將變得不可行，因?yàn)槟Ｐ退璧挠?jì)算資源和內(nèi)存存儲(chǔ)將是巨大的。然而，如今的很多應(yīng)用程序需要解決龐大數(shù)量的多分類問(wèn)題，如詞級(jí)別的語(yǔ)言模型，電子商務(wù)中購(gòu)物項(xiàng)目的圖像識(shí)別（如現(xiàn)在淘寶和亞馬遜上數(shù)百萬(wàn)的購(gòu)物項(xiàng)），以及 10K 中文手寫漢字的識(shí)別等。

為此，來(lái)自阿里巴巴的團(tuán)隊(duì)提出了一種稱為標(biāo)簽映射（LM）的方法：通過(guò)將原始的分類任務(wù)分解成幾個(gè)理論上可解決的子分類任務(wù)，來(lái)解決這個(gè)問(wèn)題。

據(jù)介紹，這種方法類似糾錯(cuò)輸出代碼（ECOC） 一樣的集成方法，但它還允許base learner不同標(biāo)簽數(shù)量的多類別分類器。該團(tuán)隊(duì)提出了LM 的兩種設(shè)計(jì)原則，一個(gè)是最大化基本分類器（可以對(duì)兩個(gè)不同類別進(jìn)行分類）的數(shù)量，另一個(gè)是盡可能地保證所有base learner之間的獨(dú)立性以便減少冗余信息。由于每個(gè)base learner可以獨(dú)立地進(jìn)行訓(xùn)練，因此很容易能將該方法擴(kuò)展到一個(gè)大規(guī)模的訓(xùn)練體系。實(shí)驗(yàn)表明，他們所提出的方法在準(zhǔn)確性和模型復(fù)雜性方面，顯著優(yōu)于標(biāo)準(zhǔn)的獨(dú)熱編碼和 ECOC 方法。

▌簡(jiǎn)介

事實(shí)上，用于處理 N 類的深度神經(jīng)網(wǎng)絡(luò)分類器通?？梢员豢醋魇菍W式空間中一些復(fù)雜的嵌入表示連接到最后一層的 softmax 分類器上。復(fù)雜的嵌入表示可以被解釋為是一種聚類過(guò)程，即根據(jù)類別的標(biāo)簽將數(shù)據(jù)進(jìn)行聚類并在最后一層將分離數(shù)據(jù)。聚類過(guò)程會(huì)根據(jù)類別標(biāo)簽對(duì)數(shù)據(jù)進(jìn)行聚類，并在最后一層嘗試將它們分開(kāi)。如果歐式空間最后一層的維度大于或等于 N-1，那么將存在一個(gè) softmax 分類器分離那些概率1的聚類。但是，如果歐式空間的維度小于 N-1，那么將不存在一個(gè) softmax 分類器能夠?qū)⒁粋€(gè)聚類從中分離出來(lái)并使其聚類中心位于其他聚類中心所構(gòu)成的凸集平面內(nèi)，因?yàn)橥辜系木€性函數(shù)總是能夠在頂點(diǎn)處取得最大值。

解決這種 N 類別的分類問(wèn)題，要么固定最后一層的維度，這將導(dǎo)致分類的性能變得很差；或者讓最后一層的維度隨著 N 的增長(zhǎng)而增長(zhǎng)，但這會(huì)導(dǎo)致最后兩層的模型參數(shù)隨著 N 的增加而呈現(xiàn)超線性增長(zhǎng)。網(wǎng)絡(luò)大小的超線性增長(zhǎng)將顯著增加訓(xùn)練的時(shí)間和內(nèi)存的使用量，這將嚴(yán)重限制模型在許多現(xiàn)實(shí)的多類別問(wèn)題中的應(yīng)用。

本文我們提出了一種稱為標(biāo)簽映射（LM）的方法來(lái)解決這個(gè)矛盾。我們的想法是將一個(gè)多類別的分類問(wèn)題，變成多個(gè)小類別的分類問(wèn)題，并平行地訓(xùn)練這些小類別的分類問(wèn)題。分布式訓(xùn)練將放緩計(jì)算量和內(nèi)存的增加，同時(shí)不需要機(jī)器之間的通信。

▌方法（標(biāo)簽映射）

如上所述，通常 N 類的深度神經(jīng)網(wǎng)絡(luò)分類器通常可以被看作是將歐式空間中一些列復(fù)雜的嵌入表示連接到最后一層的 softmax 分類器上。在本文中，我們進(jìn)行了如下的一些定義：

我們把歐式空間 V 中 N 個(gè)點(diǎn)的集合稱為 X，滿足凸集的性質(zhì)，并保證當(dāng)且僅當(dāng)凸集 X 的閉合具有確切的 N 個(gè)頂點(diǎn)。換句話說(shuō)，softmax 分類器能夠在歐式空間 V 中分離所有的 N 個(gè)聚類，并使得聚類中心落在凸集的內(nèi)部。

對(duì)于一個(gè)多類別的分類問(wèn)題，我們引入一種標(biāo)簽映射的方法，將大規(guī)模的多類別分類問(wèn)題轉(zhuǎn)化為一些子分類問(wèn)題。一個(gè)映射序列的標(biāo)簽映射定義如下：

其中，每個(gè)fi都代表一個(gè)地點(diǎn)位置函數(shù) (site-position function)，n表示標(biāo)簽映射的長(zhǎng)度，N表示類別數(shù)量。如果每個(gè)每個(gè)類別都相等的話，我們稱之為單一的標(biāo)簽映射，否則則定義為混合的標(biāo)簽映射。

一般來(lái)說(shuō)，N是一個(gè)很大的數(shù)字，而Ni是中等大小的一些數(shù)字。 我們可以通過(guò)標(biāo)簽映射將一個(gè)N類別的分類問(wèn)題減小為n的中等尺寸的分類問(wèn)題。假設(shè)訓(xùn)練數(shù)據(jù)集是{xk, yk}，其中xk表示特征，而yk表示標(biāo)簽，有兩種方法可以在深度神經(jīng)網(wǎng)絡(luò)模型中使用標(biāo)簽映射。一種是使用一個(gè)具有n個(gè)輸出的網(wǎng)絡(luò) （如圖1）。另一種是使用n個(gè)網(wǎng)絡(luò)，每個(gè)網(wǎng)絡(luò)都被訓(xùn)練成數(shù)據(jù)集中的base learner （如圖2）。

圖1： n個(gè)輸出的網(wǎng)絡(luò)

圖2：n個(gè)網(wǎng)絡(luò)，每個(gè)網(wǎng)絡(luò)有 n 個(gè)輸出

考慮到分布式訓(xùn)練的便捷性，這里我們使用圖2中的方法。此外，我們還規(guī)定標(biāo)簽映射應(yīng)滿足如下性質(zhì)：

類別的高度分離性：對(duì)于兩種不同的標(biāo)簽，盡可能保證二者高度分離，這里我們通過(guò)一個(gè)地點(diǎn)位置函數(shù)fi來(lái)衡量。

基礎(chǔ)學(xué)習(xí)器的獨(dú)立性：類別的高度分離性保證了每個(gè)基礎(chǔ)學(xué)習(xí)器都能夠通過(guò)訓(xùn)練將不同類別分離，而基礎(chǔ)學(xué)習(xí)器的獨(dú)立性保證了相同的信息能夠被盡可能少的學(xué)習(xí)器所學(xué)習(xí)。

與 ECOC 的差異性：我們的標(biāo)簽映射方法不需要將多分類問(wèn)題轉(zhuǎn)化成二分類問(wèn)題 (如 ECOC 方法)，也不需要轉(zhuǎn)化為相同類別數(shù)量的分類問(wèn)題。

▌實(shí)驗(yàn)過(guò)程

我們?cè)?Cifar-100，CJK 字符和 Republic 三個(gè)數(shù)據(jù)集上測(cè)試了標(biāo)簽映射的性能。

CIFAR-100 數(shù)據(jù)集由60000張100個(gè)類別的32x32彩色圖像構(gòu)成，每個(gè)類別有500張訓(xùn)練圖像和100張測(cè)試圖像。我們使用一個(gè)簡(jiǎn)單的 CNN 網(wǎng)絡(luò)，其結(jié)構(gòu)示意圖如下圖3，最后一層的維度是128，每個(gè)類別的標(biāo)簽都是一個(gè)獨(dú)熱編碼。

圖3：CNN 的模型結(jié)構(gòu)示意圖

CJK 字符數(shù)據(jù)集由20901張139×139的灰度字符圖像構(gòu)成。我們使用 Inception V3 模型，其最后一層的維度為2048，并使用獨(dú)熱編碼對(duì)應(yīng)數(shù)據(jù)集中每個(gè)字符類別的標(biāo)簽。

Republic 數(shù)據(jù)集由一個(gè)含118684個(gè)詞的文本構(gòu)成，其中7409個(gè)詞是獨(dú)一無(wú)二的。我們使用一個(gè) RNN 模型，其最后一層的維度為100，其結(jié)構(gòu)示意圖如圖4所示。同樣，我們對(duì)類別標(biāo)簽進(jìn)行獨(dú)熱編碼。

圖4：RNN 模型結(jié)構(gòu)示意圖

▌結(jié)果分析

我們分別對(duì)三個(gè)數(shù)據(jù)集進(jìn)行對(duì)比實(shí)驗(yàn)，評(píng)估單一標(biāo)簽映射、混合標(biāo)簽映射及標(biāo)簽映射與 ECOC 方法之間的優(yōu)劣性。實(shí)驗(yàn)結(jié)果表明，標(biāo)簽映射的準(zhǔn)確性將隨著數(shù)據(jù)集長(zhǎng)度的增大而升高。在 Cifar-100 數(shù)據(jù)集上，使用獨(dú)熱編碼的標(biāo)簽會(huì)給標(biāo)簽映射的準(zhǔn)確性帶來(lái)更大的提高，而對(duì)于其他兩個(gè)數(shù)據(jù)集的提升卻不是很明顯。這是因?yàn)楠?dú)熱編碼的引入能夠充分發(fā)揮簡(jiǎn)單 CNN 結(jié)構(gòu)的優(yōu)勢(shì)，而對(duì)于 Inception V3 模型而言，其最后一層的維度小于 CJK 數(shù)據(jù)集的類別數(shù)量，因而獨(dú)熱編碼的作用沒(méi)能發(fā)揮出來(lái)。同樣地，對(duì)于最后一層的維度小于 Republic 數(shù)據(jù)集類別數(shù)的 RNN 模型，獨(dú)熱編碼的強(qiáng)大性也無(wú)法充分體現(xiàn)。

Cifar-100 數(shù)據(jù)集

下圖5、圖6、圖7分別表示單一標(biāo)簽映射、混合標(biāo)簽映射作用下的精度及標(biāo)簽映射方法與 ECOC 方法的對(duì)比結(jié)果。

圖5：?jiǎn)我粯?biāo)簽映射下的精度

圖6：混合標(biāo)簽映射下的精度

圖7：標(biāo)簽映射與 ECOC 方法的對(duì)比結(jié)果

CJK 數(shù)據(jù)集

下表1、表2、表3分別表示單一標(biāo)簽映射、混合標(biāo)簽映射作用下的精度及標(biāo)簽映射方法與 ECOC 方法的對(duì)比結(jié)果。

表1 單一標(biāo)簽映射作用下的性能

表2 混合標(biāo)簽映射作用下的性能

表3 標(biāo)簽映射與 ECOC 方法的對(duì)比結(jié)果

Republic 數(shù)據(jù)集

表4顯示標(biāo)簽映射方法在 Republic 數(shù)據(jù)集上的性能。

表4 標(biāo)簽映射作用下的性能

▌結(jié)論

我們提出了一種方法稱為標(biāo)簽映射（LM），能夠?qū)⒋笠?guī)模的多類別分類問(wèn)題到分解成多個(gè)小規(guī)模的子分類問(wèn)題，并為每個(gè)子分類問(wèn)題訓(xùn)練base learner。而所需的base learner數(shù)量隨著類別數(shù)量的增加而增加。此外，我們提出兩個(gè)設(shè)計(jì)原則，即類別高可分離性和base learner 的獨(dú)立性，并提出兩類滿足該原則的標(biāo)簽映射，即單一標(biāo)簽映射和混合標(biāo)簽映射。我們分別在Cifar-100、CJK 和 Republic 三個(gè)數(shù)據(jù)集上展示了標(biāo)簽映射的性能。實(shí)驗(yàn)結(jié)果表明，標(biāo)簽映射的性能隨長(zhǎng)度的增加而增加。當(dāng)類別數(shù)量很大時(shí)（如 CJK 字符數(shù)據(jù)集和 Republic 數(shù)據(jù)集），特別當(dāng)數(shù)量遠(yuǎn)大于模型最后一層的維度時(shí)，標(biāo)簽映射的性能更佳。此外，我們還對(duì)比了標(biāo)簽映射與 ECOC 方法的性能，發(fā)現(xiàn)在更少參數(shù)量的情況下，我們的方法還遠(yuǎn)遠(yuǎn)優(yōu)于 ECOC 方法。