人工智能領(lǐng)域的國際頂級(jí)會(huì)議AAAI 2020將于2月7日-2月12日在美國紐約舉辦。近年來隨著人工智能的興起，AAAI每年舉辦的學(xué)術(shù)會(huì)議也變得越來越火熱，每年都吸引了大量來自學(xué)術(shù)界、產(chǎn)業(yè)界的研究員、開發(fā)者投稿、參會(huì)。

以AAAI2019為例，論文提交數(shù)量高達(dá)7745篇，創(chuàng)下當(dāng)年AAAI歷史新高。和其他頂會(huì)一樣，AAAI 2020顯得更為火熱，大會(huì)官方發(fā)送的通知郵件顯示，最終收到有效論文8800篇，接收1591篇，接受率僅為20.6%。

作為人工智能領(lǐng)域最悠久、涵蓋內(nèi)容最廣泛的學(xué)術(shù)會(huì)議之一，會(huì)議的論文內(nèi)容涉及AI和機(jī)器學(xué)習(xí)所有領(lǐng)域，關(guān)注的傳統(tǒng)主題包括但不限于自然語言處理、深度學(xué)習(xí)等，同時(shí)大會(huì)還關(guān)注跨技術(shù)領(lǐng)域主題，如AI+行業(yè)應(yīng)用等。

此次騰訊優(yōu)圖實(shí)驗(yàn)室共計(jì)入選10篇論文，涉及速算批改、視頻識(shí)別等。

以下為具體解讀

1.從時(shí)間和語義層面重新思考時(shí)間域融合用于基于視頻的行人重識(shí)別（Oral）

Rethinking Temporal Fusion for Video-basedPerson Re-identification on Semantic and Time Aspect （Oral）

關(guān)鍵詞：行人重識(shí)別、時(shí)間和語義、時(shí)間融合

下載鏈接：https://arxiv.org/abs/1911.12512

近年來對(duì)行人重識(shí)別（ReID）領(lǐng)域的研究不斷深入，越來越多的研究者開始關(guān)注基于整段視頻信息的聚合，來獲取人體特征的方法。然而，現(xiàn)有人員重識(shí)別方法，忽視了卷積神經(jīng)網(wǎng)絡(luò)在不同深度上提取信息在語義層面的差別，因此可能造成最終獲取的視頻特征表征能力的不足。此外，傳統(tǒng)方法在提取視頻特征時(shí)沒有考慮到幀間的關(guān)系，導(dǎo)致時(shí)序融合形成視頻特征時(shí)的信息冗余，和以此帶來的對(duì)關(guān)鍵信息的稀釋。

為了解決這些問題，本文提出了一種新穎、通用的時(shí)序融合框架，同時(shí)在語義層面和時(shí)序?qū)用嫔蠈?duì)幀信息進(jìn)行聚合。在語義層面上，本文使用多階段聚合網(wǎng)絡(luò)在多個(gè)語義層面上對(duì)視頻信息進(jìn)行提取，使得最終獲取的特征更全面地表征視頻信息。而在時(shí)間層面上，本文對(duì)現(xiàn)有的幀內(nèi)注意力機(jī)制進(jìn)行了改進(jìn)，加入幀間注意力模塊，通過考慮幀間關(guān)系來有效降低時(shí)序融合中的信息冗余。

實(shí)驗(yàn)結(jié)果顯示本文的方法能有效提升基于視頻的行人識(shí)別準(zhǔn)確度，達(dá)到目前最佳的性能。

2.速算批改中的帶結(jié)構(gòu)文本識(shí)別

Accurate Structured-Text Spotting forArithmetical Exercise Correction

關(guān)鍵字：速算批改，算式檢測(cè)與識(shí)別

對(duì)于中小學(xué)教師而言，數(shù)學(xué)作業(yè)批改一直是一項(xiàng)勞動(dòng)密集型任務(wù)，為了減輕教師的負(fù)擔(dān)，本文提出算術(shù)作業(yè)檢查器，一個(gè)自動(dòng)評(píng)估圖像上所有算術(shù)表達(dá)式正誤的系統(tǒng)。其主要挑戰(zhàn)是，算術(shù)表達(dá)式往往是由具有特殊格式（例如，多行式，分?jǐn)?shù)式）的印刷文本和手寫文本所混合組成的。面臨這個(gè)挑戰(zhàn)，傳統(tǒng)的速算批改方案在實(shí)際業(yè)務(wù)中暴露出了許多問題。本文在算式檢測(cè)和識(shí)別兩方面，針對(duì)實(shí)際問題提出了解決方案。針對(duì)算式檢測(cè)中出現(xiàn)的非法算式候選問題，文中在無需錨框的檢測(cè)方法CenterNet的基礎(chǔ)上，進(jìn)一步設(shè)計(jì)了橫向邊緣聚焦的損失函數(shù)。CenterNet通過捕捉對(duì)象的兩個(gè)邊角位置來定位算式對(duì)象，同時(shí)學(xué)習(xí)對(duì)象內(nèi)部的信息作為補(bǔ)充，避免生成 ”中空“的對(duì)象，在算式檢測(cè)任務(wù)上具有較好的適性。橫向邊緣聚焦的損失函數(shù)進(jìn)一步把損失更新的關(guān)注點(diǎn)放在更易產(chǎn)生、更難定位的算式左右邊緣上，避免產(chǎn)生合理卻不合法的算式候選。該方法在檢測(cè)召回率和準(zhǔn)確率上都有較為明顯的提升。在算式識(shí)別框方面，為避免無意義的上下文信息干擾識(shí)別結(jié)果，文中提出基于上下文門函數(shù)的識(shí)別方法。該方法利用一個(gè)門函數(shù)來均衡圖像表征和上下文信息的輸入權(quán)重，迫使識(shí)別模型更多地學(xué)習(xí)圖像表征，從而避免無意義的上下文信息干擾識(shí)別結(jié)果。

3. 基于稠密邊界生成器的時(shí)序動(dòng)作提名的快速學(xué)習(xí)

Fast Learning of Temporal Action Proposal via Dense Boundary Generator

關(guān)鍵詞：DBG動(dòng)作檢測(cè)法、算法框架、開源

下載鏈接：https://arxiv.org/abs/1911.04127

視頻動(dòng)作檢測(cè)技術(shù)是精彩視頻集錦、視頻字幕生成、動(dòng)作識(shí)別等任務(wù)的基礎(chǔ)，隨著互聯(lián)網(wǎng)的飛速發(fā)展，在產(chǎn)業(yè)界中得到越來越廣泛地應(yīng)用，而互聯(lián)網(wǎng)場景視頻內(nèi)容的多樣性也對(duì)技術(shù)提出了很多的挑戰(zhàn)，如視頻場景復(fù)雜、動(dòng)作長度差異較大等。

針對(duì)這些挑戰(zhàn)，本文針對(duì)DBG動(dòng)作檢測(cè)算法，提出3點(diǎn)創(chuàng)新：

（1）提出一種快速的、端到端的稠密邊界動(dòng)作生成器（Dense Boundary Generator，DBG）。該生成器能夠?qū)λ械膭?dòng)作提名（proposal）估計(jì)出稠密的邊界置信度圖。

（2）引入額外的時(shí)序上的動(dòng)作分類損失函數(shù)來監(jiān)督動(dòng)作概率特征（action score feature，asf），該特征能夠促進(jìn)動(dòng)作完整度回歸（Action-aware Completeness Regression，ACR）。

（3）設(shè)計(jì)一種高效的動(dòng)作提名特征生成層（Proposal Feature Generation Layer，PFG），該Layer能夠有效捕獲動(dòng)作的全局特征，方便實(shí)施后面的分類和回歸模塊。

其算法框架主要包含視頻特征抽?。╒ideo Representation），稠密邊界動(dòng)作檢測(cè)器（DBG），后處理（Post-processing）三部分內(nèi)容。目前騰訊優(yōu)圖DBG的相關(guān)代碼已在github上開源，并在ActivityNet上排名第一。

4. TEINet：邁向視頻識(shí)別的高效架構(gòu)

TEINet： Towards an Efficient Architecture for Video Recognition

關(guān)鍵詞：TEI模塊、時(shí)序建模、時(shí)序結(jié)構(gòu)

下載鏈接：https://arxiv.org/abs/1911.09435

本文提出了一種快速的時(shí)序建模模塊，即TEI模塊，該模塊能夠輕松加入已有的2D CNN網(wǎng)絡(luò)中。與以往的時(shí)序建模方式不同，TEI通過channel維度上的attention以及channel維度上的時(shí)序交互來學(xué)習(xí)時(shí)序特征。

首先，TEI所包含的MEM模塊能夠增強(qiáng)運(yùn)動(dòng)相關(guān)特征，同時(shí)抑制無關(guān)特征（例如背景），然后TEI中的TIM模塊在channel維度上補(bǔ)充前后時(shí)序信息。這兩個(gè)模塊不僅能夠靈活而有效地捕捉時(shí)序結(jié)構(gòu)，而且在inference時(shí)保證效率。本文通過充分實(shí)驗(yàn)在多個(gè)benchmark上驗(yàn)證了TEI中兩個(gè)模塊的有效性。

5. 通過自監(jiān)督特征學(xué)習(xí)重新審視圖像美學(xué)質(zhì)量評(píng)估

Revisiting Image AestheticAssessment via Self-Supervised Feature Learning

關(guān)鍵詞：美學(xué)評(píng)估、自我監(jiān)督、計(jì)算機(jī)視覺

下載鏈接：https://arxiv.org/abs/1911.11419

圖像美學(xué)質(zhì)量評(píng)估是計(jì)算機(jī)視覺領(lǐng)域中一個(gè)重要研究課題。近年來，研究者們提出了很多有效的方法，在美學(xué)評(píng)估問題上取得了很大進(jìn)展。這些方法基本上都依賴于大規(guī)模的、與視覺美學(xué)相關(guān)圖像標(biāo)簽或?qū)傩?，但這些信息往往需要耗費(fèi)巨大人力成本。

為了能夠緩解人工標(biāo)注成本，“使用自監(jiān)督學(xué)習(xí)來學(xué)習(xí)具有美學(xué)表達(dá)力的視覺表征”是一個(gè)具有研究價(jià)值的方向。本文在這個(gè)方向上提出了一種簡單且有效的自監(jiān)督學(xué)習(xí)方法。我們方法的核心動(dòng)機(jī)是：若一個(gè)表征空間不能鑒別不同的圖像編輯操作所帶來的美學(xué)質(zhì)量的變化，那么這個(gè)表征空間也不適合圖像美學(xué)質(zhì)量評(píng)估任務(wù)。從這個(gè)動(dòng)機(jī)出發(fā)，本文提出了兩種不同的自監(jiān)督學(xué)習(xí)任務(wù)：一個(gè)用來要求模型識(shí)別出施加在輸入圖像上的編輯操作的類型；另一個(gè)要求模型區(qū)分同一類操作在不同控制參數(shù)下所產(chǎn)生的美學(xué)質(zhì)量變動(dòng)的差異，以此來進(jìn)一步優(yōu)化視覺表征空間。

為了對(duì)比實(shí)驗(yàn)的需要，本文將提出的方法與現(xiàn)有的經(jīng)典的自監(jiān)督學(xué)習(xí)方法（如，Colorization，Split-brain，RotNet等）進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明：在三個(gè)公開的美學(xué)評(píng)估數(shù)據(jù)集上（即AVA，AADB，和CUHK-PQ），本文的方法都能取得頗具競爭力的性能。而且值得注意的是：本文的方法能夠優(yōu)于直接使用 ImageNet 或者 Places 數(shù)據(jù)集的標(biāo)簽來學(xué)習(xí)表征的方法。此外，我們還驗(yàn)證了：在 AVA 數(shù)據(jù)集上，基于我們方法的模型，能夠在不使用 ImageNet 數(shù)據(jù)集的標(biāo)簽的情況下，取得與最佳方法相當(dāng)?shù)男阅堋?/p>

6.基于生成模型的視頻域適應(yīng)技術(shù)

Generative Adversarial Networks forVideo-to-Video Domain Adaptation

關(guān)鍵字：視頻生成，無監(jiān)督學(xué)習(xí)，域適應(yīng)

來自多中心的內(nèi)窺鏡視頻通常具有不同的成像條件，例如顏色和照明，這使得在一個(gè)域上訓(xùn)練的模型無法很好地推廣到另一個(gè)域。域適應(yīng)是解決該問題的潛在解決方案之一。但是，目前很少工作能集中在視頻數(shù)據(jù)域適應(yīng)處理任務(wù)上。

為解決上述問題，本文提出了一種新穎的生成對(duì)抗網(wǎng)絡(luò)（GAN）即VideoGAN，以在不同域之間轉(zhuǎn)換視頻數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明，由VideoGAN生成的域適應(yīng)結(jié)腸鏡檢查視頻，可以顯著提高深度學(xué)習(xí)網(wǎng)絡(luò)在多中心數(shù)據(jù)集上結(jié)直腸息肉的分割準(zhǔn)確度。由于我們的VideoGAN是通用的網(wǎng)絡(luò)體系結(jié)構(gòu)，因此本文還將CamVid駕駛視頻數(shù)據(jù)集上進(jìn)行了測(cè)試。實(shí)驗(yàn)表明，我們的VideoGAN可以縮小域間差距。

7. 非對(duì)稱協(xié)同教學(xué)用于無監(jiān)督的跨領(lǐng)域行人再識(shí)別

Asymmetric Co-Teaching for UnsupervisedCross-Domain Person Re-Identification

關(guān)鍵詞：行人重識(shí)別、非對(duì)稱協(xié)同教學(xué)、域適應(yīng)

下載鏈接：https://arxiv.org/abs/1912.01349

行人重識(shí)別由于樣本的高方差及成圖質(zhì)量，一直以來都是極具挑戰(zhàn)性的課題。雖然在一些固定場景下的re-ID取得了很大進(jìn)展（源域），但只有極少的工作能夠在模型未見過的目標(biāo)域上得到很好的效果。目前有一種有效解決方法，是通過聚類為無標(biāo)記數(shù)據(jù)打上偽標(biāo)簽，輔助模型適應(yīng)新場景，然而，聚類往往會(huì)引入標(biāo)簽噪聲，并且會(huì)丟棄低置信度樣本，阻礙模型精度提升。

本文通過提出非對(duì)稱協(xié)同教學(xué)方法，更有效地利用挖掘樣本，提升域適應(yīng)精度。具體來說，就是使用兩個(gè)網(wǎng)絡(luò)，一個(gè)網(wǎng)絡(luò)接收盡可能純凈的樣本，另一個(gè)網(wǎng)絡(luò)接收盡可能多樣的樣本，在“類協(xié)同教學(xué)”的框架下，該方法在濾除噪聲樣本的同時(shí)，可將更多低置信度樣本納入到訓(xùn)練過程中。多個(gè)公開實(shí)驗(yàn)可說明此方法能有效提升現(xiàn)階段域適應(yīng)精度，并可用于不同聚類方法下的域適應(yīng)。

8. 帶角度正則的朝向敏感損失用于行人再識(shí)別

Viewpoint-Aware Loss with AngularRegularization for Person Re-Identification

關(guān)鍵詞：行人重識(shí)別、朝向、建模

下載鏈接：https://arxiv.org/abs/1912.01300

近年來有監(jiān)督的行人重識(shí)別（ReID）取得了重大進(jìn)展，但是行人圖像間巨大朝向差異，使得這一問題仍然充滿挑戰(zhàn)。大多數(shù)現(xiàn)有的基于朝向的特征學(xué)習(xí)方法，將來自不同朝向的圖像映射到分離和獨(dú)立的子特征空間當(dāng)中。這種方法只建模了一個(gè)朝向下人體圖像的身份級(jí)別的特征分布，卻忽略了朝向間潛在的關(guān)聯(lián)關(guān)系。

為解決這一問題，本文提出了一種新的方法，叫帶角度正則的朝向敏感損失（VA-ReID）。相比每一個(gè)朝向?qū)W習(xí)一個(gè)子空間，該方法能夠?qū)碜圆煌虻奶卣饔成涞酵粋€(gè)超球面上，這樣就能同時(shí)建模身份級(jí)別和朝向級(jí)別的特征分布。在此基礎(chǔ)上，相比傳統(tǒng)分類方法將不同的朝向建模成硬標(biāo)簽，本文提出了朝向敏感的自適應(yīng)標(biāo)簽平滑正則方法（VALSR）。這一方法能夠給予特征表示自適應(yīng)的軟朝向標(biāo)簽，從而解決了部分朝向無法明確標(biāo)注的問題。

大量在Market1501和DukeMTMC數(shù)據(jù)集上的實(shí)驗(yàn)證明了本文的方法有效性，其性能顯著超越已有的最好有監(jiān)督ReID方法。

9. 如何利用弱監(jiān)督信息訓(xùn)練條件對(duì)抗生成模型

Robust Conditional GAN fromUncertainty-Aware Pairwise Comparisons

關(guān)鍵詞：CGAN、弱監(jiān)督、成對(duì)比較

下載鏈接：https://arxiv.org/abs/1911.09298

條件對(duì)抗生成網(wǎng)絡(luò)（conditinal GAN，CGAN）已在近些年取得很大成就，并且在圖片屬性編輯等領(lǐng)域有成功的應(yīng)用。但是，CGAN往往需要大量標(biāo)注。為了解決這個(gè)問題，現(xiàn)有方法大多基于無監(jiān)督聚類，比如先用無監(jiān)督學(xué)習(xí)方法得到偽標(biāo)注，再用偽標(biāo)注當(dāng)作真標(biāo)注訓(xùn)練CGAN。然而，當(dāng)目標(biāo)屬性是連續(xù)值而非離散值時(shí)，或者目標(biāo)屬性不能表征數(shù)據(jù)間的主要差異，那么這種基于無監(jiān)督聚類的方法就難以取得理想效果。本文進(jìn)而考慮用弱監(jiān)督信息去訓(xùn)練CGAN，在文中我們考慮成對(duì)比較這種弱監(jiān)督。成對(duì)比較相較于絕對(duì)標(biāo)注具有以下優(yōu)點(diǎn)：1.更容易標(biāo)注；2.更準(zhǔn)確；3.不易受主觀影響。

我們提出先訓(xùn)練一個(gè)比較網(wǎng)絡(luò)來預(yù)測(cè)每張圖片的得分，再將這個(gè)得分當(dāng)做條件訓(xùn)練CGAN。第一部分的比較網(wǎng)絡(luò)我們受到國際象棋等比賽中常用的等級(jí)分（Elo ratingsystem）算法的啟發(fā)，將一次成對(duì)比較的標(biāo)注視為一次比賽，用一個(gè)網(wǎng)絡(luò)預(yù)測(cè)圖片的得分，我們根據(jù)等級(jí)分設(shè)計(jì)了可以反向傳播學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。我們還考慮了網(wǎng)絡(luò)的貝葉斯版本，使網(wǎng)絡(luò)具有估計(jì)不確定性的能力。對(duì)于圖像生成部分，我們將魯棒條件對(duì)抗生成網(wǎng)絡(luò)（RObust Conditional GAN， RCGAN）拓展到條件是連續(xù)值的情形。具體的，與生成的假圖對(duì)應(yīng)的預(yù)測(cè)得分在被判別器接收之前會(huì)被一個(gè)重采樣過程污染。這個(gè)重采樣過程需要用到貝葉斯比較網(wǎng)絡(luò)的不確定性估計(jì)。

我們?cè)谒膫€(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，分別改變?nèi)四槇D像的年齡和顏值。實(shí)驗(yàn)結(jié)果表明提出的弱監(jiān)督方法和全監(jiān)督基線相當(dāng)，并遠(yuǎn)遠(yuǎn)好于非監(jiān)督基線。

10. 基于對(duì)抗擾動(dòng)的無監(jiān)督領(lǐng)域自適應(yīng)語義分割

An Adversarial PerturbationOriented Domain Adaptation Approach for Semantic Segmentation

關(guān)鍵詞：無監(jiān)督領(lǐng)域自適應(yīng)、語義分割、對(duì)抗訓(xùn)練

下載鏈接：https://arxiv.org/pdf/1912.08954.pdf

如今神經(jīng)網(wǎng)絡(luò)借助大量標(biāo)注數(shù)據(jù)已經(jīng)能夠達(dá)到很好的效果，但是往往不能很好的泛化到一個(gè)新的環(huán)境中，而且大量數(shù)據(jù)標(biāo)注是十分昂貴的。因此，無監(jiān)督領(lǐng)域自適應(yīng)就嘗試借助已有的有標(biāo)注數(shù)據(jù)訓(xùn)練出模型，并遷移到無標(biāo)注數(shù)據(jù)上。

對(duì)抗對(duì)齊（adversarialalignment）方法被廣泛應(yīng)用在無監(jiān)督領(lǐng)域自適應(yīng)問題上，全局地匹配兩個(gè)領(lǐng)域間特征表達(dá)的邊緣分布。但是，由于語義分割任務(wù)上數(shù)據(jù)的長尾分布（long-tail）嚴(yán)重且缺乏類別上的領(lǐng)域適配監(jiān)督，領(lǐng)域間匹配的過程最終會(huì)被大物體類別（如：公路、建筑）主導(dǎo)，從而導(dǎo)致這種策略容易忽略尾部類別或小物體（如：紅路燈、自行車）的特征表達(dá)。

本文提出了一種生成對(duì)抗擾動(dòng)并防御的框架。首先該框架設(shè)計(jì)了幾個(gè)對(duì)抗目標(biāo)（分類器和鑒別器），并通過對(duì)抗目標(biāo)在兩個(gè)領(lǐng)域的特征空間分別逐點(diǎn)生成對(duì)抗樣本。這些對(duì)抗樣本連接了兩個(gè)領(lǐng)域的特征表達(dá)空間，并蘊(yùn)含網(wǎng)絡(luò)脆弱的信息。然后該框架強(qiáng)制模型防御對(duì)抗樣本，從而得到一個(gè)對(duì)于領(lǐng)域變化和物體尺寸、類別長尾分布都更魯棒的模型。

本文提出的對(duì)抗擾動(dòng)框架，在兩個(gè)合成數(shù)據(jù)遷移到真實(shí)數(shù)據(jù)的任務(wù)上進(jìn)行了驗(yàn)證。該方法不僅在圖像整體分割上取得了優(yōu)異的性能，并且提升了模型在小物體和類別上的精度，證明了其有效性。