（文章來源：網(wǎng)絡(luò)整理）

互聯(lián)網(wǎng)用戶所創(chuàng)造的“內(nèi)容”正在迅猛增長，從不同渠道涌現(xiàn)的文本、圖像和視頻等不同類型的媒體數(shù)據(jù)以及用戶信息更加緊密混合。它們正在以一種新的形式，更為形象綜合地表達(dá)語義、主題和事件。針對當(dāng)前媒體數(shù)據(jù)呈現(xiàn)出的特點進(jìn)行深入研究已成為學(xué)術(shù)熱點，多種類型媒體數(shù)據(jù)依賴共存，各種平臺和應(yīng)用的數(shù)據(jù)來源廣泛，個體和群體參與數(shù)據(jù)產(chǎn)生的用戶交互史無前例。

谷歌的前任研究主管皮特·諾文（Perter Norvig）博士曾在2010年《自然》雜志上發(fā)表文章《2020愿景》，指出今后10年，文本、圖像、視頻等數(shù)據(jù)以及用戶交互信息和各種傳感器信息將混合在一起，從搜索角度看，搜索引擎對檢索結(jié)果進(jìn)行的是內(nèi)容綜合而非數(shù)據(jù)羅列，這也將是谷歌今后面臨的巨大挑戰(zhàn)。我國也同樣重視“跨媒體”研究，國家科技部于2011年11月啟動了973計劃項目“面向公共安全的跨媒體計算理論與方法”，對“跨媒體”的表達(dá)建模、語義學(xué)習(xí)、挖掘推理和搜索排序等核心問題開展了理論研究。目前，媒體計算需要重點解決的兩個難點是消除“異構(gòu)鴻溝”和“語義鴻溝。

傳統(tǒng)的媒體計算研究方法主要從手工構(gòu)建的底層特征出發(fā)，利用機器學(xué)習(xí)方法填補異構(gòu)鴻溝和語義鴻溝。與傳統(tǒng)方法不同深度學(xué)習(xí)是通過將無監(jiān)督逐層預(yù)訓(xùn)練與有監(jiān)督微調(diào)（fine-tuning）有機結(jié)合，實現(xiàn)端到端方式的特征學(xué)習(xí)。其基本動機是構(gòu)建多層網(wǎng)絡(luò)來學(xué)習(xí)隱含在數(shù)據(jù)內(nèi)部的關(guān)系，從而使學(xué)習(xí)得到的特征具有更強的表達(dá)力和泛化能力。

在大規(guī)模數(shù)據(jù)上進(jìn)行的實驗表明：通過深度學(xué)習(xí)得到的特征表示在自然語言處理（詞向量學(xué)習(xí)）、知識圖譜構(gòu)建、圖像分類和語音識別等領(lǐng)域表現(xiàn)出良好的性能。例如谷歌研究組在2014年大規(guī)模視覺識別挑戰(zhàn)賽中采用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)GoogLeNet，將圖像識別準(zhǔn)確率提升到93.3%。

通常，在媒體語義理解過程中可獲取不同類型的媒體數(shù)據(jù)，如：新聞報道包含了文字和文字對應(yīng)的圖像，視頻包含了視覺和聽覺信息。不同類型的媒體數(shù)據(jù)從不同側(cè)面反映了高層語義，因此多模態(tài)語義學(xué)習(xí)需要對不同模態(tài)的信息進(jìn)行整合。1976年，麥格克（McGurk）等人驗證了人類對外界信息的認(rèn)知是基于不同感官信息而形成的整體性理解，任何感官信息的缺乏或不準(zhǔn)確，都將導(dǎo)致大腦對外界信息的理解產(chǎn)生偏差，這個現(xiàn)象被稱為“McGurk現(xiàn)象”。McGurk現(xiàn)象揭示了大腦在進(jìn)行感知時，不同感官會被無意識地自動結(jié)合在一起對信息進(jìn)行處理。

由于深度學(xué)習(xí)具有通過逐層抽象來形成良好特征的能力，因此可利用該方法來形成不同類型數(shù)據(jù)的聯(lián)合特征表示。具體方法有深度典范相關(guān)分析（Deep Caconical Correlation Analysis，Deep CCA）、多模態(tài)深度學(xué)習(xí)以及多模態(tài)玻爾茲曼機等。這些方法的基本思路是通過不同的深層模型對不同類型數(shù)據(jù)進(jìn)行逐層學(xué)習(xí)，將學(xué)習(xí)得到的結(jié)果進(jìn)行合并，以得到多模態(tài)聯(lián)合特征表示，最后要求多模態(tài)聯(lián)合特征能有效重建原始不同類型數(shù)據(jù)或表達(dá)相關(guān)語義概念。為了得到更好的深層模型，一般在深層模型的最頂端設(shè)計反映不同類型數(shù)據(jù)相互耦合的損失函數(shù)來對模型進(jìn)行優(yōu)化反饋。

將深度學(xué)習(xí)應(yīng)用于語義概念識別和理解時，有兩種方法：（1）將深度學(xué)習(xí)得到的特征表示直接輸入給判別分類模型（如支持向量機等）；（2）通過softmax函數(shù)或回歸函數(shù)對輸人數(shù)據(jù)、隱含層和輸出層（語義標(biāo)簽）之間的概率分布進(jìn)行建模，然后基于互信息熵最小或間隔距離最大等準(zhǔn)則對模型進(jìn)行優(yōu)化。

有人的理論研究結(jié)果表明：在機器學(xué)習(xí)中，如果對模型本身的假設(shè)產(chǎn)生偏差，則會影響學(xué)習(xí)結(jié)果。因此，如何合理引入數(shù)據(jù)本身所具有的先驗知識和結(jié)構(gòu)線索，來構(gòu)造和微調(diào)深層模型使之更好地處理多模態(tài)數(shù)據(jù)，是一個亟待解決的問題。因此，一些研究開始在生成式深層模型或區(qū)別式深層模型中引入數(shù)據(jù)本身所具有的先驗結(jié)構(gòu)，以提升特征學(xué)習(xí)的泛化能力和區(qū)別能力。有人在卷積神經(jīng)網(wǎng)絡(luò)輸出端引入層次化概念樹來促進(jìn)關(guān)聯(lián)語義所具有的共享特征的學(xué)習(xí)，有人通過非參貝葉斯假設(shè)來提高判別性語義特征學(xué)習(xí)的靈活度。
（責(zé)任編輯：fqj）