麻省理工學(xué)院媒體實(shí)驗(yàn)室的研究者們已經(jīng)開(kāi)發(fā)了一種機(jī)器學(xué)習(xí)模型，這種模型讓電腦更加像人一樣解譯我們的情感。

在“情感計(jì)算”這個(gè)新興領(lǐng)域，人們開(kāi)發(fā)可以分析面部表情的機(jī)器人和計(jì)算機(jī)，讓它們解譯我們的情感并根據(jù)解譯結(jié)果做出回應(yīng)。其應(yīng)用包括管理個(gè)人健康、保證學(xué)生在課堂上的興趣、幫助診斷一些疾病以及開(kāi)發(fā)有用的機(jī)器人伙伴。

然而這項(xiàng)技術(shù)面臨的一大挑戰(zhàn)是，不同的人表達(dá)情感的方式非常不同，這一不同依賴于許多因素。一些普適的差異包括不同文化、性別、年齡組之間的差異。但是此外還存在一些更精細(xì)的差異：每天中的不同時(shí)刻、睡眠狀況、甚至對(duì)談話對(duì)象的熟悉程度等都會(huì)導(dǎo)致你情感表達(dá)的差異。

人們的大腦天生就可以處理這些偏差，但這對(duì)機(jī)器來(lái)說(shuō)很難。深度學(xué)習(xí)技術(shù)在近些年來(lái)幫助機(jī)器捕捉這些偏差，但這還無(wú)法精確到或能夠適應(yīng)不同的人群需求。

麻省理工學(xué)院媒體實(shí)驗(yàn)室的研究人員們開(kāi)發(fā)了一種新的機(jī)器學(xué)習(xí)模型，這個(gè)模型通過(guò)幾千個(gè)面部圖像學(xué)習(xí)，獲得了比傳統(tǒng)模型更能捕捉到細(xì)微的面部表情變化的能力，可以更好衡量人們的情感。此外，通過(guò)使用一些額外的訓(xùn)練數(shù)據(jù)，模型還可以適應(yīng)一個(gè)全新的人群，并達(dá)到同樣的效果。這項(xiàng)研究的目標(biāo)是提高現(xiàn)有的情感計(jì)算技術(shù)。

“這是一種隱蔽的管理情感方式，”麻省理工學(xué)院媒體實(shí)驗(yàn)室研究者及這篇文章的共作者 Oggi Rudovic 表示，“如果你想讓機(jī)器人擁有社交智能，你必須讓它們能夠聰明而自然地對(duì)我們的情感作出回應(yīng)，更加像人類一樣。”O(jiān)ggi Rudovic 在上周的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘大會(huì)上進(jìn)行了展示。

個(gè)性化專家

傳統(tǒng)情感計(jì)算模型通常想找到一個(gè)“通解”。他們通過(guò)對(duì)一系列描述不同面部表情的圖像訓(xùn)練來(lái)優(yōu)化特征——如當(dāng)笑的時(shí)候嘴唇是如何卷曲的——并將這些普適的優(yōu)化標(biāo)記在整個(gè)新圖像數(shù)據(jù)集中。

而本次研究的科學(xué)家將個(gè)性化模型技術(shù)與“多專家模型（MoE)”技術(shù)結(jié)合，幫助挖掘細(xì)粒度的個(gè)人面部表情數(shù)據(jù)。Rudovic 說(shuō)，這是首次將這兩種技術(shù)結(jié)合并用于情感計(jì)算。

在多專家模型中，一系列神經(jīng)網(wǎng)絡(luò)模型被稱為“專家”，每一個(gè)“專家”用于專門訓(xùn)練一個(gè)分開(kāi)的任務(wù)并生成一個(gè)輸出結(jié)果。研究人員結(jié)合了門控網(wǎng)絡(luò)，這一網(wǎng)絡(luò)可以計(jì)算每個(gè)專家成功解譯未見(jiàn)過(guò)的新情緒的概率。“基本上，網(wǎng)絡(luò)可以區(qū)別個(gè)體的差異并指出‘在這張圖中這個(gè)專家的結(jié)果是正確的’。”Feffer 說(shuō)。

對(duì)他們的模型來(lái)說(shuō)，研究人員通過(guò)將每個(gè)專家與 RECOLA 數(shù)據(jù)集中 18 個(gè)個(gè)人視頻記錄進(jìn)行匹配。RECOLA 數(shù)據(jù)集是一個(gè)公開(kāi)數(shù)據(jù)庫(kù)，供人們?cè)跒榍楦杏?jì)算設(shè)計(jì)的應(yīng)用平臺(tái)上通過(guò)視頻聊天交流。他們采用了 9 個(gè)主題訓(xùn)練模型，而通過(guò)另外 9 個(gè)主題來(lái)評(píng)估訓(xùn)練結(jié)果。所有的視頻都被剪輯成獨(dú)立的小部分。

每一個(gè)專家和門控網(wǎng)絡(luò)都可以通過(guò)一種叫 ResNet 的分類神經(jīng)網(wǎng)絡(luò)幫助追溯到每個(gè)個(gè)體的面部表情。在這個(gè)過(guò)程中，模型基于數(shù)值的高低（如高興或不高興）和喚醒程度（如興奮）為每一個(gè)框架打分。通常使用矩陣為這些不同的情感狀態(tài)進(jìn)行編碼。同時(shí)，6 個(gè)人類專家標(biāo)記每一個(gè)框架的數(shù)值和喚醒度，用來(lái)訓(xùn)練這些模型。

研究人員進(jìn)一步對(duì)模型個(gè)性化，他們將一些剩下的視頻作為訓(xùn)練模型數(shù)據(jù)，用另一些機(jī)器未見(jiàn)過(guò)的視頻對(duì)模型測(cè)試。結(jié)果顯示，在含有 5%-10% 新人群類型的數(shù)據(jù)中，該模型比傳統(tǒng)模型表現(xiàn)有很大改觀，這意味著模型的數(shù)值和喚醒度數(shù)據(jù)更接近人類專家的評(píng)分。

更好的人機(jī)交互

另一個(gè)目標(biāo)是訓(xùn)練模型幫助計(jì)算機(jī)和機(jī)器人自動(dòng)學(xué)習(xí)數(shù)據(jù)中的微小變化，以用于更自然的檢測(cè)我們的感覺(jué)并更好的服務(wù)人類需要。研究者說(shuō)。

例如，這個(gè)模型可以在電腦或移動(dòng)設(shè)備上運(yùn)行并追溯用戶的視頻對(duì)話，以學(xué)習(xí)其在不同環(huán)境中的細(xì)微面部表情變化。“你可以使用能識(shí)別人們感情的智能手機(jī) app 或網(wǎng)站，它們將向你推薦如何應(yīng)付這些壓力，或其他對(duì)生活有負(fù)面影響的事。”Feffer 說(shuō)。

該模型也可以幫助人們管理壓力等負(fù)面情緒，這些情緒中的人們面部表情會(huì)有一些微妙的變化。“通過(guò)管理我們面部表情中的負(fù)面情緒，”Rudovic 說(shuō)，“我們可以個(gè)性化這些模型并管理人們每天的數(shù)據(jù)與平均數(shù)據(jù)之間的變化，并進(jìn)一步用作健康指標(biāo)。”