清華大學(xué)副校長楊斌與阿里巴巴集團副總裁、首席技術(shù)官張建鋒為聯(lián)合實驗室揭牌,2018年4月3日，清華大學(xué)與阿里巴巴宣布達成戰(zhàn)略合作，共同成立清華大學(xué)- 阿里巴巴自然交互體驗聯(lián)合實驗室，探索“下一代人機自然交互”的未來。

說起智能機器人，大家或許不會忘記電影《鋼鐵俠》中如真人大管家一樣的賈維斯，或者《超能陸戰(zhàn)隊》中情感豐富的大白。它們都體現(xiàn)了人類對未來人機交互的想象。如今，科幻電影中的場景正加速走入現(xiàn)實。

2018年4月3日，清華大學(xué)與阿里巴巴宣布達成戰(zhàn)略合作，共同成立清華大學(xué)- 阿里巴巴自然交互體驗聯(lián)合實驗室，探索“下一代人機自然交互”的未來。雙方將以“人”為中心，探索“人-機器-環(huán)境”之間的關(guān)系，讓機器以更自然的方式與人類互動、服務(wù)人類。雙方將在情感認知計算、實體交互、多通道感知等領(lǐng)域開展研究，讓機器具備聽覺、視覺、觸覺等“五感”，并理解人類情感，以此推動人機交互變革。

聯(lián)合實驗室為校級合作實驗室，依托于清華大學(xué)美術(shù)學(xué)院，共建單位是清華大學(xué)未來實驗室。清華大學(xué)美術(shù)學(xué)院魯曉波教授擔(dān)任實驗室管委會主任，清華大學(xué)美術(shù)學(xué)院教授徐迎慶為實驗室主任，阿里巴巴人機自然交互實驗室負責(zé)人傅利民為聯(lián)合主任。

清華大學(xué)副校長、教務(wù)長楊斌表示，自然交互體驗研究人與機器之間的無縫交流與溝通，賦予機器以智能，使機器成為能理解人類意圖的智能設(shè)備，將對人類工作方式及生活方式都產(chǎn)生深遠的影響。清華大學(xué)將和阿里巴巴在這一前沿領(lǐng)域深入合作。

阿里巴巴首席技術(shù)官張建鋒表示，阿里巴巴希望通過在新零售、智聯(lián)網(wǎng)等領(lǐng)域積累的豐富應(yīng)用場景，結(jié)合清華大學(xué)在人機自然交互相關(guān)領(lǐng)域一流的科研能力，全面升級人機自然交互體驗。

人場互動：重構(gòu)人和世界的關(guān)系

根據(jù)國務(wù)院發(fā)布的《新一代人工智能發(fā)展規(guī)劃》，在新一代人工智能關(guān)鍵共性技術(shù)體系中，“人機交互能力”是研發(fā)部署的重點之一。伴隨人工智能走出實驗室，深入到新零售、家庭智聯(lián)網(wǎng)、自動駕駛等場景，“人機交互”成為人工智能場景落地的關(guān)鍵所在。

實驗室聯(lián)合負責(zé)人、阿里巴巴集團人機交互實驗室負責(zé)人傅利民表示：自然交互體驗實驗室將重點解決“人場互動”問題，場即“環(huán)境”，在新零售、家庭、車載等諸多場景都涉及到“人-機器- 環(huán)境”之間的互動。

聯(lián)合實驗室主任清華大學(xué)徐迎慶教授表示：實驗室將通過構(gòu)建情感認知與計算模型等讓機器感知和理解人的情感。另一方面，人與人之間的交流綜合了語音、聽力、嗅覺、觸覺等多種模態(tài)，多通道感知技術(shù)將為機器構(gòu)建“五感”，讓人與機器的交流更加自然。

阿里巴巴董事局主席馬云在去年烏鎮(zhèn)互聯(lián)網(wǎng)大會上曾表示，“過去30年，我們把人變成了機器，未來30年，我們將把機器變成人，但最終應(yīng)該讓機器更像機器、人更像人。”人機自然交互是機器主動適應(yīng)人的一步，將更好地構(gòu)建人和世界之間的關(guān)系。

十問十答看下一代人機交互

1. 這次清華大學(xué)與阿里巴巴會涉及到哪些方面的合作？

2018年4月3日, 清華大學(xué)與阿里巴巴，共同成立清華大學(xué)- 阿里巴巴自然交互體驗聯(lián)合實驗室，探索“下一代人機自然交互”的未來。雙方將以“人”為核心，探索“人-機器-環(huán)境”之間的關(guān)系，讓機器以更自然的方式與人類互動、服務(wù)人類。雙方將在情感認知計算、實體交互、多通道感知等領(lǐng)域開展研究，讓機器具備聽覺、視覺、觸覺等“五感”，并識別理解人類情感，以此推動新一輪人機交互變革。

2. 聯(lián)合實驗室的建設(shè)目標(biāo)

雙方在下一代人機自然交互領(lǐng)域展開深入合作，打破學(xué)科壁壘，開展計算機、工程、藝術(shù)、心理學(xué)等多層次、大跨度的交叉學(xué)科研究，通過數(shù)字和智能化，引領(lǐng)人機交互產(chǎn)生變革。

我們相信，人機自然交互的未來，機器將具備多通道感知能力、情感認知能力，也就是說有“五感”（視覺、聽覺、嗅覺、觸覺、味覺）、懂“感情”。這樣，人和機器的溝通，將會像人和人之間的交流那么自然。

我們希望雙方通過產(chǎn)學(xué)研實踐，充分結(jié)合清華大學(xué)的研發(fā)優(yōu)勢、跨學(xué)科人才優(yōu)勢和阿里巴巴的場景優(yōu)勢，一同去開墾這片處女地，探索人機交互的未來，并以此為依托，在不同產(chǎn)業(yè)推動一場交互的變革。

3. 阿里巴巴為何選擇與清華大學(xué)開展人機自然交互領(lǐng)域的合作？

阿里巴巴與清華大學(xué)有良好的合作基礎(chǔ)。在過去幾年，阿里巴巴已經(jīng)與清華大學(xué)在云計算、大數(shù)據(jù)、人工智能等眾多領(lǐng)域開展合作，在聯(lián)合承擔(dān)國家項目、發(fā)表高水平的論文、培養(yǎng)高尖端人才上都取得了卓有成效的成果。此次聯(lián)合實驗室是對合作領(lǐng)域和合作模式的拓寬，阿里巴巴的業(yè)務(wù)場景與清華的科研能力相結(jié)合，將帶來創(chuàng)新突破。

清華大學(xué)在人機自然交互領(lǐng)域擁有跨學(xué)科、人才等優(yōu)勢。清華大學(xué)在設(shè)計美學(xué)和人機交互領(lǐng)域的學(xué)術(shù)水平全球領(lǐng)先。人機交互是一門交叉學(xué)科，其覆蓋的學(xué)科范圍非常廣，因此要求研究者具有一系列交叉學(xué)科背景：比如能理解用戶感知、認知能力的心理學(xué)和認知科學(xué)人才；需要能提供技術(shù)支撐的計算機科學(xué)和工程學(xué)背景人才；同時需要美學(xué)設(shè)計出生的人才。清華擁有雄厚的跨學(xué)科人才儲備，包括但不限于計算機、心理學(xué)、機械工程、多媒體、音樂、電影等專業(yè)背景的師生資源。

此外，聯(lián)合實驗室依托清華美術(shù)學(xué)院，后者擁有國內(nèi)數(shù)一數(shù)二的設(shè)計團隊；共建單位未來實驗室是清華跨學(xué)科交叉的實體機構(gòu)，更是清華大學(xué)科研機制體制改革和探索交叉學(xué)科的典范。清華鼓勵跨學(xué)科建立研究機構(gòu)，聯(lián)合實驗室將來可以便利地與計算機、心理、工程、材料等其他學(xué)科開展合作。

4. 清華為什么選擇與阿里巴巴合作？優(yōu)勢體現(xiàn)在哪些方面？

科研需要有數(shù)據(jù)的來源，必須有數(shù)據(jù)處理的能力，同時需要有現(xiàn)實的系統(tǒng)場景，必須驗證場景閉環(huán)。阿里巴巴積累了新零售、智聯(lián)網(wǎng)、科技金融等眾多自然人機交互的科研場景。

阿里巴巴已經(jīng)建有自己的人機自然交互實驗室，清華大學(xué)-阿里巴巴自然交互體驗聯(lián)合實驗室是阿里巴巴與學(xué)術(shù)界在全球設(shè)立的首個人機交互聯(lián)合實驗室，聚焦在情感認知計算、實體交互、多感知通道認知與交互等前沿性、引領(lǐng)性、顛覆性技術(shù)領(lǐng)域開展研究。

5. 為什么要做下一代人機自然交互？

人機交互從命令行、圖形界面到觸屏界面，每次都帶來了革命性的變化，越來越人性化。

人機自然交互是指構(gòu)造一個更便捷、更符合人類自然感知（如觸覺、視覺、聽覺、味覺、嗅覺，乃至內(nèi)心和大腦活動）交流的智能人機交互系統(tǒng)。新一代人機交互技術(shù)，讓計算機不僅“會算”，而且 “能說會看懂情感”，各種交互設(shè)備因此變得更加智能 。這種人機交互的新革命，將會給新零售、IoT等場景帶來非常大的想象空間。

2017年的烏鎮(zhèn)大會上，馬云曾說過，“過去30年，我們把人變成了機器，未來30年，我們將把機器變成人，但是最終應(yīng)該讓機器更像機器、人更像人”。

相信未來，人不用去適應(yīng)機器，機器會主動適應(yīng)人，人和機器的交流就像人和人之間交流那么自然。

6. 為什么要更多從“人”的維度進行人機交互研究？具體怎么做？

“自然”是來源于經(jīng)驗和體驗的，比如同樣你把一個新設(shè)計的產(chǎn)品給兩個不同用戶，互聯(lián)網(wǎng)上長起來的一代會問“鼠標(biāo)在哪里”，而移動互聯(lián)網(wǎng)上長起來的一代會直接去觸摸屏幕。

自然人機交互作為一門交叉學(xué)科，在研究中從計算機科學(xué)、工程學(xué)角度提供技術(shù)支撐，也需要從心理學(xué)、認知科學(xué)、設(shè)計美學(xué)角度理解用戶感知、認知能力，因此，單從技術(shù)維度進行投入是不夠的，還要加大從人的維度的研究。

在目前人機交互的研究中，在語音識別、語義理解、圖像識別等領(lǐng)域取得了很多突破，但人的語音、語調(diào)、表情、動作背后的情感識別是人機交互的難點所在。

聯(lián)合實驗室將結(jié)合心理模型、情感模型等，讓機器能夠識別和理解人的“喜怒哀樂”與行為意圖。

人與人的交流綜合了視覺、聽覺、觸覺等多種模態(tài)，聯(lián)合實驗室將通過多通道感知技術(shù)幫智能設(shè)備構(gòu)建“五感”，更好地與人類交流。

7. 人機自然交互要解決的核心問題是什么？會放在哪些場景中？

清華-阿里巴巴自然交互體驗實驗室將重點解決“人-場”互動問題，其中“場”即“環(huán)境”，包含新零售、家庭、車載等諸多場景。未來機器將不再只是干巴巴地響應(yīng)命令，而能識別人的喜怒哀樂、上下文情景并進行情感反饋。

試想，當(dāng)你回到家里，智能音箱將根據(jù)你的情緒狀態(tài)，播放不同的音樂，或者調(diào)整語音語調(diào)；智能設(shè)備會根據(jù)你的身體狀況調(diào)整室內(nèi)溫度、通風(fēng)、采光。

我們通過人場互動，讓人與機器、與環(huán)境之間，實現(xiàn)更加和諧的互動。

8. 目前人機交互領(lǐng)域面臨的挑戰(zhàn)是什么？

（1）交互形式單一，主要是屏幕或TTS(從文本到語音)。主要的人機交互是命令式的，但人與人之間的交流可不是命令式的。計算機對人的識別雖取得了一定進展，但是對人的語音、語調(diào)、語氣、表情、行為（body language）里的情感識別、上下文識別（基于情感的上下文識別），以及如何把視覺、聽覺、觸覺、嗅覺等多種交互方式融合到人機交互中，還尚未突破。這是一項綜合系統(tǒng)工程，還有許多未知的“處女地”亟待更深遠的探索。

（2）需要跨學(xué)科的深入研究。人機交互是一門交叉學(xué)科，覆蓋的學(xué)科范圍非常廣，例如圖形、圖像、語音、觸覺、嗅覺、心理學(xué)、認知科學(xué)、人工智能等，橫跨眾多學(xué)科來定義和解決問題將是最大的挑戰(zhàn)。同時，任何學(xué)科取得進展都會促進人機交互研究發(fā)展，反之也會拖后腿。舉個行業(yè)的例子，在 IOT 和新零售背景下，圖形界面已經(jīng)不能滿足用戶的需求，對于很多沒有屏的場景，需要開發(fā)新的技術(shù)，更深地理解和使用視覺、聽覺、觸覺、嗅覺等感官做人機交互，而這樣的研究需要跨學(xué)科的深入合作。

9. 聯(lián)合實驗室未來將集中在哪些研究方向，時間表是什么？

（1）短期看來，會在以下方向上發(fā)力：

人場交互：“場”，即人所處的環(huán)境。在新零售、家庭、車載等諸多場景都涉及到“人- 機器- 環(huán)境”之間的互動。未來在這些場景中，機器將不再只是干巴巴地響應(yīng)命令，而是識別人的喜怒哀樂、上下文情景，并進行情感反饋：例如，當(dāng)你回到家里，智能設(shè)備會根據(jù)你的身體狀況調(diào)整室內(nèi)溫度、通風(fēng)、采光。

試想想，生活中無處不在的各種“死”的“場”，比如家、公司、商場等，它們都“活”了，變成了能和人類實時交互的界面。

情感認知計算

情感是人們交流和獲取信息的主要方式，有研究表明，人類交流中90%以上的信息都是非文字的信息。因此，情感計算是實現(xiàn)人性化的下一代人機交互過程中必不可少的部分，情感識別、理解、和表達技術(shù)也是人機交互的基礎(chǔ)性技術(shù)之一。

舉個例子：天貓精靈將根據(jù)你的情緒狀態(tài)，播放不同的音樂，或者調(diào)整語音語調(diào)。機器更懂人，才能更好的服務(wù)人類。

（2）長期來看，阿里巴巴希望在下一代人機交互領(lǐng)域開展什么研究

多通道人機自然交互

人在交流中，可以隨意在多種感官中切換，可以同時利用多個通道獲取和表達信息，并且用注意力來選擇和優(yōu)化通道資源。通過對人多通道交流的研究，可以指導(dǎo)和實現(xiàn)和計算機和人之間的多通道交互。

觸覺，嗅覺的數(shù)字化

人的視覺數(shù)字化帶來了整個行業(yè)的質(zhì)變，也是目前圖形用戶界面的發(fā)展基礎(chǔ)，我們希望觸覺和嗅覺的數(shù)字化會帶來另一次變革。從電子購物上，可以解決用戶摸不到，聞不到兩點痛點。

另外，我們今年在加拿大舉行的 CHI 2018 國際會議上，也做了一個人機自然交互的興趣小組，除了阿里，和清華，也請了斯坦福的 James Landy 教授，密西根大學(xué)的 Michael Nebeling 教授一同參與，在行業(yè)里共同探討下一代人機自然交互的發(fā)展方向。

10.未來實驗室的研究成果會應(yīng)用在哪些現(xiàn)實場景當(dāng)中？

人機交互從命令行機器語言，圖形界面，觸屏界面，每次都帶來了革命性的變化，越來越人性化。現(xiàn)在，人工智能等技術(shù)開始進入線下場景，人 - 機器- 環(huán)境之間的互動越來越重要，在新零售、IoT、車載場景、家居場景上都會帶來革命，無論是用戶體驗、還是產(chǎn)業(yè)化空間上，都帶來非常大的機會。

比如：家庭場景中，機器人與你對話，也不再是干巴巴的語調(diào)，而是可以基于你的情緒、上下文，來富有感情的回答；車載場景中，人對視覺警告的反應(yīng)速度是1.25秒左右，而對觸覺的反應(yīng)速度只有0.25秒，那引入觸覺交互（例如方向盤震動），在關(guān)鍵時刻，就可能會節(jié)省你1秒鐘的時間，這一秒鐘甚至可能會挽救生命。