2019年CES展會上，智能駕艙、車載人機交互系統、沉浸式體驗成為大家集中的關注焦點。

今年一個明顯趨勢是各大汽車OEM廠商都在推動手勢識別HMI的商用落地，包括實現對天窗、車窗、智能座椅、空調的調節控制、以及車載娛樂多媒體系統的選擇、播放等操作。

從當前趨勢當中可以看出傳統按鍵的交互方式，已經轉變為觸控、語音、手勢識別等多模態融合的人機交互模式。

手勢識別的興起，背后還是來自于市場需求，一方面是座艙顯示的快速普及，一個是用戶體驗成為大家關注的重點。

“車內顯示已經從主儀表盤、單一中控，延伸到多屏主控、后排頭枕等座艙娛樂形態。車內車外多形態的顯示需求必然會催生未來多模態人機交互的需求。”1月16日，在2018高工智能汽車年會上，未動科技副總裁劉風表示。

剛剛結束的2019CES上，汽車主機廠展示重點紛紛偏向電子座艙、智能座艙、概念座艙，部分知名主機廠的智能駕艙就采用了未動科技提供的手勢識別人機交互解決方案。從本屆CES展會可以看出，多模態的人機交互和駕駛員監測已顯示出銳不可擋的發展勢頭。

一、多模態人機交互的融合

從駕乘體驗來看，車已經不單是一個代步工具，而是一個作為人機交互、滿足娛樂需求、辦公需求的個性化移動空間。如果要實現以上目標，無論按鍵還是觸屏等單一交互模式都已經不能滿足人機交互系統多樣化的需求。

未來如果要想做到多模態的融合，其設計原則和實現途徑有哪些？

當前多模態人機交互設計的原則，一個是首先要保證智能駕艙的安全；第二，人機交互要舒適和便捷，要符合人體自然的使用習慣和感知需求。

目前的車內人機交互途徑基本上分為接觸式和非接觸式的，非接觸式的就是語音和手勢，以及不久即將實現的眼動識別和情緒識別等。所以多模態智能人機交互會成為未來人機交互的主流，并且逐步實現大規模商用。

二、多模態人機交互的優勢

相比單一的人機交互模式而言，到底智能的多模態人機交互的優勢體現在哪里？

未動科技給出了一個多模態命令頻率的統計數據，從數據中可以看出，多模態交互的優勢體現在空間上可以更快、效率更高、交互識別準確率更高，而且對于關鍵的任務完成率更高。

劉風舉了一個多模態人機交互的案例，比如語音輸入“我想看看路左邊廣場的背面大廈的照片”，需要一個描述準確的完整語句才能完成；而如果采用多模態的交互方式，只需要用手指向交互對象或者通過眼動追蹤再疊加語音即可更加準確地實現上述交互目的，由此可以看出通過視覺方式可以有更好的指向性，如人們口頭上經常說的“那、這”等代詞在語義上容易產生多義性，使用手勢就不會產生此類問題，但是通過語音有時候可以更準確的描述對象。

從上面的事例可以看出，單一的交互模式有時候在交互過程當中會有一定的局限性，并且交互效率較低，而采用多模態融合交互模式就不會出現如上問題。

三、多模態交互的應用場景

那么，多模態交互的典型應用場景是什么？

從多模態交互的優勢可以看出，其典型應用場景就是單一交互模態受限或者效率較低的場景，下面以HUD和后排乘客娛樂系統舉例進行說明。

一個是普通的抬頭顯示，從主控屏上可以通過手勢分享相應的內容到抬顯屏幕上；地圖導航疊加眼動跟蹤，可以讓駕駛員體驗到更加逼真的導航服務；而使用語音可以疊加相關具體的內容，比如說我想選取某一個指標和信息，投到抬顯屏幕上去，通過語音就可以做到很好的交互。

多模態交互的另一個典型場景是后排娛樂系統，一個是通過手勢像做游戲方面的交互，還有通過VR為后排的駕乘人員提供更好的沉浸式的娛樂體驗。

此外，未動科技憑借創新的技術實力，也獲得了2018高工智能汽車金球獎評選“年度國產DMS供應商”及“年度智能網聯創新技術”兩項大獎。

四、多模態人機交互是未來趨勢

從智能駕駛的汽車，未來過度到智能情感交互的智能汽車。如果傳統汽車只是代步工具的話，未來的汽車是真正實現人機互動、情感交互的移動載體。

在這個基礎上，未來的感知系統會為人機交互，包括情感交互提供一個切實可行的途徑和手段。劉風表示，多模態融合是必然的發展趨勢，未來的人機交互系統會更加智能化、理解用戶的交互意圖。

通過眼動跟蹤和情緒識別，人機交互系統可提前感知用戶的交互意圖，疊加語音識別等交互模式，最終可以為用戶提供一個高效、便捷、舒適的人機交互系統。

還有一種情況，更深層次的判斷當前駕乘者的情緒和個人狀態是什么樣的，如果是處于極度憤怒和悲傷的狀態，也不適合做車輛的接管，這個層次是更高層次的交互需求。

未來的車肯定會發展到這個階段，當前主要是停留在姿態識別。從駕乘者的姿態方面判斷他是否有接管車輛的能力，未來把情緒的能力結合在一起，才能真正做到人車智能化、便捷、合理化的交互。

此外，自動駕駛有一個重要的環節，在緊急的情況下判斷人是否有接管車輛的能力，這就需要監測一個人的身體姿態信息，為自動駕駛鋪平道理。

DMS駕駛員行為監測，被認為是未來幾年汽車智能化的主要基礎功能之一，同時也是L3級自動駕駛的標配，用于隨時監控司機是否將注意力放在道路上，保障行駛更安全。

劉風表示，隨著時間的推移和技術不斷成熟，DMS將成為汽車的必配模塊，未動科技也將進一步加強與智能汽車合作伙伴的業務合作，實現對座艙全方位的前、后座的監測（比如遺忘的兒童和寵物等監測）。

此外，隨著今年未動科技DMS方案更多在乘用車、商用車等不同領域的應用，將實現對駕駛員的身份識別、駕駛員疲勞監測以及危險駕駛行為的監測功能，極大降低交通事故率。