三菱電機宣布，該公司開發(fā)了它認為是世界上第一項能夠與人類進行高度自然和直觀的交互的技術(shù)，其基礎是將多模態(tài)傳感信息轉(zhuǎn)換為自然語言的場景感知能力。

這種新穎的技術(shù)，場景感知互動，融合了三菱電機的專利 Maisart。緊湊的人工智能技術(shù)，通過自然語言的生成，分析多模態(tài)感知信息，以實現(xiàn)與人類高度自然和直觀的交互。

這次，作為適用于本技術(shù)的應用程序之一，構(gòu)筑了人與車載機器用自然語言進行對話的路徑向?qū)到y(tǒng)。

圖源：三菱電機

通過世界上第一個獨特的 End-to-End 深層學習，實現(xiàn)人與設備的順利溝通，端到端深度學習，只需輸入和輸出樣本即可學習，采用攝像機拍攝的圖像信息、麥克風采集的音響信息、騎手或雷達取得的位置信息等多模態(tài)傳感信息，機器了解周圍發(fā)生的狀況。

在多模態(tài)傳感信息中自動加權(quán)重要性高的信息，使用自己的多模態(tài)保持法，對機器理解的內(nèi)容使用自然的語言進行詳細表現(xiàn)的學習模型建立起來。

通過從設備理解的情況和人的話語歷史中生成自然詞語，實現(xiàn)了人與設備之間的順利溝通。與傳統(tǒng)的僅有視覺信息的方法相比，CIDEr 評價改善 29%。

場景感知的汽車導航交互，一個目標應用程序，將為司機提供直觀的路線指導 。 例如，該系統(tǒng)不要求司機“在 50 米內(nèi)右轉(zhuǎn)”，而是提供場景感知指導，例如“在郵箱前右轉(zhuǎn)”或“跟隨灰色汽車向右轉(zhuǎn)”。此外，當預測附近的物體與汽車的路徑相交時，該系統(tǒng)將產(chǎn)生語音警告，例如“行人正在過馬路”。為了實現(xiàn)這一功能，系統(tǒng)對場景進行分析，識別場景的可分辨、直觀的地標和動態(tài)元素，然后利用這些識別的對象和事件生成直觀的句子作為指導。

圖源：三菱電機

該技術(shù)利用深層神經(jīng)網(wǎng)絡在物體識別、視頻描述、自然語言生成和口語對話技術(shù)等方面的最新進展，使機器能夠更好地理解周圍環(huán)境，更自然、更直觀地與人類互動。場景感知的交互技術(shù)有望具有廣泛的適用性，包括用于車載信息娛樂的人機接口、在建筑和工廠自動化系統(tǒng)中與機器人的交互、監(jiān)視人的健康和福祉的系統(tǒng)、解釋人類復雜場景并鼓勵社會距離的監(jiān)視系統(tǒng)、支持公共場所設備的非接觸式操作等。