谷歌I/O 2018正如火如荼地進行著。今年大會吸引了超過6000人前來現場，除了提前幾小時就排好的長隊，會場外的交通也早早陷入癱瘓。據不少勤奮早起的自媒體同行的凌晨報道，谷歌I/O 2018的亮點主要有以下幾個：

深度學習在醫療領域的應用；

Google Assistant：看得見、聽得到、會對話、會打電話的新一代谷歌個人助理；

TPU 3.0：性能是TPU 2.0的8倍；

Android P：智能化的手機操作系統，能利用機器學習節電、調節亮度，更大程度貼合用戶使用習慣。

其中，Google Assistant電話功能背后的技術是Google Duplex，在大會上發布完畢后，Google AI（原Google Research官博）就發表了Google工程副總裁兼首席工程師Yaniv Leviathan的一篇介紹文章。

Gmail已成“精”

以下是論智對博客的編譯。

人類與計算機互動的一個長期目標是使人們能與計算機自然對話，就像普通人之間的對話一樣。近年來，特別是隨著深度神經網絡的廣泛應用，我們目睹了計算機在理解、生成自然語言上的“革命性”能力提升。但盡管如此，即便是當今最先進的AI系統，它還是不能很好地理解自然語言。舉個例子，如今自動電話客服系統所使用的技術還停留在努力識別簡單的單詞和命令上，它們不參與對話流程，如果聽不懂客戶說話內容，它們會強制要求對方調整表述，而不是進行自我調整。

所以今天，谷歌宣布推出Google Duplex，一種能在電話中用自然語言完成“現實世界”任務的技術。它目前已經能完成一些特定任務，如安排某些類型的預約。這類工作要求系統能做到自然對話，就像人與人正常溝通一樣，而無需強制對方適應機器。

Google Duplex的適用空間非常狹窄，這也使它能起作用的一大原因。研究人員提出的一個關鍵思路就是把它限制在一些狹窄的封閉域中，讓AI進行有限地廣泛探索。當Duplex深度某領域后，它才能學會自然對話，也就是說，它不能進行一般對話。

聽起來都很自然，它們都是發生在計算機和真人店家之間的對話。

Google Duplex技術的自然性可以讓人們的對話體驗更加舒適。考慮到谷歌向來很重視用戶和企業對服務的良好體驗，因此產品的透明度非常關鍵。這也是本文反復強調Google Duplex目前只適用于部分預約場景的原因。

進行自然對話

AI在自然對話方面有幾個難點：一是自然語言難以理解，二是難以模仿自然行為，三是用戶期待更快的回應，四則是用合適的語調生成自然的聲音很困難。

當人們彼此交談時，他們說出的話比人和計算機的對話要復雜得多。他們會經常在話說到一半的時候糾正表述，而且往往表達得啰嗦、語法不嚴謹、嚴重依賴上下文。他們還喜歡用寬泛的表述，有時在一個句子里就能連用一大串：

所以……額……星期二到星期四，我們的開門時間是11點到14點，然后16點到19點。然后星期五、星期六、星期天，我們……星期五和星期六我們11點到21點開門，星期天我們13點到21點開門。

比起機器，人類在用自然語言對話時語速非常快，再加上口齒不清、錯詞率更高，因此常規的語音識別也會識別困難。在電話通話中，由于背景噪聲大，音質不佳，這樣的問題就更嚴重了。

而在較長的談話中，相同的句子可以根據上下文具有非常不同的含義。例如在預約場景下，“Ok for 4”可以同時表示時間（4點）和人數（4人）。如果AI要理解這一點，它必須上溯幾個句子找根據，但這一過程會因為電話通話高水平的字錯誤率而變得相當復雜。

決定要說什么是一個關于對話任務和對話狀態的函數。此外，圍繞自然對話，Google Duplex也參考了一些常見的做法——其中包括闡述（elaboration，“下周五。”“啥時候？”“下個禮拜五，18號！”）、同步（sync，“你聽得清嗎？”）、中斷（interruption，“號碼是212……”“你能再說一遍嗎？”）、暫停（pause，“你能等一會兒嗎？”[等待]“謝謝！”——等待1秒和等待2分鐘含義不同）。

認識Duplex

Google Duplex在對話上的自然表現主要歸功于這4方面的進步：理解、交互、時機和交流。

它的核心是一個專用于解決自然對話問題的遞歸神經網絡（RNN），在TensorFlow Extended (TFX)平臺上完成構建，使用的訓練數據來自匿名電話會話數據語料庫。該網絡有多個輸入，包括原音頻特征、把原音頻輸入Google自動語音識別（ASR）技術后的輸出、上下文、對話的參數（例如預約的所需服務或當前時間）等，研究人員為每種任務分別訓練了一些模型，但語料庫是跨任務共享的。最后，他們又用TFX中的超參數優化進一步改進了模型。

原音頻經ASR系統處理后輸入網絡，網絡最終的輸出經TTS系統轉為音頻

Duplex處理“中斷”、“闡述”以及對“同步”的回應：

聽起來很自然

Google Duplex組合使用文本到語音（TTS）引擎和綜合TTS引擎（使用Tacotron和WaveNet）控制語調。

由于在對話中加入了“嗯”“呃”等詞匯，系統的回應聽起來更自然。但這其實是TTS連接兩個音調不同的聲音或正在等待合成時使用的小障眼法，是一種自然的表示問題正在受理中的狀態（人們也經常這么做）。經過用戶研究，研究人員發現這種反應能在不利的對話情景下給對方帶來熟悉、自然的感覺。

此外，Google Duplex在回應速度方面也比較符合用戶期望。當人們說完一件簡單的事后，比如“hello？”，他們希望得到及時的回復，對回復延遲也比較敏感。如果系統檢測到這種情況，它會馬上切換成更快、精度更低的模型來工作。在極端情況下，Google Duplex甚至都不會調用RNN，而至直接使用最快的近似值（通常會帶各種表示猶豫的詞匯，人類面對這種事情也會有類似的反應）。這種做法使系統的響應延遲能小于100毫秒。

有趣的是，研究人員發現，這種表達上的拖延有利于使對話更自然——例如在回復一個非常復雜的句子時，這種“呃呃啊啊”的做法有奇效。

系統操作

Google Duplex系統能夠應對復雜對話，并且能完全自主地完成絕大部分任務，無需人工干預。該系統具有自我監控功能，可以識別無法自動完成的任務（例如，安排異常復雜的預約）。面對這種情況時，它會主動向施令者發出信號。

為了在新領域訓練系統，研究人員使用的是實時監督訓練。和其他訓練任務一樣，在這些實驗中，Google Duplex也會有一個充當“教師”的經驗豐富的模型為充當“學生”的模型提供指導，確保后者執行任務的的水平最終能和自己一致。通過監督“學生”在新場景通話中的表現，“教師”能根據需要實時影響“學生”的行為，直到它的行為滿足系統預期。

對于企業和用戶

經常需要預約的企業可以從Google Duplex身上獲益，有了這樣一個智能助理，企業就無需額外安排指導人員，也不用為培訓員工煞費苦心。Google Duplex還能提醒即將到期的預約項目，方便他們參加、取消或重新安排。

此外，一些用戶會經常致電企業查詢網上無法獲得的信息（假期營業時間）。Google Duplex可以幫助企業應付這些同類電話，并在網上及時更新信息。

對于個人用戶，Google Duplex可以讓生活更方便。如果想打預約電話，他們只需給智能助理下指令就能安心處理其他事情，通話過程在后臺進行，安靜無聲，無需參與。

它的另一個好處是Duplex能夠以異步方式與服務提供商進行授權通信，例如，在非工作時間和對方聯絡。它還可以幫助解決殘障人士的不便和語言障礙問題，例如聽力障礙的用戶或不會說當地語言的用戶可以把通話任務交給Duplex，讓它幫忙執行任務。

今年夏季，谷歌將在Google Assistant中測試Google Duplex，屆時它的功能包括預約餐廳、預約美發和跟老板請假。

Google Duplex負責人Yaniv Leviathan和該項目的工程經理Matan Kalman通過Duplex打電話預訂了一頓飯

讓人們和技術能自然而然地互動，這是谷歌長久以來的承諾，而Google Duplex向這個方向邁出了第一步。