隨著 4G、5G通信技術發展，網絡通話越來越盛行。但是網絡不穩定是常態，所以通話中我們時不時可能會蹦出一句，“你能再重復一遍嗎，剛剛網絡不太好。”為了提高通話質量，谷歌近期在視頻聊天應用 Duo 中應用了一種新技術 WaveNetEQ ，在出現音頻丟包情況時，該技術會判斷丟失的音頻數據可能是什么，并替換掉它。

背后的技術支持來自谷歌聲名在外的 DeepMind 團隊。

一個完整的在線呼叫，數據經常會被分成多個小塊，每小塊就是一個數據包 packet 。然而，在這些“數據包”從發送方傳輸到接收方的過程中，數據包通常會以錯誤的順序到達，從而產生抖動相關問題，或者直接丟失，造成音頻空白。

谷歌給出一份資料顯示， Duo 99% 的通話都有數據包丟失、過度抖動或網絡延遲情況。20% 的通話丟失了超過 3% 的音頻，10% 的通話丟包率超過 8% ，也就是說每次通話都有很多音頻需要替換。

每個視音頻 app 都會用某種方式處理丟包。谷歌表示，這些數據包丟失隱藏 （PLC） 過程可能很難更好地填補 60 毫秒或更長時間的空白。過去常用算法是 NetEQ ，這是 webRTC 中音頻技術方面的兩大核心技術之一（另一核心技術是音頻的前后處理，包括AEC、ANS、AGC等）。webRTC 是谷歌收購 GIPS 再開源的，是目前影響力極大的實時音視頻通信解決方案，但用它處理丟包，大多情況下聽起來像機器人或機械重復。

谷歌就用了大量的語音數據，訓練出了基于 DeepMind WaveRNN 技術的 WaveNetEQ 模型。訓練數據集來自 100 多名、48 種不同語言的志愿者，也就是說它可以自動填補 48 種語言的丟包情況。

WaveNetEQ 是一種用于語音合成的遞歸神經網絡模型，由兩部分組成，即自回歸網絡（autoregressive network）和條件網絡（conditioning network）。自回歸網絡的作用是保持信號的平穩流動，而條件網絡控制和影響自回歸網絡以保持音頻一致性。

谷歌用 WaveNetEQ 取代了原來的 NetEQ PLC 組件，相對于 NetEQ ，它在聲音質感方面無疑有提升，而且 WaveNetEQ 模型跑得足夠快，可以在手機上運行，如此也可以規避用戶可能擔心的數據隱私問題。谷歌稱所有的處理都是在設備上進行，因為 Duo 的通話默認情況下就是端到端加密。一旦通話的真實音頻恢復，將無縫地切換到現實對話。

不過，WaveNetEQ 替換的內容和時長有限制。目前是支持在 120 毫秒以內的空白，之后會逐漸消失并歸零；WaveNetEQ 不是生成完整的單詞，而是簡單的音節。

目前 WaveNetEQ 已經應用到 Pixel 4 手機上的 Duo APP 中，谷歌表示，它正在將其推廣到其他安卓手機上。

當然用機器學習處理音頻丟包并不是頭一遭，許多公司都在研究相關技術，以國內公司為例，有些是自身業務本就涉及視音頻，比如騰訊；有些是音視頻云服務商，比如阿里，還有一些是專門的音視頻第三方服務商如聲網等。
責任編輯：wv