語(yǔ)音控制技術(shù)讓家中的每一件電器都能說(shuō)話(huà)和傾聽(tīng)

這是一個(gè)場(chǎng)景：你下班或放學(xué)回家，你告訴電視你想看什么節(jié)目，它會(huì)自動(dòng)打開(kāi)并切換到你喜歡的頻道?；蛘撸苍S您告訴爐子準(zhǔn)備低火和慢火烹飪，以便晚餐在合適的時(shí)間以合適的溫度烹飪。今天，家用電器能夠執(zhí)行這些功能。通過(guò)語(yǔ)音控制，在工作或?qū)W習(xí)了一天的勞累之后，你可以躺在沙發(fā)上放松一下，并向這些乖乖聽(tīng)從你指揮的電器發(fā)出指令。

復(fù)雜的架構(gòu)和廣泛的連接是物聯(lián)網(wǎng)的標(biāo)志。越來(lái)越多的公司選擇云托管物聯(lián)網(wǎng)系統(tǒng)，因?yàn)樵萍軜?gòu)安全、快速、方便。通過(guò)使用多層加密和身份驗(yàn)證，系統(tǒng)變得更加安全。一鍵完成自然語(yǔ)言處理等基于AI的模型訓(xùn)練和部署。物聯(lián)網(wǎng)云通常包括嵌入家用電器中的傳感器，通過(guò) Wi-Fi 連接到互聯(lián)網(wǎng)。用于接收數(shù)據(jù)并將其傳輸?shù)皆茢?shù)據(jù)庫(kù)中，以便在云環(huán)境中進(jìn)行分析和處理。本文以云架構(gòu)為框架，講解語(yǔ)音控制技術(shù)如何讓家電服從口頭指令并做出響應(yīng)。

家電中的語(yǔ)音控制技術(shù)

隨著人工智能和物聯(lián)網(wǎng)的不斷發(fā)展，人機(jī)交互(HMI)已經(jīng)出現(xiàn)了更高端的體驗(yàn)。語(yǔ)音控制技術(shù)是當(dāng)今應(yīng)用最為廣泛和熱門(mén)的研究課題之一。語(yǔ)音控制在家用電器中的應(yīng)用，消除了對(duì)熟悉的遙控器的需要，并使電器僅使用口頭命令即可運(yùn)行，這對(duì)大多數(shù)人來(lái)說(shuō)是新的。人工智能、機(jī)器學(xué)習(xí)、語(yǔ)音識(shí)別、物聯(lián)網(wǎng)和云計(jì)算使語(yǔ)音控制的家用電器成為可能。

Azure 云語(yǔ)音控制和語(yǔ)音識(shí)別技術(shù)

語(yǔ)音控制系統(tǒng)包括：

語(yǔ)音識(shí)別

自然語(yǔ)言理解

對(duì)話(huà)管理

自然語(yǔ)言生成

語(yǔ)音合成

語(yǔ)音識(shí)別是指信息從語(yǔ)音到文本的轉(zhuǎn)換。Azure平臺(tái)的TTS(text-to-speech)是使用微軟現(xiàn)有數(shù)據(jù)訓(xùn)練的通用語(yǔ)言模型，部署在云端。該模型可用于創(chuàng)建和訓(xùn)練自定義語(yǔ)言模型。它可以選擇一個(gè)特定的詞典，并根據(jù)需要將其添加到訓(xùn)練數(shù)據(jù)中。

自然語(yǔ)言分析/自然語(yǔ)言處理是機(jī)器學(xué)習(xí)的一部分，設(shè)計(jì)模型并進(jìn)行訓(xùn)練。

對(duì)話(huà)管理的任務(wù)包括三個(gè)要點(diǎn)：

用戶(hù)意圖預(yù)測(cè)

根據(jù)對(duì)話(huà)內(nèi)容進(jìn)行分析，機(jī)器學(xué)習(xí)模型預(yù)測(cè)并確認(rèn)下一步要做什么。

提供與后端/任務(wù)模型

交互的接口作為應(yīng)用接口，實(shí)現(xiàn)與服務(wù)器或模型的請(qǐng)求交互，獲取反饋結(jié)果，生成文本結(jié)果。

為語(yǔ)義分析的結(jié)果提供期望值。

它根據(jù)用戶(hù)的問(wèn)題通過(guò)語(yǔ)義解析來(lái)響應(yīng)以滿(mǎn)足用戶(hù)的期望。

響應(yīng)文本是根據(jù)模型對(duì)用戶(hù)命令的分析生成的。語(yǔ)音合成技術(shù)的主要作用是將文本轉(zhuǎn)化為人性化的語(yǔ)音?；镜?Azure 云語(yǔ)音合成使用語(yǔ)音 SDK 或 REST 應(yīng)用程序編程接口 (API) 協(xié)議(請(qǐng)參閱下面的詳細(xì)信息)來(lái)實(shí)現(xiàn)具有神經(jīng)或自定義語(yǔ)音的文本到語(yǔ)音。

在家用電器中，對(duì)話(huà)模型的情感要求較低，因?yàn)榇蠖鄶?shù)用戶(hù)命令只是功能性請(qǐng)求，例如打開(kāi)設(shè)備和請(qǐng)求溫度或濕度。

云語(yǔ)音控制技術(shù)基本解決方案步驟

云語(yǔ)音控制技術(shù)的基本解決方案包括：

對(duì)話(huà)模式：對(duì)話(huà)模式是人機(jī)語(yǔ)言交互的中心樞紐;所有其他模式都源于此。只要用戶(hù)發(fā)出命令，系統(tǒng)就會(huì)切換到對(duì)話(huà)模式。Azure 使用 UWP 應(yīng)用程序平臺(tái)開(kāi)發(fā)了一個(gè)接口，用于監(jiān)控是否成功接收到人聲觸發(fā)(例如對(duì)平臺(tái)說(shuō)：“嗨，云!”)。

聽(tīng)寫(xiě)模式：用戶(hù)說(shuō)出較長(zhǎng)的短語(yǔ)或句子，等待語(yǔ)音識(shí)別結(jié)果。在說(shuō)出初始觸發(fā)器“'嗨，云!”之后，用戶(hù)可以向機(jī)器發(fā)出實(shí)際命令。語(yǔ)音內(nèi)容傳輸?shù)秸Z(yǔ)義分析系統(tǒng) (Azure LUIS)，實(shí)時(shí)語(yǔ)音轉(zhuǎn)文本服務(wù)初始化通用語(yǔ)言模型。通過(guò)REST API/語(yǔ)音軟件開(kāi)發(fā)包(SDK)完成操作。

交互模式：當(dāng)用戶(hù)發(fā)出簡(jiǎn)短請(qǐng)求并希望應(yīng)用程序做出響應(yīng)時(shí)，使用交互模式，由于應(yīng)用程序中嵌入了語(yǔ)音識(shí)別和文本到語(yǔ)音轉(zhuǎn)換功能，該過(guò)程才有效。在本文的示例中，部署在 Azure 云中的語(yǔ)音控制系統(tǒng)的交互模式使用用戶(hù)交互通用 Windows 平臺(tái) (UWB) 應(yīng)用程序發(fā)揮作用。UWP上提供了一個(gè)簡(jiǎn)單的接口供用戶(hù)操作，或者供開(kāi)發(fā)者測(cè)試使用。

通用 Windows 平臺(tái) (UWP)

借助通用 Windows 平臺(tái)，相同的 API 可以普遍應(yīng)用于計(jì)算機(jī)、智能手機(jī)或其他 Windows 10 設(shè)備。換句話(huà)說(shuō)，相同的代碼可以在不同的終端上運(yùn)行，而無(wú)需為不同的平臺(tái)編寫(xiě)不同版本的代碼。

認(rèn)知服務(wù)語(yǔ)音識(shí)別 SDK 和 REST API

語(yǔ)音 SDK 軟件允許制造商通過(guò)對(duì)汽車(chē)免提應(yīng)用(例如駕駛艙設(shè)備中的語(yǔ)音識(shí)別)使用語(yǔ)音頻帶音頻處理來(lái)提高免提應(yīng)用中的語(yǔ)音質(zhì)量。

官方文檔指出：“作為語(yǔ)音 SDK 的替代方法，語(yǔ)音服務(wù)允許使用 REST API 將語(yǔ)音轉(zhuǎn)換為文本。每個(gè)可訪問(wèn)的端點(diǎn)都連接到特定區(qū)域。應(yīng)用程序需要使用的端點(diǎn)的訂閱密鑰. REST API 非常有限，因?yàn)樗鼈冎荒茉谡Z(yǔ)音 SDK 不可用的情況下使用?！?/p>

以語(yǔ)音識(shí)別為例：在向服務(wù)器發(fā)送 HTTP 請(qǐng)求之前，必須獲取 REST API 的密鑰。認(rèn)證通過(guò)后，服務(wù)器將轉(zhuǎn)換后的音頻返回本地。此圖是在應(yīng)用程序中創(chuàng)建和使用 REST 客戶(hù)端然后調(diào)用它的示例(圖 1)。調(diào)用 REST 客戶(hù)端時(shí)，輸入會(huì)轉(zhuǎn)換為 HTTP 請(qǐng)求并發(fā)送到 REST API。來(lái)自通信端點(diǎn)的響應(yīng)是 HTTP 響應(yīng)。REST 客戶(hù)端將其轉(zhuǎn)換為應(yīng)用程序可以識(shí)別的類(lèi)型并將其返回給應(yīng)用程序。

圖 1：在應(yīng)用程序中創(chuàng)建和使用 REST 客戶(hù)端。(來(lái)源：gunnarpeipman.com)

我們選擇不公開(kāi)披露我們應(yīng)用程序的 REST 客戶(hù)端的詳細(xì)信息，因此可以添加一個(gè)用于與外部服務(wù)器通信的適配器。適配器從應(yīng)用程序接收已知類(lèi)型的參數(shù)，適配器將相同的數(shù)據(jù)返回給外部服務(wù)器。

語(yǔ)言理解智能服務(wù)(LUIS)

Azure 的 LUIS 是一種基于云的對(duì)話(huà) AI 服務(wù)，可以讓機(jī)器理解人類(lèi)語(yǔ)言。操作模式可以概括如下：客戶(hù)端通過(guò)應(yīng)用程序直接向 LUIS 發(fā)送語(yǔ)音請(qǐng)求。LUIS 中的自然語(yǔ)言處理功能將命令轉(zhuǎn)換為 JSON 格式。分析后，答案也以JSON格式返回。LUIS平臺(tái)為用戶(hù)提供訓(xùn)練模型服務(wù)。該模型具有“持續(xù)學(xué)習(xí)”功能，可以響應(yīng)客戶(hù)的要求，通過(guò)持續(xù)自動(dòng)修正來(lái)提高準(zhǔn)確性。

現(xiàn)在，讓我們以住宅濕度監(jiān)控系統(tǒng)為例了解 LUIS 的工作原理。如果您希望用戶(hù)發(fā)出“檢查濕度”命令怎么辦?LUIS 包含自然語(yǔ)言處理的基本組件：

目的(動(dòng)詞)：在這里，“檢查”是動(dòng)詞。LUIS 模型最多接受 80 個(gè)客觀詞。

完整的語(yǔ)言?xún)?nèi)容：這是用戶(hù)給出的完整命令。LUIS 模型最多接受 500 個(gè)單詞的語(yǔ)音請(qǐng)求。

實(shí)體(名詞)：在這里，“濕度”是名詞。LUIS 模型最多可以接受 30 個(gè)實(shí)體名詞。

用戶(hù)可以根據(jù)自己的需要自定義 LUIS 特征，這意味著當(dāng)你的模型不能輕易識(shí)別一個(gè)或幾個(gè)單詞時(shí)，它可以自動(dòng)添加新數(shù)據(jù)進(jìn)行再訓(xùn)練。

在 Windows 10 IoT Core 上運(yùn)行 Raspberry Pi 3

Raspberry Pi 是一塊可以連接不同類(lèi)型傳感器的開(kāi)發(fā)板。Raspberry Pi 可以與 Web 服務(wù)器一起使用。這樣的服務(wù)器接收不同的解釋命令并發(fā)送電信號(hào)來(lái)控制安裝在智能家居中的家電。

語(yǔ)音控制技術(shù)如何應(yīng)用于家電

語(yǔ)音控制讓家居環(huán)境更加智能，帶來(lái)家電自動(dòng)化(圖2)。我們可以這樣定義它：通過(guò)使用提供與健康、多媒體、娛樂(lè)和能源領(lǐng)域相關(guān)的不同服務(wù)的技術(shù)來(lái)改善房主的生活質(zhì)量。

圖 2：語(yǔ)音控制技術(shù)識(shí)別音頻命令以操作連接的家用電器。(來(lái)源：Andrey Suslov/Shutterstock.com)

示例應(yīng)用程序：具有云服務(wù)的智能濕度監(jiān)測(cè)器

下面我們以云架構(gòu)為例，看看家電語(yǔ)音控制技術(shù)如何與智能聲控濕度監(jiān)測(cè)器協(xié)同工作。

核心技術(shù)

在 Raspberry Pi 3 上運(yùn)行通用 Windows 平臺(tái) (UWP) 時(shí)，語(yǔ)音識(shí)別 API 和傳感器會(huì)與用戶(hù)交互。在 LUIS 中進(jìn)行語(yǔ)義分析，Raspberry Pi 3 輸入用戶(hù)的問(wèn)題。答案最終來(lái)自認(rèn)知服務(wù)的語(yǔ)音識(shí)別API。

建筑學(xué)

云計(jì)算已成為數(shù)據(jù)架構(gòu)的首選，以確保數(shù)據(jù)傳輸安全、數(shù)據(jù)處理快速、模型預(yù)測(cè)準(zhǔn)確。云部署還可以顯著減少設(shè)備操作，提升設(shè)備性能，同時(shí)提升用戶(hù)體驗(yàn)，實(shí)現(xiàn)雙贏。這里選擇的云架構(gòu)是最近在人工智能和物聯(lián)網(wǎng)領(lǐng)域引起重大發(fā)展和創(chuàng)新的微軟 Azure 云平臺(tái)。

職能

數(shù)據(jù)存儲(chǔ)：通過(guò)傳感器收集的數(shù)據(jù)存儲(chǔ)在云端。

語(yǔ)音轉(zhuǎn)文本和文本轉(zhuǎn)語(yǔ)音 API 用于識(shí)別用戶(hù)的問(wèn)題并使用語(yǔ)音進(jìn)行回答。

LUIS 語(yǔ)音識(shí)別和語(yǔ)義分析可以使用先前訓(xùn)練的模型預(yù)測(cè)對(duì)用戶(hù)命令的正確響應(yīng)。

家電可以通過(guò)Raspberry Pi 3的語(yǔ)音輸入和認(rèn)知服務(wù)的語(yǔ)音識(shí)別來(lái)回答用戶(hù)的問(wèn)題。

解決方案

有關(guān)創(chuàng)建此類(lèi)解決方案的示例，請(qǐng)參閱以下 GitHub 鏈接。

數(shù)據(jù)發(fā)送到云端

使用當(dāng)今的數(shù)據(jù)架構(gòu)已經(jīng)可以完成從傳感器到云數(shù)據(jù)庫(kù)的數(shù)據(jù)傳輸。客戶(hù)可以直接使用不同類(lèi)型的數(shù)據(jù)庫(kù)來(lái)滿(mǎn)足不同的需求。

進(jìn)行語(yǔ)音對(duì)話(huà)：UWP 應(yīng)用程序

例子：用戶(hù)想知道他們家里的濕度是多少，所以他們說(shuō)，“嘿，云!房間里現(xiàn)在的濕度是多少?” 問(wèn)題的文本是使用在設(shè)備上的 Raspberry Pi 3 中運(yùn)行的 UWP 提供的。該應(yīng)用程序?qū)⑴c所有傳感器和執(zhí)行器通信，然后觸發(fā)系統(tǒng)將問(wèn)題發(fā)送到 LUIS 進(jìn)行語(yǔ)義分析。

通過(guò)連接 LUIS 分析問(wèn)題

LUIS 用于理解從 Raspberry Pi 3 收到的命令。通過(guò)模型訓(xùn)練，應(yīng)用程序可以識(shí)別命令的意圖是檢測(cè)室內(nèi)濕度。之后，將 LUIS API 添加到 UWP 應(yīng)用程序中。當(dāng)用戶(hù)說(shuō)出觸發(fā)命令“嘿，云!”時(shí)，所有內(nèi)容都會(huì)通過(guò) API 發(fā)送到 LUIS 并進(jìn)行分析。在 UWP 中調(diào)用 LUIS，它接收輸入并分析意圖。根據(jù)預(yù)測(cè)意圖的置信度，向用戶(hù)提供正確答案。然后向物聯(lián)網(wǎng)中心發(fā)送命令以從傳感器獲取溫度。

開(kāi)發(fā)網(wǎng)絡(luò)應(yīng)用程序

可以開(kāi)發(fā)用于設(shè)備管理的網(wǎng)絡(luò)應(yīng)用程序。該應(yīng)用程序可以顯示物聯(lián)網(wǎng)中心接收到的所有傳感器數(shù)據(jù)，使設(shè)備的管理更容易，并實(shí)現(xiàn)重啟和固件更新的功能。

人機(jī)交互

UWP 應(yīng)用程序和 Web 應(yīng)用程序相互交互，給客戶(hù)端一個(gè)響應(yīng)，Web 應(yīng)用程序負(fù)責(zé)將命令發(fā)送到指定的傳感器，檢測(cè)特定傳感器當(dāng)前的室內(nèi)濕度，并回答用戶(hù)的問(wèn)題。最后，通過(guò)文本轉(zhuǎn)語(yǔ)音 API 向用戶(hù)提供當(dāng)前室內(nèi)濕度。

結(jié)論

物聯(lián)網(wǎng)時(shí)代，擁有語(yǔ)音控制和響應(yīng)能力的家電，讓人類(lèi)實(shí)現(xiàn)高品質(zhì)便捷生活的夢(mèng)想成為可能。家電的語(yǔ)音控制功能是結(jié)合人工智能、機(jī)器學(xué)習(xí)、自然語(yǔ)言處理、物聯(lián)網(wǎng)、云計(jì)算、數(shù)據(jù)傳輸和傳感器等技術(shù)設(shè)計(jì)的。

語(yǔ)音控制技術(shù)在家電中的應(yīng)用是一個(gè)非常具有前瞻性的應(yīng)用。未來(lái)的家肯定會(huì)是一個(gè)充滿(mǎn)可以與用戶(hù)交談的智能設(shè)備的地方。希望這項(xiàng)技術(shù)能夠吸引更多的科學(xué)家投入到這一研究領(lǐng)域，不斷創(chuàng)新發(fā)展。

審核編輯：湯梓紅