基于OpenHarmony的智能音響

本項(xiàng)目由閩江學(xué)院李維權(quán)、李清湖、朱燕禮同學(xué)完成，作品獲得福建省首屆OpenHarmony開(kāi)發(fā)者大賽三等獎(jiǎng)！

1、項(xiàng)目背景

進(jìn)入 21 世紀(jì)以來(lái)，傳感器技術(shù)、計(jì)算機(jī)控制技術(shù)、網(wǎng)絡(luò)技術(shù)以及新興的物聯(lián)網(wǎng)技術(shù)，蓬勃發(fā)展。音箱是現(xiàn)代家居生活中為人們提供聽(tīng)覺(jué)享受的產(chǎn)品，其作為音響系統(tǒng)的最終端，承擔(dān)著將電波信號(hào)轉(zhuǎn)化為聲能量，并傳播到空氣中的作用。音箱的種類有很多，針對(duì)不同的使用場(chǎng)景、用戶群，有不同的表現(xiàn)形式。以人為本的現(xiàn)代設(shè)計(jì)理念推動(dòng)著設(shè)計(jì)的發(fā)展，在產(chǎn)品設(shè)計(jì)領(lǐng)域，以人為本不僅體現(xiàn)在產(chǎn)品的形式上，產(chǎn)品的服務(wù)形式也應(yīng)該是契合人的本性、對(duì)用戶友好的。這一述求隨著科技的發(fā)展，逐漸與人們的預(yù)期相符合。所謂的“智能”，指的是個(gè)體認(rèn)識(shí)客觀物體和運(yùn)用知識(shí)解決問(wèn)題的能力。機(jī)器不同于人類能夠獨(dú)立思考，它的行為模式是依附于程序而進(jìn)行的，當(dāng)一個(gè)機(jī)器能夠在某個(gè)程序的指導(dǎo)下，獨(dú)立進(jìn)行操作或運(yùn)算，我們便稱之為智能設(shè)備。智能音箱就是在傳統(tǒng)音箱的基礎(chǔ)上結(jié)合通信技術(shù)、傳感技術(shù)或其他互聯(lián)網(wǎng)技術(shù)，使之在擴(kuò)音的基礎(chǔ)功能之上，擁有更多新的、符合現(xiàn)代生活場(chǎng)景的功能, 隨著科學(xué)技術(shù)的不斷進(jìn)步，人們所追求東西也越來(lái)越多。

智能音箱系統(tǒng)是以智能音箱設(shè)備為核心，結(jié)合手機(jī)端、語(yǔ)音識(shí)別系統(tǒng)和手勢(shì)識(shí)別系統(tǒng)協(xié)同工作，可提供中繼WiFi的同時(shí)滿足家庭用戶的日常音頻服務(wù)需求，個(gè)性化地為用戶提供了語(yǔ)音識(shí)別功能，本次設(shè)計(jì)的是以家居場(chǎng)景下的智能音箱產(chǎn)品，首先對(duì)其硬件平臺(tái)進(jìn)行設(shè)計(jì)，其次對(duì)音頻系統(tǒng)和功能軟件部分進(jìn)行詳細(xì)設(shè)計(jì)，然后對(duì)智能音箱系統(tǒng)的語(yǔ)音識(shí)別系統(tǒng)和設(shè)計(jì)與優(yōu)化并初步實(shí)現(xiàn)語(yǔ)音識(shí)別功能，從而打造一款經(jīng)濟(jì)、實(shí)用、智能的便攜式音箱系統(tǒng)。

2、項(xiàng)目簡(jiǎn)介

2.1 項(xiàng)目描述

此項(xiàng)目基于 OpenHarmony 操作系統(tǒng)——我國(guó)自主研究、國(guó)產(chǎn)可控的芯片RK2206 搭載的一個(gè)全新的，獨(dú)立的首個(gè)完全開(kāi)源的操作系統(tǒng)。該項(xiàng)目也是 OpenHarmony 在智能音箱領(lǐng)域適配的一個(gè)嘗試，通過(guò)藍(lán)牙連接、語(yǔ)音識(shí)別、手勢(shì)識(shí)別三種方式控制設(shè)備，小凌派內(nèi)置WiFi連接網(wǎng)絡(luò)顯示實(shí)時(shí)時(shí)鐘和當(dāng)?shù)靥鞖狻?shí)現(xiàn)了人機(jī)交互化、系統(tǒng)化、實(shí)時(shí)化。

2.2 功能說(shuō)明

在系統(tǒng)整體設(shè)計(jì)架構(gòu)中，利用小凌派內(nèi)置WiFi模塊連接網(wǎng)絡(luò)，在搭載OpenHarmony操作系統(tǒng)的小凌派LCD顯示屏上顯示實(shí)時(shí)時(shí)間和當(dāng)?shù)貙?shí)時(shí)天氣情況。

在人工智能音箱交互的過(guò)程中，主要是使用耳和嘴兩個(gè)信息通道，即聽(tīng)和說(shuō)，語(yǔ)音識(shí)別的過(guò)程要經(jīng)過(guò)三個(gè)階段:發(fā)音、傳遞和感知，分別對(duì)應(yīng)于生理、物理和心理三個(gè)方面，也就是說(shuō)，僅僅是識(shí)別理解語(yǔ)音還不夠，還需要根據(jù)所處的語(yǔ)境，以即時(shí)、正確、合乎常規(guī)的自然語(yǔ)言表達(dá)方式回復(fù)用戶。此項(xiàng)目支持藍(lán)牙和WiFi進(jìn)行音樂(lè)播放，在此基礎(chǔ)上，我們的設(shè)計(jì)加入了手勢(shì)識(shí)別， 利用不同手勢(shì)改變音樂(lè)播放狀態(tài)。

2.3 系統(tǒng)功能模塊劃分

項(xiàng)目是基于我國(guó)自主創(chuàng)新研發(fā)的國(guó)產(chǎn)可控芯片RK2206搭載OpenHarmony操作系統(tǒng)上運(yùn)行的，OpenHarmony作為新推出的熱點(diǎn)，它在傳統(tǒng)的單設(shè)備系統(tǒng)能力的基礎(chǔ)上，創(chuàng)造性地提出了一套系統(tǒng)能力適配終端形態(tài)的理念，并且支持在終端設(shè)備上運(yùn)行。小凌派內(nèi)置WiFi模塊連接網(wǎng)絡(luò)，在搭載OpenHarmony操作系統(tǒng)的小凌派LCD顯示屏上顯示實(shí)時(shí)時(shí)間和當(dāng)?shù)貙?shí)時(shí)天氣情況。本系統(tǒng)中，由語(yǔ)音識(shí)別和手勢(shì)識(shí)別實(shí)現(xiàn)人機(jī)交互，當(dāng)語(yǔ)音識(shí)別模塊聽(tīng)到喚醒詞（小智小智）后回應(yīng)，再說(shuō)上一首/下一首進(jìn)行切歌，或者播放/暫停，小凌派屏幕上會(huì)顯示相應(yīng)的音樂(lè)播放狀態(tài)圖標(biāo)和提示語(yǔ)。

2.4 項(xiàng)目展示

圖2.1 智能音箱設(shè)計(jì)實(shí)物正面圖

圖2.2 智能音箱設(shè)計(jì)實(shí)物側(cè)面圖

圖2.3 智能音箱設(shè)計(jì)實(shí)際操作圖

3、硬件設(shè)計(jì)

3.1 硬件總體框架

圖3.1 硬件總體框圖

3.2 主控芯片

圖3.2 小凌派

采用小凌派RK2206 OpenHarmony開(kāi)發(fā)板，主控為瑞芯微RK2206芯片，200MHz主頻，RAM 256KB、ROM16KB、PSRAM 8M、FLASH 8M。板載NFCTag芯片及天線，可實(shí)現(xiàn)OpenHarmony“碰一碰”功能。支持 IEEE 802.11b/g/n 制式，AP 模式。USB 2.0 、SDcard /SPI/I2C 接口、麥克風(fēng)接口、E53 接口（包含 UART、 I2C、ADC、DAC、PWM、5 個(gè) GPIO）。一根TypeC USB線，即可實(shí)現(xiàn)供電、下載等功能。一根TypeC USB線，可支持串口調(diào)試功能。

3.3 語(yǔ)音識(shí)別模塊

語(yǔ)音識(shí)別模塊采用LD3320，支持3.3V/5V供電，通信協(xié)議采用串口通信。

圖3.3 語(yǔ)音識(shí)別模塊

3.4 語(yǔ)音播報(bào)模塊

語(yǔ)音播報(bào)模塊采用SNY6288，支持3.3V供電，通信協(xié)議采用串口通信。

圖3.4 SNY6288

3.5 功率放大模塊

TPA3116D2雙聲道立體聲大功率數(shù)字低音炮功放板 ，支持2x50W功率。

圖3.5 功率放大模塊

3.6 手勢(shì)識(shí)別模塊

小凌派鴻蒙開(kāi)發(fā)板智能手勢(shì)擴(kuò)展板E53模塊PAJ7620U2手勢(shì)識(shí)別傳感器。

圖3.6 手勢(shì)識(shí)別模塊

3.7 音頻藍(lán)牙模塊

使用藍(lán)牙3.0模塊，SPP透?jìng)鳌?/p>

圖3.7 藍(lán)牙模塊

3.8 TFT顯示屏

1.8寸彩色TFT顯示屏，高清IPS LCD液晶屏模塊，分辨率128*160，SPI接口。

圖3.8 TFT液晶屏

4、軟件方案

智能音箱設(shè)計(jì)軟件部分使用的是C語(yǔ)言，整體代碼整合屏幕化顯示代碼、WiFi連接代碼、語(yǔ)言識(shí)別代碼、手勢(shì)識(shí)別代碼等部分。

設(shè)計(jì)采用的小凌派芯片RK2206開(kāi)發(fā)板采用Lite os-M 內(nèi)核、自帶WiFi模塊，SDK也提供了相應(yīng)的驅(qū)動(dòng)，初始化配置WiFi，連接到目標(biāo)網(wǎng)絡(luò),通過(guò)內(nèi)部串口將WiFi的ID密碼、時(shí)間和天氣API網(wǎng)站IP與鏈接地址傳入內(nèi)置WiFi模塊。WiFi聯(lián)網(wǎng)成功后利用TCP協(xié)議向網(wǎng)站發(fā)送get信息，網(wǎng)站收到get請(qǐng)求后回傳帶有時(shí)間和天氣信息的json格式報(bào)文，報(bào)文送進(jìn)小凌派芯片RK2206經(jīng)由CJSON庫(kù)處理為標(biāo)準(zhǔn)格式后，最終顯示在LCD屏幕上。

而通過(guò)I2C通信協(xié)議，傳感器感受手勢(shì)，主控板讀取PAJ7620U2的手勢(shì)寄存器中的手勢(shì)，相應(yīng)對(duì)應(yīng)的接口層，引腳輸出對(duì)應(yīng)高低電平完成歌曲切換、暫停等操作。

圖4.1 程序總框圖

圖4.2 主流程圖

4.1 WiFi連接設(shè)計(jì)

智能音箱獲取連接WiFi部分代碼：

圖4.3 WiFi模塊流程圖

4.2時(shí)間天氣信息獲取設(shè)計(jì)

智能音箱通過(guò)協(xié)議發(fā)送數(shù)據(jù)給sercer，再接受來(lái)自server的信息，從而獲取時(shí)間以及天氣狀況信息。

時(shí)間信息獲取設(shè)計(jì)部分代碼:

天氣狀況信息獲取設(shè)計(jì)部分代碼：

4.3手勢(shì)識(shí)別設(shè)計(jì)

智能音箱手勢(shì)識(shí)別分別設(shè)置4種手勢(shì)進(jìn)行操作，并根據(jù)不同手勢(shì)執(zhí)行不同的操作。

圖4.4 手勢(shì)識(shí)別程序流程圖

5、項(xiàng)目總結(jié)和展望

本次設(shè)計(jì)從互聯(lián)網(wǎng)技術(shù)出發(fā)，以人工智能音箱為落腳點(diǎn)，設(shè)計(jì)一款緊跟都市生活節(jié)奏和技術(shù)環(huán)境的產(chǎn)品。該設(shè)計(jì)在一定程度上可以幫助用戶解放雙手，便利用戶生活，既不用手持智能設(shè)備也能對(duì)智能音箱進(jìn)行操作，有助于用戶提高生活質(zhì)量，享受數(shù)字時(shí)代帶來(lái)的紅利。能夠?yàn)槿藗兲峁?shí)時(shí)的天氣情況，顯示當(dāng)?shù)貢r(shí)間與日期，方便用戶日常生活；支持語(yǔ)音交互功能，相比人們常用的智能手機(jī)，智能音箱只需“動(dòng)嘴”，自然更加方便?；诨ヂ?lián)網(wǎng)技術(shù)，從用戶、人機(jī)交互及人機(jī)環(huán)境三個(gè)方面展開(kāi)分析，以智能音箱為代表的人機(jī)交互模式為我們展現(xiàn)了智媒發(fā)展的一個(gè)新的方向：從人與人的交流到人與物、再到物與物，最終實(shí)現(xiàn)真正的萬(wàn)物互聯(lián)。如何更好利用智能媒體的優(yōu)勢(shì)，同時(shí)規(guī)制與引導(dǎo)智能媒體的發(fā)展，正是有關(guān)智能音箱、人工智能技術(shù)研究背后傳播問(wèn)題演進(jìn)與開(kāi)拓的新的場(chǎng)域所在。