OpenAtom OpenHarmony（以下簡稱“OpenHarmony”）是由開放原子開源基金會（OpenAtom Foundation）孵化及運營的開源項目，目標是面向全場景、全連接、全智能時代，基于開源的方式，搭建一個智能終端設備操作系統的框架和平臺，促進萬物互聯產業的繁榮發展。面對萬物互聯時代種類眾多、且差異巨大的終端設備，我們為 OpenHarmony 打造了一款新的音視頻引擎——HiStreamer。

一、HiStreamer產生背景

數字多媒體技術在過去的數十年里得到了飛速的發展，音樂、電話、電視、電影、視頻會議等等，伴隨著我們度過每一天。為了給用戶提供豐富的多媒體處理能力，業界已經有比較成熟的音視頻引擎，比如開源的音視頻引擎 GStreamer。為什么我們還要打造一款新的音視頻引擎呢？

隨著萬物互聯時代的到來，越來越多的智能化設備出現在我們的生活中。比如：智能冰箱可以通過屏幕和聲音，告訴人們儲藏的菜品快要過期了；智能閘機可以通過人臉識別，自動完成檢票工作；智能門鎖可以通過語音和視頻，提升開鎖的效率和安全性......

與PC、手機等標準（Standard）設備不同，很多智能化設備的CPU處理能力比較弱、內存也比較小，傳統的音視頻引擎無法支持此類設備。HiStreamer 應運而生，既支持輕量級的 Mini/Small 設備，也支持 Standard 設備（目前支持部分功能）。HiStreamer 在不斷發展和完善中，未來將會支持 Standard 設備的更多功能。

二、“管道+插件”，實現彈性部署

為了支持 Mini/Small/Standard 設備，HiStreamer 采用管道（Pipeline）和插件（plugin）的軟件架構，從而可以根據設備的硬件和需求差異進行彈性部署。HiStreamer 把音視頻處理的每個過程抽象成節點，上一個節點的輸出，作為下一個節點的輸入，把多個節點連接起來，整體形成一個管道（Pipeline），完成音視頻的數據讀取、解封裝、解碼、輸出的完整流程。同時，插件可以為 Pipeline 的節點提供豐富的擴展功能，讓 HiSteamer 的音視頻處理能力更強大。

1. Pipeline框架介紹

為了讓大家理解 HiStreamer 的 Pipeline 框架，下面以 MP3 音頻播放為例講解：

輸入是一個 MP3 文件，輸出是播放出的音樂，這中間經過了很多步驟。

先來看一下 MP3 文件結構：

圖1 MP3文件結構

MP3 文件由 ID3 Metadata 容器頭和若干 MP3 Frame（MP3 數據幀）構成。每個 MP3 Frame 又由 MP3 Header（MP3 頭信息）和 MP3 Data 構成。這一系列的 MP3 Frame 稱為 ES Data（ Element Stream Data）。

● ID3 Metadata：容器頭，主要包括標題、藝術家、專輯、音軌數量等。

● MP3 Header：包含 MP3 Sync word（標識 MP3 數據幀起始位置）和 MPEG 版本信息等。

● MP3 Data：包含壓縮的音頻信息。

播放 MP3 文件，首先需要把 MP3 文件數據讀進來，然后去掉 ID3 Metadata 容器頭（即解封裝），再把一系列 MP3 Frame 解壓縮成 PCM（Pulse-Code Modulation）數據，最后驅動喇叭發聲。這個過程按順序可以抽象成如下四個節點：

圖2 MP3音頻播放的Pipeline

1. 輸入節點（MediaSourceFilter）: 讀取 MP3 原始數據，傳給下一個節點。

2. 解封裝節點（DemuxerFilter）: 解析 ID3 Metadata 容器頭信息，作為后續節點的參數輸入，并且把一幀幀 MP3 Frame（即 ES Data）傳給后續的解碼節點。

3. 解碼節點（AudioDecoderFilter）: 把 ES Data 解碼成 PCM 數據，傳給輸出節點。

4. 輸出節點（AudioSinkFilter）: 輸出 PCM 數據，驅動喇叭發聲。

由以上示例可知，HiStreamer 通過 Pipeline 框架把音視頻處理的每個過程抽象成一個個節點。這些節點是解耦的，可以靈活拼裝，從而可以根據業務需要拼裝出不同的 Pipeline。同時，為了使多個節點能更好地協同工作，HiStreamer 還支持節點間的參數自動協商。

2. HiStreamer插件介紹

了解了 HiStreamer 的 Pipeline 框架后，我們再來看看 HiStreamer 插件。

HiStreamer 的 Pipeline 框架的很多節點（比如輸入節點、解封裝節點、解碼節點、輸出節點等）都支持插件擴展。通過插件，節點的功能變得更加豐富、更加強大。

插件的應用場景非常廣泛，比如：

● 媒體格式非常多，且以后還會有新的格式產生，可以通過插件支持新的媒體格式。

● 不同 OS 平臺或設備，處理方式存在差異，可以通過插件支持不同的處理方式。

● 不同類型的設備，需求不同，能提供的 CPU/ROM/RAM 資源多少也不同，也可以通過插件來支持。

3. 彈性部署

HiStreamer 基于管道（Pipeline）和插件（plugin）的軟件架構，可以根據設備的硬件和需求差異實現彈性部署。

圖3 HiStreamer彈性部署

如圖 3 所示，Mini 設備（比如音箱），它的 CPU 處理能力很弱，ROM/RAM 資源很少，需要的功能也比較少，只需要音頻播放功能。HiStreamer 可以配置成只支持音頻播放，并且選擇輕量級的插件，配置同步解碼模式，減少資源消耗。而 Small 設備，CPU 處理能力強一些，ROM/RAM 空間大一些，需要音頻播放和視頻播放功能。HiStreamer 可以配置成支持音視頻播放，并且選擇功能更強的插件。

三、HiStreamer邏輯架構

經過上面的介紹，我們了解了 HiStreamer 的“管道+插件”的軟件架構。下面我們再來看看 HiStreamer 的詳細的邏輯架構。

圖4 HiStreamer邏輯架構圖

HiStreamer 主要由 HiStreamer 引擎和 HiStreamer 插件構成。

其中，HiStreamer引擎又分為以下四層：

● 業務封裝層：基于 Pipeline 封裝實現播放器、錄音機功能，簡化上層應用使用。

● Pipeline 框架層：提供 Pipeline 和若干個節點（輸入、解封裝、解碼和輸出）的實現，支持把多個節點連接在一起形成 Pipeline。

● 插件管理層：用于插件生命周期管理，支持動態加載或靜態鏈接兩種方式使用插件。

● 工具庫層：提供框架依賴的工具，隔離操作系統差異，提供調測功能。

HiStreamer 插件，則分為平臺軟件插件和廠商硬插件兩類：

● 平臺軟件插件：由 OpenHarmony 平臺提供，可跨產品復用的軟件算法插件。

● 廠商硬插件：由廠商提供的基于硬件加速的插件，如硬件加速的編解碼插件。

應用開發者可以直接使用現成的插件來實現多媒體功能，節省大量的開發時間。插件越豐富，HiStreamer 的音視頻處理能力會更強大。歡迎廣大開發者參與 HiStreamer 插件的開發，一起來豐富 HiStreamer 插件！

四、HiStreamer插件開發及實例

下面就為大家介紹 HiStreamer 插件的開發過程及實例講解，感興趣的小伙伴們趕緊學起來，一起參與 HiStreamer 插件開發吧~

1. 插件的開發

HiStreamer 插件的開發主要分為插件定義和功能實現兩個部分。

（1）插件定義

HiStreamer 插件是通過 PLUGIN_DEFINITION 宏來定義的。以輸入插件 FileSource 為例，定義代碼如下：

std::shared_ptr FileSourcePluginCreator(const std::string& name){    return std::make_shared(name);}Status FileSourceRegister(const std::shared_ptr& reg){    SourcePluginDef definition;    definition.name = "FileSource";    definition.description = "File source";    definition.rank = 100; // 100: max rank    definition.protocol.emplace_back(ProtocolType::FILE);    definition.creator = FileSourcePluginCreator;    return reg->AddPlugin(definition);}//PLUGIN_DEFINITION傳入四個參數PLUGIN_DEFINITION(FileSource,LicenseType::APACHE_V2,FileSourceRegister,[]{});

使用 PLUGIN_DEFINITION 宏定義插件（即上面最后一行代碼）時，傳入了四個參數：

a) 插件名稱：即示例中的“FileSource”。

b) License 信息：即示例中的“LicenseType::APACHE_V2”。

c) 插件注冊函數：即示例中的“FileSourceRegister”，該函數描述了插件基本信息，包括插件對象創建函數，并且還調用 AddPlugin 把插件注冊到系統中。

d) 插件反注冊函數：可以傳為空實現。

（2）功能實現

實現插件功能時，需根據要實現的插件類型，繼承對應插件接口類，并實現相關接口。比如實現輸入插件 FileSource，需要繼承 SourcePlugin，并實現 SetSource、Read 等接口，代碼如下：

// 定義FileSourcePlugin類繼承SourcePlugin類class FileSourcePlugin : public SourcePlugin {// 實現SetSource接口, 設置要打開的文件路徑Status SetSource(std::shared_ptr source) {return OpenFile(source->GetSourceUri());}// 實現Read接口，它會讀取數據用于后續處理Status Read(std::shared_ptr& buffer, size_t expectedLen){std::fread(bufData->GetWritableAddr(expectedLen), sizeof(char), expectedLen, fp_);return Status::OK;}}

FileSource插件的完整代碼可參考：

https://gitee.com/openharmony/multimedia_histreamer/tree/master/engine/plugin/plugins/source/file_source

2. 插件的部署

使用 PLUGIN_DEFINITION 定義的 HiStreamer 插件，可以是單一功能的插件，也可以是有多個功能的插件包。每個這樣的插件或插件包，可以獨立編譯成.a或者.so，分別對應以下兩種部署方式：

● 靜態部署：一般用在 mini 設備上，插件編譯成靜態庫.a，鏈接到系統中。

● 動態部署：一般用在 small/standard 設備上，插件編譯成動態庫.so，放到系統指定目錄下，動態加載運行。

3. 插件的運行

插件開發完成且部署到系統之后，HiStreamer 啟動時就會自動完成插件的注冊。下一步，就是運行插件了。

運行新實現的插件，需要先滿足該插件的運行條件。比如：FileSource 只會在播放本地文件時運行；MP3 解碼插件只會在播放 MP3 文件時運行......

開發者可以通過日志信息，查看是否運行了自己的插件。如果有別的插件注冊到系統中，導致自己的插件無法運行時，可以卸載引起干擾的插件。卸載動態部署的插件，刪除對應的.so即可；卸載靜態部署的插件，需要修改編譯腳本取消對應插件的編譯。

五、結束語

OpenHarmony 歡迎廣大開發者一起加入 HiStreamer 插件開發，擴展自己想要的媒體功能，共同豐富 HiStreamer 媒體生態!

同時，預告大家：HiStreamer 的下一個版本將為 Standard 設備增強更多功能，敬請期待！

本期關于 HiStreamer 的介紹就到這里了。

更多HiStreamer信息，請參考：

https://gitee.com/openharmony/multimedia_histreamerhttps://gitee.com/openharmony/multimedia_histreamerhttps://gitee.com/openharmony/multimedia_histreamer

審核編輯 ：李倩