作者：chengcheng，華為媒體技術(shù)工程師

一

相機(jī)

1.1問題背景

相機(jī)應(yīng)用在早期的版本開發(fā)時(shí)，會(huì)發(fā)現(xiàn)三方相機(jī)和系統(tǒng)相機(jī)拍照的效果會(huì)有較明顯的不一致。如下圖對(duì)比，可以看到，在色彩/飽和度/紋理細(xì)節(jié)等方面有一些明顯的差異。

三方相機(jī)：

系統(tǒng)相機(jī)：

1.2問題原因

那么這一問題是怎么產(chǎn)生的呢？主要有兩個(gè)原因：

1、系統(tǒng)相機(jī)采用了私有通路，從而獲取了更好的效果

2、預(yù)覽流拍照效果差

1.3問題解決

針對(duì)以上問題，系統(tǒng)提出了如下的解決思路：

1、統(tǒng)一接口，統(tǒng)一流程，統(tǒng)一效果：通過統(tǒng)一開發(fā)接口和流程，從而使得三方相機(jī)和系統(tǒng)相機(jī)獲取一致的體驗(yàn)

2、分離預(yù)覽、拍照、錄像，明確流定義，讓正確的流做正確的事

3、相機(jī)管道流水線模型

1.4代碼示例

1、相機(jī)基本控制流程如下：

2、示例參考：

使用PreviewOutput實(shí)現(xiàn)相機(jī)預(yù)覽：

//1.創(chuàng)建預(yù)覽視圖XComponent，獲取SurfaceId
surfaceId=xComponent.getXComponentSurfaceId();
//2.創(chuàng)建預(yù)覽數(shù)據(jù)流輸出PreviewOutput
previewOutput=createPreviewOutput(profile,surfaceId);
//3.添加預(yù)覽數(shù)據(jù)流輸出到相機(jī)會(huì)話
session.addOutput(previewOutput);

（左右滑動(dòng)查看更多）

使用PhotoOutput實(shí)現(xiàn)相機(jī)拍照：

//1.創(chuàng)建圖片接收器ImageReceiver，獲取SurfaceId
surfaceId=imageReceiver.getReceivingSurfaceId();
//2.創(chuàng)建拍照數(shù)據(jù)流輸出PhotoOutput
photoOutput=createPhotoOutput(profile,surfaceId);
//3.添加拍照數(shù)據(jù)流輸出到相機(jī)會(huì)話
session.addOutput(photoOutput);

（左右滑動(dòng)查看更多）

使用VideoOutput實(shí)現(xiàn)相機(jī)錄像：

//1.創(chuàng)建視頻編碼器AVRecorder，獲取SurfaceId
surfaceId=avRecorder.getInputSurface();
//2.創(chuàng)建錄像數(shù)據(jù)流輸出VideoOutput
videoOutput=createVideoOutput(profile,surfaceId);
//3.添加錄像數(shù)據(jù)流輸出到相機(jī)會(huì)話
session.addOutput(videoOutput);

（左右滑動(dòng)查看更多）

更多詳細(xì)的代碼參考：

二

音視頻焦點(diǎn)

2.1問題背景

音視頻應(yīng)用開發(fā)中遇到的很常見的一個(gè)場(chǎng)景，就是并發(fā)播放，而并發(fā)播放的一般解決思路是各個(gè)應(yīng)用對(duì)焦點(diǎn)的申請(qǐng)和處理。

傳統(tǒng)的焦點(diǎn)管理方法，依賴應(yīng)用遵守約定好的策略，如果有的應(yīng)用不遵守，比如不響應(yīng)或者濫用焦點(diǎn)，就可能會(huì)出現(xiàn)不發(fā)聲或者亂發(fā)聲的現(xiàn)象，影響了用戶的體驗(yàn)。

2.2 解決思路

針對(duì)以上的問題，鴻蒙系統(tǒng)改進(jìn)了焦點(diǎn)管理的設(shè)計(jì)，提供了統(tǒng)一的焦點(diǎn)處理策略，來規(guī)范應(yīng)用對(duì)于焦點(diǎn)的使用，以達(dá)成統(tǒng)一的發(fā)聲體驗(yàn)。

系統(tǒng)中的焦點(diǎn)管理模塊會(huì)存儲(chǔ)一個(gè)焦點(diǎn)策略表，定義了不同的場(chǎng)景下，哪些應(yīng)用可以獲取焦點(diǎn)進(jìn)行播放，哪些應(yīng)用會(huì)失去焦點(diǎn)而停止播放，等等其他策略。

2.3代碼示例

可以通過接口的使用來看一下實(shí)際處理策略。

首先，在A應(yīng)用創(chuàng)建并使用AudioRenderer播放的時(shí)候，系統(tǒng)會(huì)自動(dòng)為其申請(qǐng)焦點(diǎn)，這個(gè)是系統(tǒng)的行為。

A應(yīng)用播放后，系統(tǒng)的焦點(diǎn)策略會(huì)進(jìn)行判斷，如果A應(yīng)用可以搶到焦點(diǎn)，那就會(huì)使得失去焦點(diǎn)的應(yīng)用暫停播放；同時(shí)被暫停的應(yīng)用也會(huì)在INTERRUPT_FORCE的回調(diào)事件中，得到暫停的狀態(tài)，應(yīng)用在收到這個(gè)事件后，就需要存儲(chǔ)并更新應(yīng)用內(nèi)的狀態(tài)。

當(dāng)A應(yīng)用停止播放，之前被暫停的應(yīng)用也會(huì)收到一個(gè)恢復(fù)播放的事件，這個(gè)事件會(huì)在INTERRUPT_SHARE中，應(yīng)用可以進(jìn)行恢復(fù)播放的操作，或者忽略，這個(gè)非強(qiáng)制行為。

// 1.AudioRenderer進(jìn)行播放時(shí)，系統(tǒng)會(huì)申請(qǐng)焦點(diǎn)
audioRenderer.start((err) => {});
// 2.注冊(cè)音頻打斷事件的回調(diào)
audioRenderer.on('audioInterrupt', (event) => {
  if (event.forceType === audio.InterruptForceType.INTERRUPT_FORCE) {
      // 3.強(qiáng)制打斷類型：音頻相關(guān)處理已由系統(tǒng)執(zhí)行，應(yīng)用需更新自身狀態(tài)
  } else if (event.forceType === audio.InterruptForceType.INTERRUPT_SHARE) {
      // 4.共享打斷類型：應(yīng)用可自主選擇執(zhí)行相關(guān)操作或忽略打斷事件
}});

（左右滑動(dòng)查看更多）

更多詳細(xì)的代碼參考：

三

低時(shí)延播放

3.1問題背景

游戲、K歌、樂器等應(yīng)用，對(duì)于音頻的輸出時(shí)延要求很高，常規(guī)的播放通路一般只能達(dá)到60ms左右甚至更高的時(shí)延，無法滿足這些應(yīng)用的使用訴求。

3.2解決思路

鴻蒙系統(tǒng)提供了低時(shí)延通路的設(shè)計(jì)。如下圖所示，在系統(tǒng)中的普通通路之外，新增了一條垂直打通硬件的低時(shí)延通路，通過bypass 框架層直接在DSP進(jìn)行混音，可以達(dá)成最低20ms的音頻輸出時(shí)延。

同時(shí)，為了簡(jiǎn)化應(yīng)用的接入，通過在接口中提供不同的參數(shù)配置，使開發(fā)者可以用一套接口同時(shí)支持低時(shí)延和普通通路兩種播放模式。

3.3代碼示例

可以通過OH_AudioStreamXXX接口來進(jìn)行低時(shí)延通路的創(chuàng)建，通過傳入不同參數(shù)可以設(shè)置低時(shí)延模式，亦可以設(shè)置普通模式，從而使用一套接口來適配不同場(chǎng)景。

同時(shí)，低時(shí)延模式一般采用來pull模式來獲取數(shù)據(jù)，這里提供了一個(gè)callback，需要應(yīng)用創(chuàng)建并填入。

// 1.創(chuàng)建音頻流構(gòu)造器，設(shè)置參數(shù)
OH_AudioStreamBuilder_Create(&builder, AUDIOSTREAM_TYPE_RENDERER);
OH_AudioStreamBuilder_SetSamplingRate(builder, rate); // 其他參數(shù)設(shè)置…
// 2.設(shè)置低延時(shí)模式和數(shù)據(jù)回調(diào)
OH_AudioStreamBuilder_SetLatencyMode(builder, AUDIOSTREAM_LATENCY_MODE_FAST) ;
OH_AudioStreamBuilder_SetRendererCallback(builder, callback, nullptr);
// 3.構(gòu)造播放的音頻流并使用
OH_AudioStreamBuilder_GenerateRenderer(builder, &audioRenderer);
OH_AudioRenderer_Start(audioRenderer);?OH_AudioRenderer_Release(audioRenderer);

（左右滑動(dòng)查看更多）

更多詳細(xì)的代碼參考：

四

播控能力

通過前面所說的焦點(diǎn)管理策略，系統(tǒng)解決了音視頻應(yīng)用并發(fā)播放的問題；對(duì)于播放中的應(yīng)用的控制，系統(tǒng)也提供了規(guī)范支持。

系統(tǒng)提供了C/S模式的播控管理的框架，應(yīng)用作為客戶端，接入AVSession的會(huì)話端，設(shè)置必要的信息；系統(tǒng)的播控中心獲取與之對(duì)應(yīng)的會(huì)話控制器，獲取信息進(jìn)行展示，以及對(duì)應(yīng)用發(fā)送控制命令。

通過標(biāo)準(zhǔn)接口的接入，規(guī)范了應(yīng)用的播放行為；同時(shí)通過統(tǒng)一的播控中心的入口，使得用戶對(duì)于播放的控制做到一鍵直達(dá)。

4.2 代碼示例

import AVSessionManager from '@ohos.multimedia.avsession';
// 開始創(chuàng)建并激活媒體會(huì)話
// 創(chuàng)建session
let context: Context = getContext(this);
async function createSession() {
  let type: AVSessionManager.AVSessionType = 'audio';
  let session = await AVSessionManager.createAVSession(context, 'SESSION_NAME', type);
  await session.activate();
}
async function setSessionInfo() {
  // 播放器邏輯··· 引發(fā)媒體信息與播放狀態(tài)的變更
  // 設(shè)置必要的媒體信息
  let metadata: AVSessionManager.AVMetadata = {
    assetId: '0',
    title: 'TITLE',
    artist: 'ARTIST'
  };
  session.setAVMetadata(metadata).then(() => {
  }).catch((err: BusinessError) => {
  });
  // 簡(jiǎn)單設(shè)置一個(gè)播放狀態(tài) - 暫停 未收藏
  let playbackState: AVSessionManager.AVPlaybackState = {
    state:AVSessionManager.PlaybackState.PLAYBACK_STATE_PAUSE,
    isFavorite:false
  };
  session.setAVPlaybackState(playbackState, (err) => {
  });
}
async function setListenerForMesFromController() {
  // 一般在監(jiān)聽器中會(huì)對(duì)播放器做相應(yīng)邏輯處理
  // 不要忘記處理完后需要通過set接口同步播放相關(guān)信息，參考上面的用例
  session.on('play', () => {
    // do some tasks ···
  });
  session.on('pause', () => {
    // do some tasks ···
  });
}

（左右滑動(dòng)查看更多）

更多詳細(xì)的代碼參考：

https://gitee.com/openharmony/docs/blob/master/zh-cn/application-dev/media/avsession-overview.md

更多推薦