本次LiveVideoStackCon 2020線下北京峰會我們邀請到了360AI影像事業(yè)部總經(jīng)理張焰老師來做分享，他會為我們帶來目前AI視覺在教育中的創(chuàng)新應(yīng)用，包括課堂專注度、課堂接受度、疲勞提醒、姿態(tài)糾正等在線教育場景解決方案。

1 公司介紹

大家好，首先介紹一下我們的公司，我們屬于360集團(tuán)內(nèi)部孵化的創(chuàng)新業(yè)務(wù)線，專注于AI視覺算法的研發(fā)和應(yīng)用。我們圍繞著人、物、場景三個方向?yàn)?a href="http://www.asorrir.com/v/tag/11230/" target="_blank">智能手機(jī)、泛文娛、IOT領(lǐng)域提供一些專業(yè)的算法支持和行業(yè)解決方案。

我們的核心能力包括智能多攝、單幀/多幀畫質(zhì)，這類算法在手機(jī)客戶中應(yīng)用較多；人像美化，包括AR特效等會運(yùn)用到泛文娛的領(lǐng)域；場景識別涉及人、物、環(huán)境等多樣化的場景識別能力，另外包括一些視頻分析的能力，在IOT領(lǐng)域也有廣泛應(yīng)用。

本次我的分享主題是360AI視覺在在線教育中的創(chuàng)新算法和應(yīng)用。

2 我們?yōu)槭裁丛谧鼋逃?

當(dāng)然很多人會說，家長愿意為孩子花錢，做教育更容易掙到錢。但更重要的是因?yàn)橐咔榈谋l(fā)，使得在線教育得到了前所未有的發(fā)展機(jī)遇。在一兩個月內(nèi)，政府部門就將線下的教學(xué)場景搬到了線上，完成了大遷移，但在這個大躍進(jìn)中也暴露了很多問題。

2.1在線教育行業(yè)痛點(diǎn)

在線教育仍有很多痛點(diǎn)亟待解決。 第一點(diǎn)是學(xué)生自覺性差。K12教育是典型的督導(dǎo)式教學(xué)，以前的督導(dǎo)壓力都在老師身上，面對面在線下督導(dǎo)學(xué)生，而現(xiàn)在督導(dǎo)的壓力都轉(zhuǎn)移給了家長，家長確實(shí)是操碎了心。 第二點(diǎn)是教學(xué)效果難以評估。意思就是這個學(xué)生有沒有認(rèn)真聽，有沒有聽懂，是沒有量化指標(biāo)的。 第三點(diǎn)是課堂互動性差。因?yàn)榧夹g(shù)的不完善及各種主客觀限制，線上課堂很難完整地模擬線下課堂場景，缺乏雙向互動的環(huán)境。 第四點(diǎn)是教學(xué)效率低。包括從教師端到學(xué)生端的適應(yīng)和學(xué)習(xí)成本，還有空間限制帶來的管教效率。 以上四個問題總結(jié)而言就是缺少了教育質(zhì)量監(jiān)督評價體系，而我們要做的事情就是彌補(bǔ)和改善這個體系的缺失。 3 未來的思考AI視覺能為在線做什么？

我們針對以上問題提出了對應(yīng)的解決方案，分別是：代替督學(xué)方案、量化監(jiān)測方案、智能互動方案、智能教輔工具。

3.1代替督學(xué)方案

3.1.1疲勞提醒

也許有些人在之前已經(jīng)聽過或用過這項(xiàng)技術(shù)，現(xiàn)如今的檢測準(zhǔn)確率較早前已經(jīng)有很大改進(jìn)。我們的疲勞提醒有三個維度，包括“打哈欠”、“瞌睡”和“趴著”，“打哈欠”和“瞌睡”這兩個維度在汽車駕駛中早有應(yīng)用，針對教育場景我們單獨(dú)研發(fā)了“趴著”的監(jiān)測。“趴著”這個維度如何檢測準(zhǔn)確是比較有難度的，有些人可能會想到可以用人體骨骼關(guān)鍵點(diǎn)，這個方法針對全身還是比較準(zhǔn)的，但針對半身，尤其是趴著時只有一個頭甚至是頭發(fā)的時候，骨骼關(guān)鍵點(diǎn)無法起作用了，這里就需要用到更復(fù)雜的檢測手段和技術(shù)。

3.1.2姿態(tài)糾正

姿態(tài)糾正這個功能大家可能在教育平板或教育臺燈中體驗(yàn)過，用得也比較廣泛。坐姿不良需要用到人的骨骼關(guān)節(jié)點(diǎn)和深度學(xué)習(xí)的技術(shù)，它有很多類別，包括上述提到過的趴著、臥倒、傾斜甚至是葛優(yōu)躺，都可以認(rèn)為是姿態(tài)不正。距離提醒這一塊主要是用于護(hù)眼健康，可以實(shí)時檢測到人臉到屏幕的距離。

3.1.3 學(xué)生姿態(tài)實(shí)時監(jiān)測系統(tǒng)

這個姿態(tài)監(jiān)測系統(tǒng)分為兩個方面：人臉姿態(tài)、人體姿態(tài)。人體姿態(tài)在上面提到過，我們是基于人體骨骼關(guān)鍵點(diǎn)配合深度圖像，從而精準(zhǔn)地判斷出各類人體姿態(tài)。這項(xiàng)技術(shù)以前都是2D圖像信息，而我們創(chuàng)造性加入了3D深度信息，來輔助人體姿態(tài)識別。深度圖像同時還可以用來測距。那這個深度圖像從哪里來呢？這就要和硬件相結(jié)合，像現(xiàn)在很多教育平板都加入了雙攝，前置結(jié)構(gòu)光，前置TOF。

3.2量化檢測

課堂專注度、課堂接受度是家長非常關(guān)注的。課堂專注度表示學(xué)生是否認(rèn)真在聽，課堂接受度表示學(xué)生是否聽懂。之前我們的客戶曾提過這個問題，家長沒有課堂表現(xiàn)報告，不知道學(xué)生上課狀態(tài)及學(xué)習(xí)效果到底怎么樣。所以為了解決這個痛點(diǎn)，我們提出了課堂效果量化檢測的方案。

3.2.1普通專注度檢測

大家可以看一下這是以往的普通專注度檢測圖示，這里只有一個2D圖像信息，檢測準(zhǔn)確度存在較大誤差；其次它的監(jiān)測指標(biāo)單一，只有一些零散的指標(biāo)次數(shù)，無法精確地回溯學(xué)情。 3.2.2 360AI課堂專注度

上圖是我們3D深度檢測+學(xué)情回溯追蹤的專注度監(jiān)測解決方案。可以看到我們加入了3D的人臉檢測信息，可以更精準(zhǔn)地估計(jì)出姿態(tài)和視線方向。同時輔助事件觸發(fā)機(jī)制，判斷狀態(tài)的同時會保存當(dāng)前事件的觸發(fā)時刻、事件截圖、狀態(tài)持續(xù)時長等，這樣可以非常精確地有針對性地進(jìn)行學(xué)情分析和回溯。 3.2.3課堂接受度

課堂接受度是從上圖五個維度進(jìn)行綜合分析，這里的維度可以分為兩個方向，包括正向指標(biāo)和負(fù)向指標(biāo)。從課堂接受度而言，正向的評價有舉手、微笑、點(diǎn)頭，代表學(xué)生參與度比較高，表示他（她）聽懂了。負(fù)向的評價是疑惑、搖頭，這說明接受度不太高。 3.2.4表情識別流程圖

剛剛說到了疑惑的表情，老師的責(zé)任就是傳道受業(yè)解惑，如果老師都不知道學(xué)生有沒有疑惑，他（她）怎么去解惑？所以首先我們要把疑惑檢測出來，在學(xué)術(shù)界，只有七類表情，沒有疑惑，所以我們專門為教育增加了疑惑的表情。我們加入了大量疑惑的數(shù)據(jù)，通過結(jié)合人臉識別技術(shù)和人臉關(guān)鍵點(diǎn)技術(shù)輔助檢測，可以比較精準(zhǔn)的判斷出疑惑的表情。 3.3智能互動（AI沉浸式課件、多向智能互動） 我們的智能互動方案主要介紹兩個技術(shù)，分別是AI沉浸式課件和多向智能互動技術(shù)。 3.3.1傳統(tǒng)課件

上圖是傳統(tǒng)課件的錄播和直播課場景，錄播課一般都會像上圖左邊所示搭一個錄播室，后面有綠幕，有補(bǔ)光燈。這對環(huán)境條件要求很高，要有場地，要有設(shè)備，很不方便。上圖右邊是比較常見直播課界面，只有一個老師的頭像和投放的課件，這兩個東西是分屏展示的，也就是說老師和課件之間沒有任何互動。 3.3.2 AI沉浸式課件

上圖是我們研發(fā)的AI沉浸式課件，把老師的頭像與課件內(nèi)容融合在一起，可以通過手勢控制課件的播放，比如說下一頁、上一頁、暫停等，有很直觀的互動效果。老師和課件完全融合在一起，不受場地限制，不需要專用設(shè)備，只需要一個攝像頭就可以了。 3.3.3網(wǎng)課互動限制

上圖是現(xiàn)在比較主流的網(wǎng)絡(luò)教學(xué)直播界面，主要是以老師單向輸出為主，學(xué)生被動接受，學(xué)生和老師之間僅能通過文字互動。 3.3.4多向智能互動 我們希望通過一些技術(shù)手段，改變這種單一的互動模式，讓網(wǎng)課更生動、更有趣。 手勢識別

像我們動畫里展示的是老師點(diǎn)贊的特效，學(xué)生端可以實(shí)時收到顯眼的反饋。那學(xué)生舉手老師知不知道呢？這也是可以識別的，比如說學(xué)生舉手后快速把頭像換成第一位，把頭像放大，老師可以快速知道是哪個學(xué)生舉手了，這項(xiàng)功能可以模擬復(fù)現(xiàn)線下教學(xué)場景。

表情識別

再比如表情識別，檢測到學(xué)生出現(xiàn)疑惑情緒，系統(tǒng)就會把她highlight出來，老師就知道哪個學(xué)生沒有聽懂。這是非常有價值的，現(xiàn)在在線教育并沒有做到這一點(diǎn)。 人臉特效

還有一些增加趣味性的人臉特效，一些可愛的動效可以抓住低領(lǐng)學(xué)生的注意力和興趣點(diǎn)。 3.4智能工具（超清拍題，智能補(bǔ)光，人臉考勤） 超清拍題與智能補(bǔ)光是我們首發(fā)的技術(shù)。 3.4.1超清拍題——拍照模糊問題

在線教育除了直播授課，還有課后作業(yè)場景，學(xué)生會遇到拍課件、拍題的問題。大部分學(xué)生的手都很小，如果用學(xué)習(xí)平板很容易拿不穩(wěn)，拍題就拍虛了。當(dāng)然也有人會說，我可以用光學(xué)防抖，但大家都知道光學(xué)防抖的每一個器件要增加3-4美金成本。只有買的是真正的旗艦手機(jī)，才會有光學(xué)防抖。所以我們提出了純軟的光學(xué)防抖方案，一次性解決上圖所示各種拍照模糊問題，比如失焦，曝光拖影，抖動，噪點(diǎn)，暗光等。 3.4.2超清拍照——一個方案解決所有拍攝模糊問題

這個方案是我第一次公開講，有些手機(jī)客戶已經(jīng)接入了我們的方案。流程也很簡單，輸入有兩種方式，傳感器輸入和三幀圖像，再進(jìn)行傳感器融合，位置估計(jì)，運(yùn)動向量估計(jì)，根據(jù)位置信息進(jìn)行防抖去模糊處理。輸入的三幀照片進(jìn)行對齊，降噪等一系列處理，最后進(jìn)行動態(tài)范圍提升和圖像增強(qiáng)。圖像增強(qiáng)包括對比度增強(qiáng)銳化，整體是一個比較復(fù)雜的流程，這里我們簡化給大家展示。 3.4.3客戶案例——錄音筆HD Shot

這是我們的一個客戶案例，我們的超清拍照技術(shù)已經(jīng)應(yīng)用在訊飛智能錄音筆上，可以用來提升拍會議文檔的圖像質(zhì)量，不再擔(dān)心拍照拍虛的問題。 3.4.4 HD Shot效果展示 我們來看一下具體的效果對比。

這是增強(qiáng)效果。

這是防抖效果。

這是HDR效果，主要是提升動態(tài)范圍，實(shí)現(xiàn)高光抑制和暗部提亮。

我們的畫質(zhì)提升能力不僅體現(xiàn)在拍照上，還能應(yīng)用于視頻。 3.4.5智能補(bǔ)光燈

通常專業(yè)的主播間中都有一個很大的補(bǔ)光燈，長期近距離直視或多或少會對眼睛產(chǎn)生傷害，于是我們提出了純軟的補(bǔ)光方案。上圖所示是全局補(bǔ)光效果，我們還有一個只針對人臉補(bǔ)光的方案，基于膚色分割和3D打光技術(shù)，提升人臉質(zhì)感和通透度。 3.4.6人臉考勤

人臉考勤對線上和線下課堂都非常有價值，可以快速進(jìn)行學(xué)生考勤，同時可防止代答到的情況發(fā)生。 4 客戶案例——網(wǎng)課助手

看完前面的技術(shù)介紹，接下來介紹一下我們針對在線教育研發(fā)的一個課質(zhì)監(jiān)測產(chǎn)品，叫網(wǎng)課助手。網(wǎng)課助手有4大場景SDK，包含專注度，課堂接受度，疲勞提醒，姿態(tài)糾正。這個SDK既可以發(fā)給老師又可以發(fā)給家長，在后臺自動生成檢測報告，家長和老師可以更全面直觀地看到學(xué)生的學(xué)習(xí)情況和情緒狀態(tài)。 4.1方案架構(gòu)

網(wǎng)課助手的架構(gòu)是典型邊緣計(jì)算+云計(jì)算的架構(gòu)，家長端只需要本地端的能力，本地端的設(shè)備越來越強(qiáng)，大家用的平板手機(jī)能力很強(qiáng)，這些檢測能力完全可以在端上實(shí)現(xiàn)，后臺更多的是和教育系統(tǒng)打通，把狀態(tài)及時推送給家長和老師。 4.2應(yīng)用場景

有了檢測數(shù)據(jù)之后，老師可以快速得到整個班級表現(xiàn)狀況，上圖左邊代表每個維度上每個學(xué)生表現(xiàn)占比，分別展示表現(xiàn)好、中、差。上圖右邊可以將表現(xiàn)非常好和非常差的學(xué)生排列出來，做相應(yīng)的獎勵或輔導(dǎo)。

對于單個學(xué)生，我們也可以給出更詳細(xì)的分析報告。比如想看疲勞度，會以時間軸的形式進(jìn)行展開，發(fā)現(xiàn)在10點(diǎn)21分檢測到學(xué)生瞌睡，瞌睡持續(xù)時長一目了然。

想看看學(xué)生接受度如何，也可以根據(jù)時間戳回溯事件，看學(xué)生在哪部分內(nèi)容上接受度較好，哪部分較差。 5 總 結(jié)

我們一整套的在線教育解決方案是金字塔架構(gòu)，底層是AI底層技術(shù)，包括人臉識別、表情識別、手勢識別、姿態(tài)識別等技術(shù)；中層是基于各個場景的解決方案；最上層就是跨平臺的SDK和業(yè)務(wù)端的應(yīng)用。好的AI技術(shù)我們希望不只是噱頭，而是可以真正為客戶起到降本增效的作用。 專注度與課堂接受度是為了給家長省心，老師放心，時間精力也算是一種成本；沉浸式課件課件減少投影儀，電視的使用；防抖技術(shù)可以省去光學(xué)防抖器件成本，省掉智能補(bǔ)光燈的成本，這都是AI實(shí)實(shí)在在的價值。 360AI視覺不止做教育，在智能手機(jī)、泛娛樂、IOT等領(lǐng)域都有豐富的技術(shù)應(yīng)用，期待和各行各業(yè)的朋友有更多交流合作。

責(zé)任編輯：lq