本文經(jīng)（ID：QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處

從今往后，合照不必?fù)?dān)心站在邊緣會(huì)變形了.

如今這種硬件所限的bug，正在被一舉解決，且了無痕跡.

除了拯救變形的人臉，還可以有人性化的素顏級(jí)美顏。

比如真實(shí)的你 VS 素顏級(jí)美顏的你.

從臉到脖子的貼心美白，懂你省心的祛痘P圖，但又恰如其分地留下你標(biāo)志性的淚痣，讓分享到朋友圈的你不至于有美顏痕跡的尷尬。

當(dāng)然，5G時(shí)代、短視頻時(shí)代，人像技術(shù)、美顏能力，自然也得與時(shí)俱進(jìn)。

哪怕你的手和過山車一樣抖，拍出的視頻（圖左），也可以和用了幾千塊的穩(wěn)定器一樣清晰。

而這，就是AI可以帶來的最新最前沿人像技術(shù)能力。

并且祖?zhèn)魅讼裢婕遥€把一切all in到了手機(jī)里，把手機(jī)AI人像實(shí)現(xiàn)搞出新高度。

沒錯(cuò)，說的就是OPPO。

怎樣的AI人像新能力？

融合了人臉檢測(cè)、面部關(guān)鍵點(diǎn)檢測(cè)、超分辨率算法、語義分割、自動(dòng)補(bǔ)幀等一系列前沿AI技術(shù)。

全稱：OPPO FDF全維人像視頻技術(shù)系統(tǒng)。

這也是業(yè)內(nèi)首個(gè)針對(duì)人像視頻拍攝打造的AI影像技術(shù)系統(tǒng)。

這個(gè)由感知人像引擎和畫質(zhì)增強(qiáng)引擎組成的系統(tǒng)，不僅能讓照片里的人看起來更好看，畫面質(zhì)感也能得到質(zhì)的提升。

具體如何做到的，我們一一詳細(xì)解構(gòu)。

所謂感知人像引擎，就是針對(duì)拍攝時(shí)的人像區(qū)域進(jìn)行優(yōu)化，其核心技術(shù)包括AI人臉檢測(cè)/關(guān)鍵點(diǎn)檢測(cè)、AI超清人像（暗景/長焦拍攝也高清）、OFL膚質(zhì)優(yōu)化、人臉畸變矯正四大項(xiàng)。

這四項(xiàng)技術(shù)，都需要很強(qiáng)很穩(wěn)，不能有偏科。

以人臉檢測(cè)為例，這是人像引擎中最基礎(chǔ)的技術(shù)，但經(jīng)過OPPO優(yōu)化后的特征金字塔（FPN）算法，能在25ms內(nèi)達(dá)到99.78%的人臉識(shí)別準(zhǔn)確率。

而在人臉關(guān)鍵點(diǎn)檢測(cè)上，OPPO以296個(gè)點(diǎn)的數(shù)量，實(shí)現(xiàn)了移動(dòng)平臺(tái)上每秒檢測(cè)200次（200fps）的速度，在WFLW數(shù)據(jù)集上實(shí)現(xiàn)了低至4.71%的NME損耗。

至于畫質(zhì)增強(qiáng)引擎，則是一套能保障用戶在絕對(duì)多數(shù)場景下都能拍出滿意的畫面的算法合集。

哪怕畫面抖動(dòng)幅度較大、還是光線不足或過亮，畫質(zhì)增強(qiáng)引擎都能將畫面調(diào)整到更符合用戶偏好的觀感。（你的VLOG必備小能手）

除了在開頭看到的，加入新一代超級(jí)防抖功能以外，畫質(zhì)增強(qiáng)引擎還包括視頻多幀HDR和超級(jí)夜景視頻兩項(xiàng)技術(shù)。

利用視頻多幀HDR拍出來的小姐姐，隨便截一幀都是唯美的藝術(shù)照：

就連拍攝的夜景視頻，也能得到不輸白天的清晰度，甚至比白天有更豐富的色彩度：

這些看似不經(jīng)意的人像拍攝、視頻處理效果，卻是決定作品細(xì)節(jié)的關(guān)鍵。

如何評(píng)價(jià)OPPO最新AI人像技術(shù)？

需要更加深入到核心技術(shù)之源。

這次OPPO，不僅將人像系統(tǒng)做到了極致，還用軟件彌補(bǔ)了硬件上“廣角攝像頭”帶來的不足。

目前AI人像領(lǐng)域，核心技術(shù)水平，可以以處理暗光/長焦拍攝所用的超分辨率計(jì)算作為參考。

簡單來說，超分辨率（Super-Resolution）計(jì)算，是將一組低質(zhì)量、低分辨率的圖像，通過軟硬件，得到一幅高分辨率圖像。

這是當(dāng)前計(jì)算機(jī)視覺技術(shù)中難度最大的領(lǐng)域之一，需要盡可能地平衡圖像的畫質(zhì)與真實(shí)性。

其核心思想，在于用時(shí)間帶寬（獲取同一場景的多幀圖像序列），來換取空間分辨率，實(shí)現(xiàn)時(shí)間分辨率向空間分辨率的轉(zhuǎn)換。

而就在這個(gè)領(lǐng)域，OPPO此次展現(xiàn)的技術(shù)能力，并非“啪的一下很突然”……

CVPR 2020上，OPPO就提出了獨(dú)創(chuàng)的神經(jīng)網(wǎng)絡(luò)架構(gòu)RFB-ESRGAN，利用分布式算法提高計(jì)算效率、并以多元的采樣與計(jì)算模型配合，將模糊的圖片清晰放大了16倍。

當(dāng)時(shí)OPPO還從全球280多個(gè)頂尖參賽團(tuán)隊(duì)中脫穎而出，奪得了“極端超級(jí)分辨率感知”的第一名。

有備而來。

效果也人人可見，經(jīng)過AI處理的人像，眉毛和皮膚都變得更加清晰。

但相比軟件突破解決軟件問題，OPPO的這個(gè)AI系統(tǒng)，還需要關(guān)注的技術(shù)亮點(diǎn)在于——用軟件技術(shù)彌補(bǔ)硬件的先天不足。

例如，在用廣角攝像頭給人拍照的過程中，總有些尷尬之處：

如果不搶C位，你的人臉就可能會(huì)變形。

而且，由于透視投影（Perspective Projection）的近大遠(yuǎn)小原理，變形的往往只有人臉，背景看起來反而比較正常。

以往針對(duì)這種變形臉，通常需要一些職業(yè)P圖大師來處理。

業(yè)內(nèi)也一直在追求——既不會(huì)扭曲背景，又能讓人物恢復(fù)正常的技術(shù)。

而這次OPPO的解決思路，運(yùn)用了球極平面投影（Stereographic Projection）。

其原理是，把一個(gè)球面投射到平面上，并不忠實(shí)反映距離，卻十分忠實(shí)地反映角度。

不過，單這么一項(xiàng)還無法一蹴而就。

這種投影對(duì)人臉的拉伸并不大，然而背景看起來卻會(huì)變得扭曲。

（投影近處變化小，遠(yuǎn)處變化更大）

所以O(shè)PPO再用上了另一項(xiàng)工序，用AI將兩者結(jié)合。

最終經(jīng)過兩次拍攝處理，加上一個(gè)AI切割算法，就能將“球平面投影”的部分邊緣變形人臉、和“透視投影”的背景結(jié)合起來，實(shí)現(xiàn)人臉的還原。

Anyway，如果你對(duì)技術(shù)原理本身不是很感冒，其實(shí)也沒關(guān)系。

甚至無需清楚知道OPPO這個(gè)AI系統(tǒng)中“感知人像引擎”和“畫質(zhì)增強(qiáng)引擎”的高深之處。

簡單直接，所用所得，可以理解OPPO FDF全維人像視頻技術(shù)系統(tǒng)，就是OPPO放在手機(jī)里的你的專屬化妝師和視頻后期。

是的，專屬，體現(xiàn)在結(jié)果細(xì)節(jié)。

比如開頭提到的AI智能消除瑕疵，業(yè)內(nèi)美顏產(chǎn)品和功能中，都算是標(biāo)配。

然而，將痘痘、皺紋這樣的特征，和淚痣這樣的先天特征進(jìn)行區(qū)分訓(xùn)練，“分階采樣”的智能模型，卻是少之又少。

它體現(xiàn)了技術(shù)和產(chǎn)品團(tuán)隊(duì)對(duì)用戶人性的洞察。如今的社交網(wǎng)絡(luò)發(fā)圖發(fā)視頻，確實(shí)都會(huì)發(fā)之前P一下，但所有人追求的，還是讓P圖痕跡、無跡可尋。

沒有誰想在曬照曬視頻后，被發(fā)現(xiàn)美顏P視頻的硬傷。

另外，還有OFL膚質(zhì)優(yōu)化所需的語義分割技術(shù)，同樣體現(xiàn)這種想用戶所想。

為了將皮膚、頭發(fā)和衣物區(qū)分開來，OPPO的模型通過結(jié)構(gòu)特征提取，將人像分割成臉部、脖子、手部、頭發(fā)、衣物等幾部分。

然而，與常見的美顏語義分割不同，OPPO將臉部、脖子、手部統(tǒng)一歸類為皮膚，一起進(jìn)行優(yōu)化，為的就是避免膚色不均勻的問題。

……

所以如此種種，也能知曉為啥OPPO在人像領(lǐng)域一直引領(lǐng)、功力深厚的真正原因。

一方面是最復(fù)雜最前沿的技術(shù)，另一方面還要有大眾真實(shí)審美觀的洞察，最后交付到用戶手中無感使用。

OPPO的另一面

OPPO的技術(shù)性，通常易于被忽略。

但事實(shí)是，包括手機(jī)攝影攝像在內(nèi)的“華山論劍”領(lǐng)域，OPPO產(chǎn)品和功能之所以爆款常有，都源自技術(shù)底蘊(yùn)和支撐。

在世界知識(shí)產(chǎn)權(quán)組織(WIPO)的專利報(bào)告中，OPPO都是全球榜上靠前的企業(yè)。

最新可查的2019年數(shù)據(jù)，OPPO在全球范圍內(nèi)的排名位居韓國三星和美國高通之后，位居全球第六、中國區(qū)第二。

而具體到人像領(lǐng)域，OPPO的技術(shù)專利，也能最好詮釋這家公司為何在該領(lǐng)域持續(xù)創(chuàng)新和領(lǐng)先。

OPPO官方披露，2012年開始就在人像領(lǐng)域在全球范圍內(nèi)開展專利布局，包括中國、美國、德國、法國、英國、印度以及日韓等25個(gè)國家地區(qū)。OPPO在人像美顏、虛化、防抖、夜景等影像技術(shù)的專利申請(qǐng)總數(shù)超過700件，其中發(fā)明專利占比80%。

然而技術(shù)底色的光芒，此前一定程度上被大眾消費(fèi)電子產(chǎn)品的成功而蓋過。

這其實(shí)也與剛才提及的OPPO的產(chǎn)品理念，密不可分。

講本分、講人性、講用戶體驗(yàn)，追求的是：

在今年OPPO未來科技大會(huì)現(xiàn)場，創(chuàng)始人陳明永還分享了OPPO手機(jī)的初代往事。

還是功能機(jī)時(shí)代，2008年，OPPO第一款手機(jī)在歷時(shí)一年半研發(fā)后，原型機(jī)獲得供應(yīng)鏈和客戶高贊，但最終OPPO團(tuán)隊(duì)卻決定不發(fā)布它，而是花費(fèi)半年在此基礎(chǔ)上重新設(shè)計(jì)，達(dá)到預(yù)期想要的最完美效果。

最終，笑臉手機(jī)問世，一炮而紅，用一款功能機(jī)的最慢推出紀(jì)錄，創(chuàng)造了半年破百萬臺(tái)銷量的業(yè)界佳話。

同樣的理念一以貫之，就有了后來的「充電5分鐘通話2小時(shí)」的快充領(lǐng)先方案，有了自拍、人像攝影領(lǐng)域的江湖地位。

正是這樣的產(chǎn)品理念，從需求、體驗(yàn)，帶動(dòng)了產(chǎn)品的成功。而產(chǎn)品的成功，又讓OPPO可以在更大體量規(guī)模的用戶數(shù)、用戶反饋反饋上迭代技術(shù)和打磨產(chǎn)品。

實(shí)現(xiàn)了數(shù)據(jù)智能背景下，技術(shù)-產(chǎn)品-用戶之間的正向循環(huán)和動(dòng)勢(shì)能轉(zhuǎn)換。用戶只需得到最好的產(chǎn)品體驗(yàn)和解決方案，而無需關(guān)注背后技術(shù)的復(fù)雜度和實(shí)現(xiàn)難度。

這也正是OPPO創(chuàng)始人陳明永強(qiáng)調(diào)的本分、致善式創(chuàng)新。

他說本分的力量是從自省出發(fā)，應(yīng)該做什么？做了沒有？

而且思考問題的本質(zhì)，做正確的事。

在商業(yè)特別是消費(fèi)電子領(lǐng)域，友商、競爭和各種“欺瞞奸狠”常被關(guān)注。

但相信本分和致善式創(chuàng)新，就是相信可以通過解決別人的問題、用戶的痛點(diǎn)，實(shí)現(xiàn)多贏。

具體到OPPO，就是希望以科技作為手段，實(shí)現(xiàn)每一個(gè)用戶對(duì)美、想象力和人性的追求。

陳明永認(rèn)為，科技創(chuàng)新如果沒有自我約束機(jī)制，沒有更高的理念做支撐，很可能成為一種負(fù)擔(dān)。

通盤思考中國哲學(xué)“致良知”和西方人性哲學(xué)之后，陳明永提出“科技為人，以善天下”，意以給公司經(jīng)營和科技創(chuàng)新提供一條校驗(yàn)準(zhǔn)繩，以糾偏各種追求短期效益的創(chuàng)新。

同時(shí)，他提醒科技創(chuàng)新過程中要注意規(guī)避因恐懼落后對(duì)手而不關(guān)心人的需求的盲目式創(chuàng)新。

所以從技術(shù)、產(chǎn)品，上升到企業(yè)經(jīng)營，OPPO之道，實(shí)現(xiàn)了一以貫之。

One more thing

最后，這次OPPO大秀技術(shù)和產(chǎn)品實(shí)力的大會(huì)上，還有其他最前沿技術(shù)的一攬子展出。

除了FDF全維人像視頻技術(shù)系統(tǒng)，還有三大前沿應(yīng)用。

一是手機(jī)，OPPO X 2021卷軸屏概念機(jī)：

二是代表下一代交互終端的AR眼鏡，OPPO AR Glass 2021：

以及AR應(yīng)用平臺(tái)，CybeReal全時(shí)空間計(jì)算，這是OPPO的數(shù)字孿生平臺(tái)，能夠提供高精度的全時(shí)定位和場景識(shí)別，實(shí)現(xiàn)物理世界與數(shù)字世界的融合。

另外現(xiàn)場展區(qū)，還有包括3D虛擬人像技術(shù)、AI眼球控制，UWB空間感知技術(shù)等等一系列前沿技術(shù)。

不過，在這一系列的前沿技術(shù)和創(chuàng)新產(chǎn)品里，最令人期待的還是FDF系統(tǒng)。

因?yàn)轳R上就能讓每個(gè)人所見所得。

原文標(biāo)題：祖?zhèn)魅讼裢婕遥绾伟袮I秀出新高度

文章出處：【微信公眾號(hào)：人工智能與大數(shù)據(jù)技術(shù)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq