女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

新思科技DesignWare ARC EV系列處理器IP實現(xiàn)超分辨率

lPCU_elecfans ? 來源:新思科技 ? 作者:新思科技 ? 2021-02-01 17:32 ? 次閱讀

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法出現(xiàn)之前,我們無法通過計算將低分辨率、模糊不清的圖像轉(zhuǎn)換為平滑的高分辨率圖像。現(xiàn)在,由于算法的突破,圖像可以放大 8 倍或 16 倍,并可重新創(chuàng)建分辨率,該技術(shù)被稱為圖像超分辨率技術(shù)。為了實時執(zhí)行該技術(shù),處理器需要具備專用神經(jīng)網(wǎng)絡(luò)加速器,如新思科技的 DesignWare ARC EV 處理器 IP,以在不增加功耗和面積預(yù)算的情況下,也能滿足密集計算的功耗需求。圖像超分辨率技術(shù)現(xiàn)已應(yīng)用于視頻監(jiān)控、人臉識別、醫(yī)療診斷、數(shù)字電視、游戲、多功能打印機和遠程傳感成像等應(yīng)用。

低分辨率轉(zhuǎn)換至高分辨率的問題

我們都觀看過早期拍攝的電視劇或電影。英勇的偵探掌握了一個突破點 — 他們從監(jiān)控攝像機中得到了罪犯開車離開犯罪現(xiàn)場的圖像。但是,圖像放大后極其模糊不清。偵探轉(zhuǎn)向技術(shù)人員,用極盡嚴肅的聲音說:“你們能讓圖像清晰一些嗎?” 技術(shù)人員使用鍵盤經(jīng)過數(shù)秒激烈緊張的操作,或是執(zhí)行一些需要數(shù)小時處理的迭代操作后,將顯示器轉(zhuǎn)向偵探,上面出現(xiàn)了一幅分辨率高很多的清晰圖像,清楚地顯示了逃逸汽車的車牌。案件得以偵破!

但實際上,讓圖像變得更加清晰遠不是這么回事。無論花多少時間處理圖像,其實都無法滿足偵探的這個要求。在深度學(xué)習(xí)出現(xiàn)之前,采用最先進的技術(shù)可以完成一定程度的圖像銳化,但無法糾正嚴重模糊的圖像(或像素化非常嚴重的放大圖像)。

Adobe Photoshop 等程序中就有圖像銳化或縮放技術(shù)的示例,有三種使用較為廣泛:

最近鄰插值在圖像放大時復(fù)制圖像中的像素。

雙線性插值在圖像縮放到更高分辨率時均化周圍像素顏色值,以插入新像素。

雙三次插值分析 16 (4x4) 個像素(相對于雙線性插值的 4 (2x) 個像素),創(chuàng)建插值偽影較少的平滑圖像。雙三次插值盡管計算復(fù)雜程度較高,卻能產(chǎn)生最理想的銳化結(jié)果。

這三種技術(shù)的局限性都源于同一種理論概念,稱為數(shù)據(jù)處理不等式。簡而言之,數(shù)據(jù)處理不等式即您無法將信息添加到不存在的圖像中。放大圖像時無法恢復(fù)丟失的數(shù)據(jù)。雖然這些技術(shù)可以將模糊不清的原始圖像適度銳化,但在原始圖像放大 8 或 16 倍后,這些技術(shù)就無法處理了。

或者說,至少在深度學(xué)習(xí)和超分辨率神經(jīng)網(wǎng)絡(luò)出現(xiàn)之前,情況都是如此。

神經(jīng)網(wǎng)絡(luò)來救急了!

如果數(shù)據(jù)處理不等式的嚴酷現(xiàn)實阻礙了雙三次插值技術(shù)發(fā)揮作用,為什么深度學(xué)習(xí)算法會表現(xiàn)得更好呢?嗯,他們有秘技。基于學(xué)習(xí)的算法是用大數(shù)據(jù)集進行“訓(xùn)練”的(例如,輸入大量帶標注的圖像,用于校準網(wǎng)絡(luò)的系數(shù)),所以它們成為縮放圖像和恢復(fù)分辨率的理想算法。恢復(fù)圖像所需的額外數(shù)據(jù)來自神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集,而不是從原始圖像中獲取。例如,如果一個神經(jīng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練用于學(xué)習(xí)人臉,那么當原始圖像被縮放到高分辨率時,它就可以合理地將訓(xùn)練集的數(shù)據(jù)插入到原始圖像中。

單圖像超分辨率的第一個深度學(xué)習(xí)方法是 2014 年的超分辨率卷積神經(jīng)網(wǎng)絡(luò) (SRCNN)。在用 SRCNN 進行訓(xùn)練期間,使用雙三次插值將低分辨率的輸入圖像放大到所需的分辨率,然后將其送入一個相當淺的 CNN(跳過池化層以保持相同大小的圖像分辨率)。在輸出圖像和原始圖像之間采用均方平均 (MSE) 損失函數(shù)。通過多次訓(xùn)練迭代,盡可能地減少損失以產(chǎn)生最完善的輸出圖像。結(jié)果(圖 2)顯示,相對于雙三次插值,SRCNN 的峰值信噪比 (PSNR) 有了顯著改善。

在 SRCNN 開辟了使用 CNN 實現(xiàn)超分辨率的道路之后,許多其他方法也在這個概念上進行了改進。2016 年,快速超分辨率卷積神經(jīng)網(wǎng)絡(luò) (Fast Super-Resolution Convolutional Neural Network, FSRCNN) 取代了 SRCNN 的雙三次插值,它具有更多的 CNN 層,并結(jié)合了其他技術(shù),能夠產(chǎn)生更快、圖像質(zhì)量更高的解決方案。同樣在 2016 年,超分辨率加深網(wǎng)絡(luò)結(jié)構(gòu) (Very Deep network for Super-Resolution, VDSR) 將 SRCNN 的三層擴展到二十層,以提高準確度。2015 年底發(fā)布的超分辨率殘差網(wǎng)絡(luò) (SRResNet) 將殘差網(wǎng)絡(luò) (ResNet) 層增加至 152 層,以提高準確度。所有這些方法都提供了較高的 PSNR(更高的準確度),但經(jīng)常遺漏高頻細節(jié),因此被認為不夠悅目。

2017 年,超分辨率生成對抗網(wǎng)絡(luò) (Super-Resolution Generative Adversarial Network, SRGAN) 將 2014 年發(fā)布的 GANS 概念應(yīng)用到超分辨率上,取得了令人矚目的成果。GAN 由兩個網(wǎng)絡(luò)組成:一個生成器和一個鑒別器(圖 3),它們相互競爭以實現(xiàn)“對抗目標”。在網(wǎng)絡(luò)訓(xùn)練期間,生成器輸入低分辨率圖像并力圖創(chuàng)建高分辨率版本。鑒別器網(wǎng)絡(luò)則致力于確定輸入的是真正的高分辨率圖像還是生成器放大的圖像。換句話說,生成器試圖偽造圖像蒙混過關(guān),而鑒別器則會努力捕捉偽造圖像。訓(xùn)練期間的這一迭代過程迫使生成器改進其輸出。

訓(xùn)練部分完成后,SRGAN 的生成器網(wǎng)絡(luò)只需將低分辨率圖像轉(zhuǎn)換為更高分辨率的圖像。

SRGAN 的一個關(guān)鍵點是使用了感知損失函數(shù),該函數(shù)會對比像素級 MSE 損失和對抗性損失(鑒別器遇到自然圖像而不是生成圖像的概率)。正因為如此,SRGAN 的輸出圖像的 PSNR 值并不高,但被認為更加悅目。

現(xiàn)在,研究SRGAN 提供的一個變體。增強型超分辨率生成對抗網(wǎng)絡(luò) (Enhanced Super-Resolution Generative Adversarial Network, ESRGAN) 已成為游戲界的熱門產(chǎn)品,用于高端復(fù)古視頻游戲。雖然 ESRGAN 經(jīng)過自然圖像訓(xùn)練,但應(yīng)用于模糊不清的復(fù)古視頻游戲時也能改善圖形質(zhì)量。

超分辨率的另一個有趣用途是恢復(fù)舊電影的色彩和為其上色。超分辨率可以放大幀率和分辨率、填充缺失數(shù)據(jù)、改善模糊畫質(zhì),以及為黑白電影提供逼真的上色。

實時實現(xiàn)超分辨率

處理單個圖像、視頻游戲或舊電影以實現(xiàn)離線超分辨率,不需要實時執(zhí)行。如果時間充裕,您可以讓 CPUGPU 在后臺處理這一過程。如果應(yīng)用程序需要實時渲染和顯示圖像(可能是游戲或增強現(xiàn)實),要想在顯示之前運用超分辨率技術(shù)來改善圖像,則只能采用較低分辨率完成渲染,以節(jié)省功耗并提高每秒幀數(shù) (fps)。而要想以極快的速度解決圖像質(zhì)量改善,或從較低視頻分辨率提高到較高視頻分辨率,則需要專門的神經(jīng)網(wǎng)絡(luò)解決方案。

新思科技的 DesignWare ARC EV 系列處理器 IP,可為一系列實時超分辨率需求提供可擴展的神經(jīng)網(wǎng)絡(luò)解決方案。新思科技的 EV 架構(gòu)結(jié)合了可編程性和硬件優(yōu)化的特性,能以最小的面積和功耗提供最快的性能。EV7x(圖 5)將視覺引擎(用于單指令、多數(shù)據(jù) (SIMD) 并行處理的 512bit 向量 DSP)和一個深度神經(jīng)網(wǎng)絡(luò)加速器相結(jié)合,該加速器能夠從 880 乘累加單元擴展到 14,080 乘累加單元 (MAC),是神經(jīng)網(wǎng)絡(luò)實現(xiàn)的關(guān)鍵構(gòu)建模塊。

e16f8572-5fb0-11eb-8b86-12bb97331649.png

圖 5. DesignWare EV7x Vision 處理器 IP 通過從 LPDDR5 向配置內(nèi)部存儲器輸入部分輸入圖像、經(jīng)過訓(xùn)練的系數(shù)和中間特征圖,在其深度神經(jīng)網(wǎng)絡(luò)加速器中執(zhí)行神經(jīng)網(wǎng)絡(luò)算法。

MetaWare EV (MWEV) 軟件開發(fā)工具包為DesignWare EV7x 處理器 IP 系列提供完美支持,該工具包是一條集成工具鏈,可為經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)執(zhí)行編譯、調(diào)試、優(yōu)化、仿真和映射。MWEV 神經(jīng)網(wǎng)絡(luò)軟件開發(fā)套件 (NN SDK) 采用 SRCNN、FSRCN、VDSR 等超分辨率圖形,然后自動映射至 EV7x 硬件,進行實時操作。

性能要求

實時實現(xiàn)的性能要求各不相同。多功能打印機可能需要以 5 fps 的速度銳化圖像。但是,從 30fps 視頻升級為 60fps 圖像,需要在較短的時間內(nèi)進行較多的處理。影響處理器性能的要求包括:

超分辨模型(不同模型需要不同的計算復(fù)雜程度)

輸入圖像分辨率

輸出圖像分辨率

帶寬限制(千兆字節(jié)/秒,GB/s)

期望的幀速率 (fps)

借助這些參數(shù),設(shè)計人員可以確定他們所需的深度神經(jīng)網(wǎng)絡(luò)加速器配置。新思科技可以與設(shè)計師合作,根據(jù)輸入分辨率和帶寬限制為所選超分辨率網(wǎng)絡(luò)的不同 MAC 配置確定 fps。例如,多功能打印機實現(xiàn)可能只需要具有 880 MAC 加速器的最小 EV71 處理器。速度飛快的高端游戲應(yīng)用程序可能需要更大的處理器,如 EV72 或 EV74 和多達 14,080 個 MAC。

功耗要求

除了性能之外,另一個嵌入式系統(tǒng)的關(guān)鍵要求通常是功耗。一旦知道要求,就可以計算功耗。然而,考慮到神經(jīng)網(wǎng)絡(luò)的計算復(fù)雜性和仿真所有這些計算所需的時間(可能需要數(shù)周的時間),很難準確地仿真神經(jīng)網(wǎng)絡(luò)的功耗。新思科技使用了既快速又準確的仿真模型,來確定 EV7x 硬件實現(xiàn)神經(jīng)網(wǎng)絡(luò)的功耗。

位分辨率要求

通常使用 32 bit精度訓(xùn)練神經(jīng)網(wǎng)絡(luò);然而,對于神經(jīng)網(wǎng)絡(luò)實現(xiàn)而言,這是一種過度消耗。必要時,EV7x 的 DNN 可提供 8bit分辨率,以及可實現(xiàn)更高精度的高達 12bit的分辨率。MWEV NN SDK 將根據(jù)硬件中選定的位分辨率量化神經(jīng)網(wǎng)絡(luò)。還可以優(yōu)化每層的量化/精度,盡可能使用 8bit,而僅在需要確保準確度時才使用12bit。

結(jié)語

研究人員在不斷改進當今的先進技術(shù),所以超分辨率神經(jīng)網(wǎng)絡(luò)將會繼續(xù)發(fā)展。從 CNN 分類網(wǎng)絡(luò)的演進可以看出,首先側(cè)重于提高精度,然后再轉(zhuǎn)向提高算法效率。總體目標是用最少的計算量和數(shù)據(jù)移動獲得最高的準確度,從而將較低分辨率的圖像重新調(diào)整/升級為更高分辨率的圖像,實現(xiàn)悅目的效果。由于 DesignWare ARC EV7x 處理器 IP 系列是可編程的,它可以隨著研究的持續(xù)進行而發(fā)展為超分辨率網(wǎng)絡(luò)。

原文標題:老電影秒變4K畫質(zhì),超分辨率技術(shù)大發(fā)神威

文章出處:【微信公眾號:電子發(fā)燒友網(wǎng)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

責任編輯:haq

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴

原文標題:老電影秒變4K畫質(zhì),超分辨率技術(shù)大發(fā)神威

文章出處:【微信號:elecfans,微信公眾號:電子發(fā)燒友網(wǎng)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點推薦

    如何計算存儲示波器的垂直分辨率

    參數(shù)要計算存儲示波器的垂直分辨率,需要明確以下兩個關(guān)鍵參數(shù): 模數(shù)轉(zhuǎn)換(ADC)位數(shù)(n):ADC 是將模擬信號轉(zhuǎn)換為數(shù)字信號的核心部件,其位數(shù)決定了轉(zhuǎn)換后數(shù)字信號的精度。位數(shù)越高,能夠表示的電壓
    發(fā)表于 05-30 14:03

    LT8722如何實現(xiàn)分辨率的脈沖?

    resolution should be 333/2^(24)=0.00002 ns. 如何實現(xiàn)如此高分辨率的脈沖? PWM 是否由模擬比較產(chǎn)生?芯片中是否有真正的 DAC 來產(chǎn)生比較
    發(fā)表于 04-28 06:08

    芯原推出低功耗AI降噪與AI分辨率系列IP

    芯原股份今日宣布推出其最新的AI圖像處理系列IP,包括提供智能降噪的AINR1000和AINR2000,以及提供先進分辨率的AISR100
    的頭像 發(fā)表于 02-27 10:51 ?311次閱讀

    盛顯科技:多屏拼接處理器優(yōu)點

    多屏拼接處理器的優(yōu)點眾多,這些優(yōu)點使其在多個領(lǐng)域得到廣泛應(yīng)用。以下是對多屏拼接處理器優(yōu)點的詳細歸納: 一、高分辨率與大視野 1、無縫拼接:多屏拼接處理器能夠?qū)⒍鄠€顯示設(shè)備(如液晶拼接屏
    的頭像 發(fā)表于 02-21 14:30 ?377次閱讀
    盛顯科技:多屏拼接<b class='flag-5'>處理器</b>優(yōu)點

    DLPDLCR3310EVM如何實現(xiàn)分辨率擴展的?

    DLPDLCR3310EVM 您好,請問該款光機如何實現(xiàn)分辨率擴展的?從1368*768到1920*1080,是和0.47‘’一樣用了DLP XPR技術(shù)嗎?
    發(fā)表于 02-18 08:04

    如何提高透鏡成像的分辨率

    透鏡成像分辨率是指透鏡系統(tǒng)能夠分辨的最小細節(jié)的能力。提高透鏡成像分辨率對于許多應(yīng)用領(lǐng)域,如顯微鏡、望遠鏡、相機等,都是至關(guān)重要的。以下是一些提高透鏡成像分辨率的方法: 1. 減少像差
    的頭像 發(fā)表于 12-25 16:54 ?962次閱讀

    HDMI接口支持哪些視頻分辨率

    HDMI(High-Definition Multimedia Interface)接口支持的視頻分辨率因版本不同而有所差異。以下是HDMI接口不同版本所支持的視頻分辨率的概述: HDMI 1.4
    的頭像 發(fā)表于 11-27 14:14 ?9069次閱讀

    視頻處理器分辨率是如何管理的

    ? ? 隨著電子應(yīng)用技術(shù)和消費市場的不斷發(fā)展,LED顯示屏的顯示單元之間的間距正在逐漸縮小,然而,顯示屏的整體面積卻在不斷擴大。為了滿足這一趨勢下對超大輸出分辨率的需求,視頻處理器和拼接變得
    的頭像 發(fā)表于 11-11 15:25 ?615次閱讀
    視頻<b class='flag-5'>處理器</b>的<b class='flag-5'>分辨率</b>是如何管理的

    提高SAR ADC的分辨率

    電子發(fā)燒友網(wǎng)站提供《提高SAR ADC的分辨率.pdf》資料免費下載
    發(fā)表于 10-25 09:11 ?0次下載
    提高SAR ADC的<b class='flag-5'>分辨率</b>

    視頻分技術(shù)是指什么?

    ??分辨率技術(shù)(SuperResolution),是通過硬件或軟件的方法提高圖像或視頻幀的分辨率,通過一系列分辨率圖像獲取到高
    的頭像 發(fā)表于 09-04 08:05 ?824次閱讀
    視頻<b class='flag-5'>超</b>分技術(shù)是指什么?

    Arm精銳超級分辨率技術(shù)解析

    近日,Arm 推出了 Arm 精銳超級分辨率技術(shù) (Arm Accuracy Super Resolution, Arm ASR),這是一款面向移動設(shè)備進行優(yōu)化升級的出色開源超級分辨率(下文簡稱“分”)解決方案。本文將為你介紹
    的頭像 發(fā)表于 09-03 11:28 ?1294次閱讀
    Arm精銳超級<b class='flag-5'>分辨率</b>技術(shù)解析

    視頻處理器分辨率怎么調(diào)

    視頻處理器分辨率的調(diào)整是一個相對復(fù)雜的過程,涉及到硬件、軟件、驅(qū)動程序等多個方面。 視頻處理器的基本概念 視頻處理器(Video Processor)是一種專門用于
    的頭像 發(fā)表于 07-16 11:25 ?1846次閱讀

    VR顯示分辨率的選擇

    一、VR顯示分辨率的重要性 1.1 分辨率與視覺體驗 分辨率是指顯示上能夠顯示的像素點的數(shù)量,通常用水平像素數(shù)×垂直像素數(shù)來表示。在VR
    的頭像 發(fā)表于 07-08 10:29 ?2247次閱讀

    伺服編碼分辨率是什么意思

    伺服編碼分辨率是指編碼能夠檢測到的最小角度或位置變化。在伺服系統(tǒng)中,編碼器用于測量電機軸或負載的位置和速度,以實現(xiàn)精確控制。分辨率越高,
    的頭像 發(fā)表于 06-17 11:16 ?1545次閱讀

    伺服電機編碼分辨率是多少

    伺服電機編碼分辨率是衡量編碼性能的重要指標之一,它直接影響到伺服系統(tǒng)的精度和穩(wěn)定性。本文將詳細介紹伺服電機編碼分辨率,包括其定義、
    的頭像 發(fā)表于 06-17 11:13 ?2496次閱讀