AI人工智能作為前沿技術，一直在發展當中。圖像作為非常直觀的物體呈現方式，從遠古時期的壁畫開始，人類對于圖像的執著可見一斑。縱觀時間長河，現今的AI人工智能對于圖像的計算與推理無疑是呈指數型增長的。

今天同大家分享MediaTek對于AI的研發，首先我們從CVPR說起：

CVPR（IEEE Conference on Computer Vision and Pattern Recognition）是人工智能領域的年度盛會，聚集了全球范圍內研究計算機視覺和人工智能技術的科技企業、學者以及從業者。如此級別的盛會中，今年MediaTek通過3篇會議論文，1篇研討會論文以及1個競賽項目冠軍向大眾展示了AI研究的實力。

單圖像超分辨率（SISR）的目標是在低分辨率（LR）圖像的基礎上重建高分辨率（HR）圖像。近些年基于深度卷積神經網絡（CNN）的方法執行SISR任務時，在保持和優化圖像質量方面取得了顯著成果。并且，MediaTek已使用動態卷積來解決多樣可變的退化問題。

在本文中，MediaTek提出了一個統一的框架UDVD（用于可變退化的統一動態卷積超分辨率網絡），該框架使用動態卷積來處理變化的跨圖像和圖像內降級，包括超分辨率應用的噪聲、模糊和下采樣。我們通過大量的實驗，多方位分析了動態卷積性能的影響。分析顯示：就目前來說，在合成、優化圖像領域中，所提出的UDVD性能效果均優于現有技術。

MediaTek與合作研究人員提出了一種基于學習的算法，可以從移動攝像機拍攝的短視頻中去除不必要的障礙物，例如窗戶中的反射，遮擋的柵欄或雨滴等等。我們的方法是通過利用背景元素與障礙元素之間的運動差異，來恢復這兩層圖像。

我們在估算兩層的密集光流場與通過深度卷積神經網絡從流扭曲圖像重建每一層兩個步驟之間進行交替運算。基于學習的層重構使我們能夠適應流量估算中的潛在錯誤以及諸如亮度一致之類的脆性假設。我們的實驗表明，訓練綜合生成的數據可以很好地傳輸到高還原度圖像。

MediaTek已在許多使用場景中（玻璃反射和柵欄去除）的測試證實了該方法的可行性。

從單一的低動態范圍（LDR）輸入圖像中恢復高動態范圍（HDR）圖像非常具有挑戰性，這是由于相機傳感器的量化、飽和導致曝光不足/過度區域中細節的缺失。

與現有的學習方法相反，我們的核心思想是將LDR圖像形成的領域知識整合到我們的模型中。我們將HDR到LDR的圖像形成管線建模為以下三個階段：

（1）動態范圍裁剪

（2）相機響應函數的非線性映射

（3）量化

然后，建議學習三個專用的CNN來逆轉這些步驟。通過將問題分為特定的子任務，我們施加了特定的物理約束，以訓練單個子網絡。并且，我們共同對整個模型進行端到端微調，以減少錯誤的疊加。

圖形的進化從未停止，以上三篇論文不僅是MediaTek對未來圖形的幻想，更是付諸實際行動與努力，并且已經獲得成效。未來世界不一定會是賽博朋克，但是科幻電影中的許多細節已經在我們的生活當中出現，這背后是科技力量的支撐。
? ? ? ?責任編輯:pj