華盛頓大學和臉譜網的研究人員使用深度學習將靜止圖像轉換成逼真的動畫循環(huán)視頻。

他們的方法 將在即將召開的計算機視覺和模式識別會議（ CVPR ）上發(fā)布的這項技術模擬了連續(xù)的流體運動，如流動的水、煙和云，將靜止圖像轉換成無縫循環(huán)的短視頻。

“我們的方法的特別之處在于它不需要任何用戶輸入或額外的信息，” Aleksander Ho?yński ，華盛頓大學計算機科學與工程博士生，項目負責人說。你只需要一張照片。它可以輸出一個高分辨率的無縫循環(huán)視頻，通常看起來像一個真實的視頻。”

團隊創(chuàng)建了一種稱為“對稱飛濺”的方法從靜止圖像預測過去和未來的運動，結合這些數(shù)據(jù)創(chuàng)建無縫動畫。

“當我們看到瀑布時，我們知道水應該如何運動。火或煙也是如此。這些類型的運動遵循同一套物理規(guī)律，圖像中通常有線索告訴我們物體應該如何運動? y ń斯奇說我們很樂意將我們的工作擴展到更廣泛的對象上，比如為一個人在風中吹拂的頭發(fā)設置動畫。我希望最終我們與朋友和家人分享的照片不會是靜態(tài)的。相反，它們都是動態(tài)動畫，就像我們的方法生成的動畫一樣。”

為了教他們的神經網絡估計運動，研究小組在 1000 多個流體運動的視頻（如瀑布、河流和海洋）上訓練了這個模型。如果只給出視頻的第一幀，系統(tǒng)將預測未來幀中應該發(fā)生的事情，并將其預測結果與原始視頻進行比較。這種比較有助于模型改進對圖像中每個像素是否應該移動以及如何移動的預測。

研究人員使用了 NVIDIA Pix2PixHD 用于運動估計網絡訓練的 GAN 模型，以及 FlowNet2 和 PWC-Net 。模型進行訓練和推理都采用 NVIDIA GPU。培訓數(shù)據(jù)包括 1196 個獨特的視頻， 1096 個用于培訓， 50 個用于驗證， 50 個用于測試。

關于作者

Clarissa Garza 是 NVIDIA 在 2021 夏天的企業(yè)傳播實習生，她在波士頓大學新聞專業(yè)的第四年。在 NVIDIA ，她在 NVIDIA 的公司和開發(fā)者博客以及 AI 播客上工作。

審核編輯：郭婷