加州大學伯克利分校的研究人員,近日在著名預印本網站 arXive 上,發布了最新的圖像遷移成果:人體姿勢和舞蹈動作遷移。旨在把專業舞蹈演員的動作遷移到不會跳舞的人身上,算法輸出流暢,還原度極高。小編在感嘆黑科技真厲害的同時,不禁為該算法的用途捏一把汗。因為就在不久前的 DeepFakes 深度換臉算法,還被人拿來將明星的臉換到***上。
這篇文章的名字叫做:Everybody Dance Now, 是加州大學伯克利分校的研究人員:Caroline Chan, Shiry Ginosar, TingHui Zhou, Alexei A. Efros 在8月22日提交到 arXiv上的。文章中提出了一個簡單動作遷移的方法:首先選擇一支單人跳舞視頻作為源視頻,將其中的動作轉換到目標視頻中。 只需要幾分鐘,在另一個目標視頻上的目標人員(完全不會跳舞的人)就會呈現同樣的動作。
文章將動作姿態遷移看作是每一幀上圖像到圖像的轉換,同時保證時間和空間的流暢。用動作探測器作為源視頻和目標視頻中間的表示,學習了一組從舞者動作畫面到目標物體的映射,并且對這些數據進行調整,讓它與視頻完美融合,同時還加上了真實的人臉合成。通過這一框架,他們讓很多未經訓練的人跳出了芭蕾和街舞。
文章設計了能體現動作的中間表現形式:左圖的火柴人。
從目標視頻中,作者用動作識別器為每一幀制作了(火柴人, 目標人物圖像)的組合。有了這樣相關的數據,作者就能用監督方法學習火柴人和目標人物之間圖像到圖像的轉換模型了。之后,為了將源視頻的動作遷移到目標視頻中,作者把火柴人輸入到經過訓練的模型后,得到和源視頻中人物相同的目標動作。
另外,為了提高生成的質量,作者添加了兩個元素:
1. 為了使生成的模型更連貫,作者會根據上一幀對目前的幀進行預測;
2. 為了提高生成人臉的真實性,作者加入了經過訓練的GAN來生成目標人物的臉部。
-
圖像處理
+關注
關注
27文章
1324瀏覽量
57668 -
AI
+關注
關注
87文章
34090瀏覽量
275196
原文標題:從換臉到換姿勢,AI 在圖像處理的道路上越走越魔幻
文章出處:【微信號:AItists,微信公眾號:人工智能學家】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
一種簡單的“動作遷移法”
鴻蒙OS 跨設備遷移
HarmonyOS Next 應用元服務開發-應用接續動態配置遷移保持遷移連續性

基于稀疏編碼的遷移學習及其在行人檢測中的應用
【WRTnode2R申請】機器人翻轉舞蹈
【木棉花】學習筆記--分布式遷移
【木棉花】學習筆記--分布式遷移+回遷
遷移學習
DigiPCBA 庫遷移系列 - 前言
DigiPCBA 庫遷移系列 - 高級模式
基于色彩遷移的紋理圖像色彩修正方法
使用深度模型遷移進行細粒度圖像分類的方法說明

評論