電子發燒友網報道(文/李彎彎) 6月11日,豆包App上線視頻生成模型豆包Seedance 1.0 pro。這是字節跳動最新視頻模型,支持文字與圖片輸入,可生成多鏡頭無縫切換的1080P高品質視頻,主體運動穩定性與畫面自然度較高。
相關技術報告顯示,在國際知名評測榜單Artificial Analysis上,Seedance在文生視頻、圖生視頻兩項任務上均排名首位,超越Veo3、可靈2.0等優秀模型。目前,該模型已通過豆包App、即夢AI、火山引擎等平臺對外開放。
筆者在在豆包App試用,發現真的非常方便好用,比如,只需在對話框選擇“照片動起來”,上傳圖片或輸入文字指令,等待一會兒就能生成一段視頻。相較此前效果,新模型的視頻結果更符合物理邏輯且富于生動張力,同時可以保持對原圖人臉的保真度。
除了豆包的視頻生成模型之外,近年來,國內外已經出現過多款視頻生成模型,如國外的Runway、Pika、Sora、Veo,國內有可靈、PixVerse、騰訊混元、通義萬相等。
Runway
2025年4月8日,Runway 官方稱,現已推出最新版視頻模型Gen-4 Turbo。Gen-4Turbo是Runway Gen-4系列的最新迭代版本。相較于此前的模型,Gen-4Turbo在保持高保真度和動態運動表現的基礎上,大幅縮短了生成時間。使用 Gen-4 Turbo,用戶只需 30 秒即可生成10秒的視頻,非常適合快速迭代和創意探索。Runway方面表示,Gen-4Turbo現已開始向所有付費用戶逐步開放,包括個人用戶和企業客戶。
Pika
當地時間2024年12月13日,美國AI視頻生成初創公司Pika推出了新版視頻生成模型 Pika 2.0。Pika 2.0最大的亮點是其卓越的可定制性,新推出的“場景配料”功能,允許用戶上傳和自定義角色、物體和場景等各個元素。通過先進的圖像識別技術,這些元素能夠完美地融入場景中,讓創作者能夠更精細地控制內容。
在技術層面,Pika 2.0 在文本對齊和運動渲染方面都實現了新突破。系統能夠準確理解并執行復雜的文字提示,即使是最具挑戰性的場景描述也能被完整地轉化為連貫的視頻片段。不論是真實世界的自然運動,還是科幻場景中的特效,都能呈現出令人信服的效果。
Sora
2024年12月,OpenAI推出AI視頻生成模型Sora。OpenAI表示,該工具不僅可以通過文本提示生成視頻,還能夠基于靜態圖片和已有視頻創建新的內容。例如,用戶可以上傳一段視頻剪輯,Sora會生成擴展這個片段的后續畫面,使視頻變得更長、更完整。新版工具Sora Turbo可以生成最長達20秒的視頻,并且可以提供這些視頻的多種變體。
Veo 3
在今年5月的I/O開發者大會上,谷歌發布第三代視頻生成模型Veo 3。Veo 3能夠根據提示詞生成高質量視頻,同時自動生成與畫面同步的對白、唇動對齊、擬真環境音效以及情緒氛圍音軌。其底層技術V2A(Video-to-Audio)通過將視頻像素轉化為語義信號,結合文本提示生成同步音頻波形,從而實現了音畫同步。
Veo 3的音畫同步功能基于對物理世界的深刻理解,能夠實時生成與畫面匹配的聲音,例如腳步聲、烹飪聲等,而不是后期拼接。此外,Veo 3還能精準捕捉畫面情緒,渲染氛圍音效,甚至在多角色、多種風格的復雜場景下表現出色。在長提示詞理解與事件流生成方面,Veo 3也能處理復雜的事件流,生成邏輯連貫、多步驟執行的視頻片段。
可靈AI
2025年4月15日,可靈AI宣布基座模型升級,面向全球正式發布可靈2.0視頻生成模型及可圖2.0圖像生成模型??伸`是全球首個用戶可用的DiT(Diffusion Transformer)視頻生成模型,其2.0版本的模型在動態質量、語義響應和畫面美學做了相應提升,而可圖2.0模型主要集中在指令遵循、電影質感及藝術風格表現等方面。
5月29日,可靈AI宣布,推出全新可靈2.1系列模型??伸`2.1模型包含標準(720p)、高品質(1080p)兩種模式,主打高性價比和高效生成。其高品質模式(1080p)生成5s視頻僅需不到1分鐘,處于業內領先水平。在動態表現方面,模型動態細節更好、動態響應更強、動態幅度更大;其次,物理模擬更真實,人物動作幅度等更加貼近現實。
PixVerse(拍我AI)
最近,美國iOS應用商店有一個新變化。全球用戶量最大的國產AI視頻生成平臺之一——PixVerse更新了4.5版本,一下子沖到了美國iOS應用商店總榜第四,視頻類應用第一。今年6月初,PixVerse正式推出國內版產品——拍我AI,同步上線網頁端及移動端應用,并開放最新V4.5模型供用戶使用。據介紹,PixVerse自海外上線以來,已累計吸引全球超6000萬用戶,月活躍用戶突破1600萬,居AI視頻生成領域第一梯隊。
V4.5模型在生成速度、畫面精細度及多主體控制等方面均有顯著優化,支持更復雜的電影級運鏡與多角色互動敘事?!芭奈褹I”采用“App+網頁端”雙端策略,滿足不同用戶群體的需求:App端主打趣味化、低門檻體驗,內置百余種創意模板,如“寵物跳舞”“噴火特效”等,用戶上傳一張照片即可一鍵生成高質量短視頻,極大降低AI視頻創作的技術門檻。
網頁端則面向專業創作者,提供更精細的參數調節功能,支持多主體運動控制、動態運鏡及智能音效匹配,適用于短劇制作、廣告創意、游戲開發等高階需求。
除服務C端用戶外,“拍我AI”還推出了企業級API開放平臺,目前已與百度、科大訊飛、藍色光標等國內頭部企業達成合作,提供高效的視頻生成工具。企業可通過API快速生成營銷視頻、電商素材、私域運營內容等,大幅降低傳統視頻制作的成本與時間。
騰訊混元
2025年3月6日,據騰訊混元消息,騰訊混元發布圖生視頻模型并對外開源,同時上線對口型與動作驅動等玩法,并支持生成背景音效及2K高質量視頻。騰訊混元圖生視頻模型目前已經上線,企業和開發者可在騰訊云申請使用API接口;用戶通過混元AI視頻官網即可體驗。混元視頻生成開源模型目前在Github、HuggingFace等主流開發者社區均可下載體驗。
基于圖生視頻的能力,用戶只需上傳一張圖片,并簡短描述希望畫面如何運動、鏡頭如何調度等,混元即可按照用戶要求讓圖片動起來,變成5秒的短視頻,還能自動配上合適的背景音效。此外,上傳一張人物圖片,并輸入希望“對口型”的文字或音頻,圖片中的人物即可“說話”或“唱歌”;如果選擇動作模版,還能一鍵生成同款跳舞視頻。目前用戶通過混元AI視頻官網即可體驗,企業和開發者可在騰訊云申請使用API接口使用。
通義萬相
2024年9月 19 日,在杭州云棲大會上,阿里云CTO周靖人宣布通義萬相全面升級,并發布全新視頻生成模型,可生成影視級高清視頻,可應用于影視創作、動畫設計、廣告設計等領域。即日起,所有用戶可通過通義APP及通義萬相官網免費體驗。
通義萬相首批上線文生視頻、圖生視頻功能,在文生視頻功能中,用戶輸入任意文字提示詞,即可生成一段高清視頻,支持中英文多語言輸入,并可以通過靈感擴寫功能智能豐富視頻內容表現力,支持16:9、9:16等多種比例生成;在圖生視頻功能中,支持用戶將任意圖片轉化為動態視頻,按照上傳的圖像比例或預設比例進行生成,同時可以通過提示詞來控制視頻運動。現場,阿里云演示了該模型強大的運動生成和概念組合能力,輸入“穿著滑冰鞋的小兔子在冰面上靈活移動的可愛場景”,通義萬相僅用數分鐘就能生成一段高清、逼真的視頻。
寫在最后
AI視頻生成工具有著可觀的市場前景,如在影視制作領域,AI可承擔分鏡設計、后期渲染等任務,降低制作成本,縮短周期;在廣告營銷領域,可支持批量生成個性化廣告,通過數字人形象與用戶實時互動,提升轉化率;在教育領域,可模擬復雜操作流程,提供3D動態演示,提升學習效率。
如今國內外企業已經推出眾多AI視頻生成模型工具。在技術迭代上,主流模型已經實現4K分辨率、60秒以上視頻生成,并支持多模態輸入,包括文本、圖像、音頻。盡管如此,AI視頻生成仍然有很多不足之處,如復雜物理交互仍易出錯;大多模型在生成較長時間視頻方面仍存在困難;高分辨率視頻生成需要強大硬件支持,訓練和推理成本高昂等。所以,如論是從模型角度還是硬件支持角度,AI視頻生成模型還有待持續優化。
發布評論請先 登錄
《AI Agent 應用與項目實戰》----- 學習如何開發視頻應用
阿里云通義萬相2.1視頻生成模型震撼發布
OpenAI推出AI視頻生成模型Sora
OpenAI開放Sora視頻生成模型
HDMI接口如何實現4K視頻傳輸
4K視頻傳輸的接口對比

評論