女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

除了刷屏的Sora,國內外還有哪些AI視頻生成工具

Carol Li ? 來源:電子發燒友網 ? 作者:李彎彎 ? 2024-02-26 08:42 ? 次閱讀



電子發燒友網報道(文/李彎彎)近日,OpenAI發布的文生視頻模型Sora全網刷屏。相比之前的文生視頻模型,Sora無論是視頻時長,還是畫面精細度,細節完整性,或是多鏡頭拍攝,都更為突出。Sora的發布也讓AI生成視頻有了突破性進展。

過去一年多,全球科技公司都在發布各種大模型,然而AI生成內容更多集中在文本和圖片方面,AI視頻生成方面卻進展緩慢。從當前的形勢來看,AI視頻生成在今年或許會有一番新景象。那么目前國內外都有哪些AI視頻生成工具,效果如何呢?

Sora

OpenAI發布的新型視頻生成模型Sora,其核心能力是能夠生成長達一分鐘的高清視頻,這一時長遠超之前的生成模型。而且,Sora生成的視頻不僅畫質卓越,細節豐富,而且幀率高、連續性好,幾乎達到了無縫銜接的效果。

從OpenAI官網展示的一個視頻來看,輸入提示詞“一位時尚女士走在東京的街道上,街道上充滿了溫暖的霓虹燈和動畫城市標志。她穿著黑色皮夾克、紅色長裙和黑色靴子,拿著一個黑色錢包。她戴著太陽鏡,涂著紅色口紅。她走路自信而隨意。街道潮濕且反光,形成了五顏六色燈光的鏡面效果。許多行人四處走動。”

生成的視頻,無論是運鏡還是人物、地面、背景的細節,還有拉進鏡頭后人物面部上的皺紋、毛發、墨鏡上的反光,都幾乎可以以假亂真,畫面穩定不錯位。在長達60秒的視頻里,畫面隨鏡頭的大幅度運動并沒有出現錯位的情況,整體風格保持了驚人的一致性。

IDC中國預測,Sora將率先在短視頻、廣告、互動娛樂、影視制作和媒體等行業中得到應用。在這些領域,利用Sora的多模態大模型能力,可以輔助內容行業的工作者更高效地創作視頻,不僅加快了生產速度,還提高了產出數量,并為用戶帶來前所未有的視覺體驗。這將助力企業實現成本降低、效率提升,并進一步優化用戶體驗。

Pika 1.0

在OpenAI發布視頻生成模型Sora之前,去年11月29日,美國AI初創公司Pika labs發布的文生視頻產品Pika 1.0呈現的效果在當時也相當驚艷。Pika labs是一家成立于去年4月份的初創公司,創始人郭文景和聯合創始人兼CTO Chenlin Meng,都是斯坦福大學AI Lab博士生。一位專注于NLP(自然語言處理)和圖形學,另一位主攻計算機視覺方向。

據介紹,該公司推出的視頻生成模型Pika 1.0能夠生成和編輯3D動畫、動漫、卡通和電影。視頻生成方面,可以通過文字生成視頻,也可以圖片生成視頻。比如,只需輸入提示詞“馬斯克穿著太空服,3D動畫”,一個動畫版本、穿著太空服準備乘坐火箭上太空的馬斯克即可生成,外形、動作、背景等元素均十分逼真,可以媲美花大成本制作的3D動畫影像。

Pika 1.0還可以通過原有視頻生成更高質量的視頻。該公司當時展示了一個騎馬的黑白原視頻,通過Pika 1.0生成了物種不同風格的動畫,幾乎涵蓋現有電影和動畫大部分風格,看上去質量效果非常好。除了視頻生成,Pika 1.0還能夠進行視頻編輯,用戶只需要選定編輯區域,就能根據文本提示詞修改特定區域。

在當時來看,Pika 1.0的出現可以說效果好于之前的文生視頻模型。然而隨著現在Sora的出現,Pika或許會感覺到壓力。Pika公司創始人郭文景表示,“我們覺得這是一個很振奮人心的消息,我們已經在籌備升級中,將直接對標 Sora。”

Gen-2

相比于OpenAI和Pika,成立于2018年的AI初創公司Runway應該是最早探索視頻生成領域的企業。2022年2月,Runway發布了Gen-1,可以對原視頻進行風格化的編輯。3月該公司又發布了生成式AI視頻模型Gen-2,允許用戶輸入文本提示生成四秒長視頻,8月,Runway添加了一個選項,可以將 Gen-2 中人工智能生成的視頻延長至 18 秒。

在隨后的幾個月,Runway還對Gen-2 做了幾次更新。之后更是推出動態筆刷Motion Brush,它是Runway視頻生成工具Gen-2的一部分。Runway動態筆刷是一種利用人工智能技術讓靜止圖片中的物體動起來的功能,你只需要在圖片上用畫筆涂抹你想要動起來的部分,Runway就會自動識別物體的運動軌跡和特征,生成逼真的動態效果。該工具的發布引起業界不小的關注。

在Pika 1.0和Sora出現之前,Runway的Gen-2模型被認為是AI視頻制作的頂尖模型,它制作出來的視頻效果逼真、流暢、高清。隨著OpenAI Sora的發布,Runway接下來或許會有新動作,在Sora發布之后,Runway CEO第一時間在X上發推特稱“game on(競爭開始了)”。

Stable Video Diffusion

在圖片生成領域遙遙領先的Stability AI,去年11月發布了其最新的AI模型Stable Video Diffusion,這款模型能夠通過現有圖片生成視頻,是基于之前發布的Stable Diffusion文本轉圖片模型的延伸,不過當時,這款模型并不是對所有人開放的。

據介紹,Stable Video Diffusion當時還處于Stability AI所謂的“研究預覽”階段。想要使用這款模型的人必須同意一些使用條款,其中規定了Stable Video Diffusion的預期應用場景(例如教育或創意工具、設計和其他藝術過程等)和非預期的場景(例如對人或事件的事實或真實的表達)。

從網友對比反饋來看,Stable Video Diffusion生成視頻的效果可以與當時被看好的的Runway 和Pika Labs 的AI生成視頻相媲美。不過局限性在于,Stability AI的視頻生成模型,不能生成沒有運動或緩慢的攝像機平移的視頻,也不能通過文本進行控制,也不能渲染文字(至少不能清晰地渲染),也不能一致地“正確地”生成人臉和人物。

寫在最后

目前來看,在視頻生成方面,表現比較優秀的幾個模型就是上文提到的OpenAI發布的Sora,以及Pika labs、Runway、Stability AI發布的視頻模型。其中Sora無論是在時長,還是運鏡、畫面細節等方面都更為突出。Stability AI的模型目前還不能進行文本生成視頻。

除了這幾款視頻生成工具之外,還有一些企業在文生視頻方面也有動作,包括Adobe,該公司宣布已收購AI視頻生成創業公司Rephrase.ai;谷歌,其團隊已經發布發布了視頻生成模型VideoPoet。

國內的字節跳動、百度、阿里在這方面也有動作。字節跳動此前就推出了一款視頻模型Boximator,可以通過文本精準控制生成視頻中人物或物體的動作。不過近日,字節跳動對此回應稱,Boximator是視頻生成領域控制對象運動的技術方法研究項目,目前還無法作為完善的產品落地,距離國外領先的視頻生成模型在畫面質量、保真率、視頻時長等方面還有很大差距。

另外值得關注的是,2月23日消息,谷歌資深科學家、VideoPoet項目負責人蔣路已加入字節跳動旗下短視頻社交平臺TikTok。字節跳動接下來在視頻生成方面的研究還是可以期待一下。

早前就傳出百度文心大模型視頻生成功能在內測中,不過目前還沒進展的消息。阿里在去年底也上線了Animate Anyone模型,通過一張圖片就能生成視頻,當時有網友用一張照片生成了一段跳舞視頻,每一個動作都十分自然,幾乎可以亂真,在網絡上引起大量傳播。

總的來說,目前國內外已經有不少企業在探索視頻生成領域,包括國內的字節跳動、百度、阿里,雖然已經逐漸有一些進展。不過相比OpenAI、Pika labs、Runway等的視頻模型,還存在差距。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • OpenAI
    +關注

    關注

    9

    文章

    1200

    瀏覽量

    8614
  • 大模型
    +關注

    關注

    2

    文章

    3008

    瀏覽量

    3784
  • Sora
    +關注

    關注

    0

    文章

    83

    瀏覽量

    422
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    AI Agent 應用與項目實戰》----- 學習如何開發視頻應用

    開發一個視頻內容生成Agent。 訪問語聚AI平臺官網 ,進行注冊或登錄。 在平臺首頁,了解語聚AI的功能和應用場景,特別是其支持的視頻生成
    發表于 03-05 19:52

    阿里云通義萬相2.1視頻生成模型震撼發布

    近日,阿里云旗下的通義萬相迎來了重要升級,正式推出了全新的萬相2.1視頻生成模型。這一創新成果標志著阿里云在視頻生成技術領域的又一次重大突破。 據悉,萬相2.1視頻生成模型在多個方面實現了顯著提升
    的頭像 發表于 01-13 10:00 ?729次閱讀

    2024年智慧路燈國內外應用案例(節選)智慧路燈案例

    2024年智慧路燈國內外應用案例(節選)智慧路燈案例
    的頭像 發表于 01-03 10:06 ?552次閱讀
    2024年智慧路燈<b class='flag-5'>國內外</b>應用案例(節選)智慧路燈案例

    華為云 Flexus 云服務器 X 實例 Windows 系統部署一鍵短視頻生成 AI 工具 moneyprinter

    在追求創新與效率并重的今天,我們公司迎難而上,決定自主搭建一款短視頻生成 AI 工具——MoneyPrinter,旨在為市場帶來前所未有的創意風暴。面對服務器選擇的難題,我們經過深思熟慮與多方比較
    的頭像 發表于 12-30 09:10 ?497次閱讀
    華為云 Flexus 云服務器 X 實例 Windows 系統部署一鍵短<b class='flag-5'>視頻生成</b> <b class='flag-5'>AI</b> <b class='flag-5'>工具</b> moneyprinter

    OpenAI暫不推出Sora視頻生成模型API

    OpenAI近日宣布,目前暫無推出其視頻生成模型Sora的應用程序接口(API)的計劃。Sora模型能夠基于文本和圖像生成視頻,引發了廣泛關
    的頭像 發表于 12-20 14:23 ?455次閱讀

    OpenAI推出AI視頻生成模型Sora

    近日,備受期待的OpenAI再次推出了其創新之作——AI視頻生成模型Sora。這一新品的發布,無疑為AI技術注入了新的活力。 據悉,Sora
    的頭像 發表于 12-12 09:40 ?598次閱讀

    OpenAI開放Sora視頻生成模型

    OpenAI近日宣布,其傾力打造的人工智能視頻生成系統Sora已正式向美國及其他市場的ChatGPT Plus訂閱用戶開放。自去年首次公開預覽以來,Sora歷經約10個月的精心研發與優化,現已全面
    的頭像 發表于 12-10 11:16 ?655次閱讀

    字節跳動自研視頻生成模型Seaweed開放

    近日,字節跳動旗下的AI內容平臺即夢AI傳來新消息,宣布自研的視頻生成模型Seaweed即日起正式面向平臺用戶開放使用。這一舉措標志著字節跳動在AI
    的頭像 發表于 11-11 14:31 ?553次閱讀

    生成AI工具作用

    生成AI工具是指那些能夠自動生成文本、圖像、音頻、視頻等多種類型數據的人工智能技術。在此,petacloud.
    的頭像 發表于 10-28 11:19 ?611次閱讀

    今日看點丨Vishay裁員800人,關閉上海等三家工廠;字節跳動發布兩款視頻生成大模型

    1. 字節跳動發布兩款視頻生成大模型 面向企業市場開啟邀測 ? 9月24日,字節跳動旗下火山引擎發布兩款視頻生成大模型(豆包視頻生成-PixelDance、豆包視頻生成-Seaweed
    發表于 09-25 15:48 ?898次閱讀

    火山引擎推出豆包·視頻生成模型

    在近期舉辦的2024火山引擎AI創新巡展上,火山引擎總裁譚待隆重推出了豆包·視頻生成模型,這一舉措標志著火山引擎在視頻內容生成領域邁出了重要一步。豆包模型憑借其獨特的技術優勢,吸引了業
    的頭像 發表于 09-25 14:11 ?527次閱讀

    MediaTek與快手攜手創新,端側視頻生成技術引領AI新紀元

    在科技日新月異的今天,MediaTek與快手再次攜手,于近日宣布了一項重大技術突破——高效端側視頻生成技術的誕生。這項技術不僅是對即將于2024年世界移動通信大會(MWC 2024)上亮相的先進視頻生成技術的有力延續,更是雙方在生成
    的頭像 發表于 07-05 11:52 ?1581次閱讀

    MediaTek聯合快手推出高效端側視頻生成技術

    MediaTek 與快手共同宣布,推出高效端側視頻生成技術,共同探索并推進生成AI 技術的革新。作為對 2024 世界移動通信大會(MWC 2024)上亮相的視頻生成技術的延續,該
    的頭像 發表于 07-05 11:23 ?8933次閱讀

    Runway發布Gen-3 Alpha視頻生成模型

    專為電影和圖像內容創作者提供生成AI工具的Runway公司近日宣布,其最新的Gen-3 Alpha視頻生成模型已經正式問世。這款模型在多方面均取得了顯著的進步,為創作者們帶來了前所未
    的頭像 發表于 06-19 09:25 ?779次閱讀

    Sora還在PPT階段,“中國版Sora”已經開放使用了!

    電子發燒友網報道(文/梁浩斌)今年春節期間,OpenAI的AI文字生成視頻模型Sora驚艷全世界,極高的視頻生成效果、長達60秒的
    的頭像 發表于 06-17 09:07 ?3981次閱讀