界面新聞?dòng)浾?| 李如嘉
界面新聞編輯 | 文姝琪
在OpenAI的“12 Days of Christmas”12天連更計(jì)劃的第3天，視頻生成大模型Sora終于正式登場(chǎng)。
今年2月16日，OpenAI首次向外界展示了Sora的存在。據(jù)其介紹，Sora可以直接輸出長(zhǎng)達(dá)60秒的視頻，并且包含高度細(xì)致的背景、復(fù)雜的多角度鏡頭，以及富有情感的多個(gè)角色。OpenAI在官網(wǎng)上公布了數(shù)十個(gè)視頻demo，并不斷在社交平臺(tái)X上放出由Sora生成的視頻。這些內(nèi)容被集合推送至OpenAI的TikTok賬號(hào)上，短短5天內(nèi)便獲得了51.3萬(wàn)次贊，粉絲數(shù)也漲至10.6萬(wàn)。
盡管“多模態(tài)模型”并不新鮮，文本到視頻的模型也此前已存在，但從OpenAI公布的視頻中可以看到，Sora可以生成的視頻長(zhǎng)度和準(zhǔn)確性完全顛覆了市場(chǎng)上現(xiàn)有產(chǎn)品的表現(xiàn)，堪稱(chēng)史上最強(qiáng)文生視頻產(chǎn)品。
Sora不僅為OpenAI帶來(lái)了大量粉絲，也讓其估值進(jìn)一步提升。不過(guò)，當(dāng)時(shí)這家公司表示，Sora在短期內(nèi)不會(huì)向大眾開(kāi)放，因?yàn)槠洹凹夹g(shù)仍存在一些缺陷，包括一些空間問(wèn)題”。
在將近10個(gè)月之后，萬(wàn)眾矚目下，Sora終于在此次系列發(fā)布中重磅登場(chǎng)。
OpenAI表示，2月發(fā)布Sora之后，團(tuán)隊(duì)開(kāi)發(fā)了其新版本Sora Turbo，其性能有了顯著進(jìn)步，即日起該版本將作為獨(dú)立產(chǎn)品提供給ChatGPT Plus和Pro用戶(hù)。
在價(jià)格上，20美元一個(gè)月的ChatGPT Plus用戶(hù)，每月可以生成最多50個(gè)視頻，分辨率最高為720p，時(shí)長(zhǎng)為 5 秒；每月200美元的ChatGPT Pro用戶(hù)，每月最多可以生成500個(gè)視頻，可以同時(shí)生成五個(gè)視頻，時(shí)長(zhǎng)20秒，分辨率最高為1080p，并可下載無(wú)水印視頻。
Sora Turbo可以生成最長(zhǎng)達(dá)20秒的視頻，最高1080p清晰度，有寬屏、豎屏、方屏比例可選。在生成模式上，除了基礎(chǔ)的文本轉(zhuǎn)視頻 (Text-to-Video)模式，還有文本+圖像轉(zhuǎn)視頻 (Text+Image-to-Video)模式，利用圖像輔助Sora理解用戶(hù)的創(chuàng)作意圖，以及融入特定圖像元素；以及文本+視頻轉(zhuǎn)視頻 (Text+Video-to-Video)模式，用戶(hù)可以上傳已有的視頻，并結(jié)合文本描述來(lái)對(duì)其進(jìn)行修改或擴(kuò)展。
此外，Sora Turbo還有多種視頻編輯工具，包括替換、刪除或重新構(gòu)想視頻中的元素；找到并隔離最佳幀，然后向任一方向延伸它們以完成場(chǎng)景；使用Loop剪輯并創(chuàng)建無(wú)縫重復(fù)的視頻以及一個(gè)名為Storyboard的選項(xiàng)，用戶(hù)可以通過(guò)它詳細(xì)描述希望視頻在不同時(shí)間點(diǎn)發(fā)生的內(nèi)容，從而更好地指導(dǎo)一系列片段的生成。
目前，http://sora.com網(wǎng)站已經(jīng)上線(xiàn)，美國(guó)及其他市場(chǎng)的ChatGPT付費(fèi)用戶(hù)可以通過(guò)該網(wǎng)站開(kāi)始使用Sora，但在歐洲大部分地區(qū)和英國(guó)還需要一段時(shí)間才能使用，中國(guó)用戶(hù)依然受限。
不過(guò)，由于實(shí)在是太火爆，Sora網(wǎng)站一度被擠到崩潰，OpenAI CEO山姆·奧特曼（Sam Altman）表示：“由于需求超出預(yù)期，我們將不得不間歇性地關(guān)閉新用戶(hù)注冊(cè)，并且生成內(nèi)容的速度會(huì)在一段時(shí)間內(nèi)減慢?！?/span>
在技術(shù)路線(xiàn)上，目前，業(yè)界普遍猜測(cè)Sora的成功延續(xù)了OpenAI的Scaling law法則，即通過(guò)海量的數(shù)據(jù)，大量的算力，再加上大參數(shù)模型，最終“大力出奇跡”。
OpenAI研究科學(xué)家Noam Brown在Sora Turbo發(fā)布后表示，Sora是scale力量最直觀的展示。山姆·奧特曼則表示，“大家可以將 Sora看作視頻版的GPT-1?！?/span>
市場(chǎng)預(yù)計(jì)，Sora的發(fā)布會(huì)對(duì)視頻制作領(lǐng)域帶來(lái)革命性的變化，無(wú)論是電影制作、廣告、游戲開(kāi)發(fā)還是社交媒體，都可以借助視頻生成大模型降低視頻創(chuàng)作的門(mén)檻，產(chǎn)生新的機(jī)遇。
自今年2月首次預(yù)告Sora以來(lái)，OpenAI便開(kāi)始與電影制片廠(chǎng)、媒體高管以及經(jīng)紀(jì)公司展開(kāi)會(huì)談。OpenAI還允許一些藝術(shù)家、知名演員和導(dǎo)演試用該服務(wù)。
OpenAI還表示，Sora是一項(xiàng)理解和模擬現(xiàn)實(shí)的基礎(chǔ)性AI技術(shù)，是開(kāi)發(fā)能夠與物理世界互動(dòng)模型的重要一步。
OpenAI發(fā)布Sora之后，國(guó)內(nèi)互聯(lián)網(wǎng)大廠(chǎng)和大模型公司紛紛跟進(jìn)視頻大模型這一賽道，包括字節(jié)跳動(dòng)、快手，今年發(fā)布視頻生成模型的公司還包括阿里云、Minimax、生數(shù)科技、智譜AI等公司。就在最近，騰訊混元大模型也宣布上線(xiàn)視頻生成能力，正式加入競(jìng)爭(zhēng)激烈的視頻生成賽道。
不過(guò)，視頻生成模型領(lǐng)域雖然看起來(lái)火熱，也面臨著非常嚴(yán)峻的挑戰(zhàn)。近日，百度CEO李彥宏稱(chēng)“百度不做Sora”的演講被媒體曝光，李彥宏在內(nèi)部講話(huà)中稱(chēng)，Sora這種視頻生成模型的投入周期太長(zhǎng)，10年、20年都可能拿不到業(yè)務(wù)收益，無(wú)論多火爆，百度都不去做。
界面新聞從一位負(fù)責(zé)視頻生成模型的技術(shù)人士處了解到，生成式AI技術(shù)正大幅降低視頻生成的門(mén)檻，導(dǎo)致視頻數(shù)據(jù)以20倍左右的速度增長(zhǎng)，對(duì)計(jì)算成本和效率提出了嚴(yán)峻的挑戰(zhàn)。以Sora模型為例，其訓(xùn)練和推理所需的算力需求分別達(dá)到了GPT-4的4.5倍和近400倍。
中國(guó)銀河證券研究院的報(bào)告也顯示，Sora對(duì)算力需求呈指數(shù)級(jí)增長(zhǎng)。其根據(jù)Sora參數(shù)規(guī)模推演出的訓(xùn)練單次算力需求或可達(dá)到2.6×10^24Flops，相當(dāng)于GPT-3175B的8.2倍。目前Sora還在初級(jí)階段，伴隨不斷迭代調(diào)優(yōu)，其訓(xùn)練數(shù)據(jù)集規(guī)模將進(jìn)一步增大，未來(lái)算力需求也會(huì)大幅增加。
上述技術(shù)人士還表示，在編解碼層和框架層，視頻生成模型也面臨著諸多挑戰(zhàn)。一方面是效率的問(wèn)題，另一方面是在計(jì)算需求日益增長(zhǎng)的情況下，能否靈活處理越來(lái)越復(fù)雜的需求。
這些都對(duì)視頻生成模型形成巨大考驗(yàn)，但其在商業(yè)化上的形勢(shì)仍然不夠明朗，一定程度上使訓(xùn)練和推理成本上的挑戰(zhàn)更為嚴(yán)峻。
視頻生成模型同時(shí)還面臨著安全方面的挑戰(zhàn)。OpenAI表示，為了防止被濫用，用Sora生成的視頻會(huì)帶有C2PA元數(shù)據(jù)，表明這些視頻是AI生成的。在上傳圖像和視頻之前，OpenAI還會(huì)要求用戶(hù)同意使用協(xié)議，包括不得上傳18歲以下未成年的照片、色情或暴力內(nèi)容、受版權(quán)保護(hù)的內(nèi)容。一旦被發(fā)現(xiàn)上傳違禁內(nèi)容，賬號(hào)會(huì)被關(guān)停。