清華大學(xué)聯(lián)合生數(shù)科技正式發(fā)布了中國(guó)首個(gè)高一致性、高動(dòng)態(tài)性視頻大模型Vidu。從放出的視頻來(lái)看，Vidu生成的視頻效果非常驚艷，在一致性、運(yùn)動(dòng)幅度等方面已經(jīng)達(dá)到了Sora的水準(zhǔn)，雖然比不上Sora的時(shí)長(zhǎng)，但整體上已經(jīng)可以對(duì)標(biāo)Sora。

Vidu:“畫(huà)室里的一艘船駛向鏡頭”

Sora:“逼真的特寫(xiě)視頻，展示兩艘海盜船在一杯咖啡內(nèi)航行時(shí)互相爭(zhēng)斗的場(chǎng)景?！?br/>

不過(guò)，無(wú)論是Sora還是Vidu，目前都還沒(méi)有正式發(fā)布，而且除了視頻生成的時(shí)長(zhǎng)以外，成功率、質(zhì)量對(duì)于視頻生成大模型而言也是非常重要，所以真實(shí)差距或許還有待日后仔細(xì)比較。但無(wú)論Sora還是Vidu，其更大的意義還是在于采用了新的技術(shù)。

據(jù)了解，目前市面上很多視頻生成工具增加視頻長(zhǎng)度的思路是采用插幀技術(shù)，這種方法通過(guò)在原始視頻幀之間插入額外的幀來(lái)提升視頻的流暢度和長(zhǎng)度，還有一些工具則主要通過(guò)組合不同的模型和技術(shù)來(lái)生成較長(zhǎng)的視頻，在一些較為簡(jiǎn)單的視頻動(dòng)畫(huà)制作中，已經(jīng)呈現(xiàn)出了非常不錯(cuò)的效果。

此前央視制作的文生視頻AI動(dòng)畫(huà)《千秋詩(shī)頌》

但與此同時(shí)，這兩種方式都可能會(huì)在內(nèi)容的流暢性和視覺(jué)表現(xiàn)上顯得不夠連貫，缺乏自然的過(guò)渡效果，還會(huì)出現(xiàn)畫(huà)質(zhì)下降，尤其是在快速運(yùn)動(dòng)或陰影處理上的扭曲和模糊等一系列問(wèn)題。

而Vidu采用了和Sora完全一致的Diffusion和Transformer融合的架構(gòu)，底層基于生數(shù)自研的U-ViT架構(gòu)，是第一個(gè)融合了Diffusion和Transformer的架構(gòu)，據(jù)稱比Sora的DiT架構(gòu)早了一年。生數(shù)科技聯(lián)合創(chuàng)始人兼CEO唐家渝表示，生數(shù)科技在3月份就實(shí)現(xiàn)了8秒的視頻生成，在4月突破16秒，未來(lái)還將繼續(xù)加速迭代。

公開(kāi)數(shù)據(jù)顯示，生數(shù)科技成立于2023年3月，核心團(tuán)隊(duì)來(lái)自清華大學(xué)人工智能研究院，還有來(lái)自北京大學(xué)、阿里巴巴、騰訊、字節(jié)跳動(dòng)的多位技術(shù)人才。公司員工總數(shù)近90% 為研發(fā)人員。

去年6月，生數(shù)科技獲得螞蟻集團(tuán)、BV百度風(fēng)投、卓源資本的近億元天使輪融資；8月，完成了數(shù)千萬(wàn)元天使+輪融資；今年3月，生數(shù)科技完成新一輪數(shù)億元融資，由啟明創(chuàng)投領(lǐng)投，達(dá)泰資本、鴻福厚德、智譜AI、老股東BV百度風(fēng)投和卓源亞洲繼續(xù)跟投。在三輪融資總計(jì)數(shù)億元人民幣的資本加持下，生數(shù)科技已成為目前國(guó)內(nèi)多模態(tài)大模型中估值最高的初創(chuàng)公司之一。