自去年至今,AI視頻生成發(fā)展迅速寒屯,近期Sora的公布更是一石激起千層浪荐捻。隨著這種發(fā)展,將AI視頻生成放進(jìn)業(yè)務(wù)工作流寡夹,也逐步成為了可能处面。
目前在網(wǎng)絡(luò)上比較常見的工具,主打的更多為文生視頻菩掏,其在創(chuàng)意激發(fā)魂角、以及非設(shè)計(jì)與設(shè)計(jì)人員溝通中能夠起到很好的作用,但是由于其較大的不穩(wěn)定性和很低的可控性智绸,直接商用的難度很高野揪。相比之下,圖生視頻能夠更可控的進(jìn)行內(nèi)容產(chǎn)出瞧栗,在目前的階段能夠更容易的插入到工作流當(dāng)中斯稳。所以本文的重點(diǎn)會(huì)放在圖生視頻上面,期望本文能夠?qū)τ羞@方面需求的個(gè)人或團(tuán)隊(duì)提供幫助迹恐。
Runway
Runway是一款自由度較高的AI視頻生成工具挣惰,如下圖
除了支持添加提示詞之外,Runway支持通過筆刷圈定希望產(chǎn)生動(dòng)態(tài)的部分殴边,同時(shí)支持設(shè)置動(dòng)態(tài)的幅度(分XYZ軸)憎茂,以及可以通過增加噪聲讓AI有更多自己發(fā)揮的空間。
在不添加任何提示詞锤岸,不使用筆刷的默認(rèn)設(shè)置下竖幔,生成的效果:
當(dāng)如上方截圖設(shè)置了筆刷后,生成的效果:
可以看出能耻,AI很好的理解了我把畫面中飛舞的美元刷上的目的赏枚,不過衣服并沒有如我希望的飄起來亡驰;同時(shí)未做筆刷的部分也加入了小幅的動(dòng)畫效果讓整個(gè)畫面看起來更加自然晓猛。
PIKA
Pika的自由度不像Runway這么高饿幅,除了提示詞之外可調(diào)的項(xiàng)目基本只有動(dòng)幅和幀數(shù)而已,生成的效果:
可以看出Pika自己能夠抓出畫面中可以動(dòng)態(tài)化的點(diǎn)戒职,選擇了zoomin的前提下栗恩,自己能夠?qū)Ξ嬅嫒宋锏念^發(fā)飄揚(yáng)做出處理,同時(shí)動(dòng)畫基本沒有出現(xiàn)類似Runway的bug情況洪燥。
Stable Video
Stable Video是近期新開放的能夠圖生視頻的工具磕秤,由于該工具對(duì)于尺度要求較高,所以更換了一張圖片進(jìn)行生成捧韵,效果如下:
可以看出其在空間上的處理效果非常強(qiáng)市咆,甚至接近了近期僅發(fā)布了宣傳視頻的Sora,但是其對(duì)人物的處理較為粗糙再来,更像是對(duì)靜物的處理蒙兰。
總結(jié)
三款工具各有千秋,Runway自由度更高但是需要嘗試多次才能獲得可商用的版本芒篷;Pika自由度低但是生成效果相對(duì)穩(wěn)定一些搜变;Stable Video空間感很強(qiáng)更加適合靜物(例如家裝)的處理。
總體來說针炉,這三款工具都已經(jīng)達(dá)到了可商用的AI視頻生產(chǎn)水平挠他,目前的主要限制主要還是視頻長(zhǎng)度較短(4秒左右)和動(dòng)幅較小。不過按照目前的發(fā)展速度來看篡帕,AI視頻生成的能力依然會(huì)有持續(xù)性的大幅提升殖侵,這些問題的解決應(yīng)該也只是時(shí)間問題。