最近离赫，兵馬俑、馬斯克以及各地網(wǎng)友跳科目三和網(wǎng)紅舞的視頻陸續(xù)在社交媒體和朋友圈刷屏塌碌，這些大約10秒左右的視頻都不是真人出鏡渊胸，均由大模型生成，這種低門檻的跳舞方式引發(fā)了網(wǎng)友的廣泛體驗台妆，掀起了一波斗舞狂潮「AI治愈了我的四肢不協(xié)調(diào)」
Swan是一款使用擴(kuò)散模型實現(xiàn)的時域一致的人體圖像動畫工具仲义，它可以通過對人體圖像進(jìn)行擴(kuò)散模型的運算怠褐，實現(xiàn)高質(zhì)量、自然流暢的人體動畫效果，適用于人體動畫創(chuàng)作募寨、虛擬角色設(shè)計等領(lǐng)域
Swan具有高度的可控性和靈活性昂利，不管是平常動作信姓、舞蹈或者是武術(shù)蟋定，都能完美還原，只需要上傳一段視頻和人物照片鹃两，就能自動生成流暢的模仿視頻遗座，連手指的動作都能精準(zhǔn)復(fù)制，甚至可以讓一把椅子也長出手跳同樣的舞蹈
技術(shù)創(chuàng)新
·架構(gòu)精簡：使用輕量級的卷積模塊俊扳，負(fù)責(zé)從條件控制（如語義分割掩碼途蒋、關(guān)鍵點等）中提取特征表示
· 交叉歸一化：使用主干網(wǎng)絡(luò)去噪特征的均值μ和方差σ對控制模塊輸出的特征進(jìn)行歸一化
· 條件控制注入策略：采用簡單的加法融合方式，避免了注意力機(jī)制等復(fù)雜操作引入的額外學(xué)習(xí)參數(shù)和不穩(wěn)定性
· 選擇性參數(shù)訓(xùn)練：從預(yù)訓(xùn)練模型的不同網(wǎng)絡(luò)層中等距采樣馋记，形成用于訓(xùn)練的參數(shù)子集
使用方法
1.上傳人物圖片
2.上傳動作視頻
3.點擊「Run Inference」按鈕開始生成
可以在“Command Output”界面查看當(dāng)前的執(zhí)行進(jìn)度号坡，視頻處理完畢會輸出信息Moviepy - Video ready懊烤，生成的視頻默認(rèn)保存在項目路徑的outputs文件夾下
注意事項
①項目安裝路徑不要包含中文
②推薦使用GTX1060以上顯卡運行此項目
③使用過程中若不慎關(guān)閉軟件后臺，請重新打開筋帖，并刷新網(wǎng)頁
