2020年2月3號之后鸥跟,Iperov同志沉浸了一小段時間丢郊。不過,沒多久又進入了瘋狂更新的狀態(tài)医咨。目前已經(jīng)發(fā)布了28號(今天)的版本枫匾。
我這里先拎幾個重點。
1. 修復眼神詭異或者亂飄的問題拟淮。
使用DFL2后干茉,不少人發(fā)現(xiàn)眼神上的問題,具體的體現(xiàn)有眼神完全不同步(當然有些人是素材不夠)很泊,還有一種是眼神很詭異角虫,感覺變異了一樣。
針對這兩種情況委造,軟件進行了改進戳鹅。具體有多大改善,還有待觀察昏兆。
2. AI換臉+AE特效的“整臉”模型
繼半臉枫虏,全臉,中臉爬虱,之后又添加了新的一種臉型Whole_Face隶债,這個其實可以簡稱為“全臉” ,但是因為之前已經(jīng)有一種FUll_FACE , 為了區(qū)別我覺得翻譯成“整臉” 比較好跑筝。這個類型死讹,最大的功能就是解決額頭的問題。
但是…這是一個半成品曲梗,需要結(jié)合AE才能做出完整的效果赞警。簡略教程參見上圖,具體使用方法虏两,可以關(guān)注后續(xù)文章愧旦。
3. 256提升到512。
因為出了全臉之后碘举,引發(fā)的蝴蝶效應忘瓦。原先我們提取的圖片都是256×256像素搁廓,現(xiàn)在因為需要處理整個臉部引颈,所以提升了頭像尺寸耕皮,擴到了512×512。同時把訓練模型像素的最大值也改到了512(32G,V100聽完后瑟瑟發(fā)抖蝙场,說了句:告辭)凌停。 雖然多個地方的size都改大了,但是并不意味著你的顯卡能跑出更好的效果…
還有安裝包是越來越大了…
最近三次更新的主要內(nèi)容應該就是這些了售滤,具體更新記錄如下:
2020年2月28日
Extractor:
提取
image size for all faces is now 512
提取的圖片尺寸從256提升到512
fix RuntimeWarning during the extraction process
修復提取過程中出現(xiàn)RuntimeWarning的問題罚拟。
SAEHD:
max resolution is now 512
模型參數(shù)中,最高像素改成512(32G V100同樣表示玩不起)
fix hd arhitectures. Some decoder’s weights haven’t trained before.
修復HD架構(gòu)完箩,之前一些解碼器權(quán)重沒有被訓練到赐俗。
new optimized training:
新的優(yōu)化訓練
for every <batch_size*16> samples,
對于每個<batch_size*16>樣本,
model collects <batch_size> samples with the highest error and learns them again
模型收集誤差比較大的樣例進行重新學習弊知。
therefore hard samples will be trained more often
因此阻逮,比較難的樣本被訓的更狠。
‘models_opt_on_gpu’ option is now available for multigpus (before only for 1 gpu)
“models_opt_on_gpu”選項現(xiàn)在可用于多顯卡(以前僅用單顯卡)
fix ‘a(chǎn)utobackup_hour’
修復“自動備份時間”
2020年2月23日
SAEHD: pretrain option is now available for whole_face type
SAEHD: 預訓練支持“整臉”
fix sort by abs difference
修復abs差異排序
fix sort by yaw/pitch/best for whole_face’s
修復整臉的yaw/pitch/best排序秩彤。
2020年2月21日
Trainer: decreased time of initialization
訓練:減少初始化時間
Merger: fixed some color flickering in overlay+rct mode
合成:修復overlay+rct模式下的一些閃縮的問題叔扼。
SAEHD:
added option Eyes priority (y/n)
添加眼部優(yōu)先選項
Helps to fix eye problems during training like “alien eyes”
有助于在訓練過程中解決“異形眼”
and wrong eyes direction ( especially on HD architectures )
和眼神不對的問題(尤其是在HD架構(gòu)上)
by forcing the neural network to train eyes with higher priority.
通過強制神經(jīng)網(wǎng)絡以更高的優(yōu)先級來訓練眼睛。
before/after https://i.imgur.com/YQHOuSR.jpg
之前/之后
added experimental face type ‘whole_face’
添加試驗性臉型“整臉”漫雷。
Basic usage instruction: https://i.imgur.com/w7LkId2.jpg
基本用法說明:
‘whole_face’ requires skill in Adobe After Effects.
整臉需要 AE技能
For using whole_face you have to extract whole_face’s by using
使用整臉你必須提取整臉圖片瓜富,通過以下兩個腳本。
4) data_src extract whole_face
and
5) data_dst extract whole_face
Images will be extracted in 512 resolution, so they can be used for regular full_face’s and half_face’s.
圖片會按512像素進行提取降盹。他們同樣也適用于常規(guī)的全臉和半臉与柑。
‘whole_face’ covers whole area of face include forehead in training square,
整臉涵蓋臉部的整個區(qū)域包含額頭。
but training mask is still ‘full_face’
但是訓練遮罩依舊是全臉
therefore it requires manual final masking and composing in Adobe After Effects.
因此需要你通過AE手動遮罩和合成澎现。
added option ‘masked_training’
添加遮罩訓練
This option is available only for ‘whole_face’ type.
這個選項僅適用于整臉
Default is ON.
默認開啟
Masked training clips training area to full_face mask,
遮罩訓練可以把訓練區(qū)域剪輯到全臉遮罩仅胞。
thus network will train the faces properly.
這樣網(wǎng)絡就可以正確訓練臉部
When the face is trained enough, disable this option to train all area of the frame.
當訓練足夠多的時候,關(guān)閉這個選項剑辫,讓網(wǎng)絡去訓練所有區(qū)域干旧。
Merge with ‘raw-rgb’ mode, then use Adobe After Effects to manually mask, tune color, and compose whole face include forehead.
使用Raw-rgb模式合成,然后使用AE手動遮罩調(diào)整顏色妹蔽,然后合成椎眯,這樣額頭也能被換掉。
更多更新內(nèi)容請看:https://www.deepfaker.xyz/?page_id=1604
最新版見672316851群文件胳岂,據(jù)說轉(zhuǎn)發(fā)一下可以極速下載哦编整!