將DDPM加噪去噪比作拆樓建樓的過程吐限,原論文中的loss推導(dǎo)是忧便,一個比較tricky的方法七芭。
而這一篇考慮重建的每一步,也就是之間的距離鼻听,這兩個可以用
采樣表示,而推導(dǎo)過程中存在過多隨機采樣跺撼,所以對正態(tài)分布采樣進行整理主籍,得到DDPM的loss。
生成擴散模型漫談(二):DDPM = 自回歸式VAE
類似對VAE的分析乳愉,考慮編碼過程和解碼過程的聯(lián)合分布兄淫,要求最小化這兩個聯(lián)合分布之間的差距屯远,也能推導(dǎo)得到DDPM的loss。
image.png
image.png
在推導(dǎo)解碼過程時捕虽,使用貝葉斯定理慨丐。因為
但是回到我們最初的目的,我們希望用
因為的分布不知道,該篇還分享了兩個確定采樣方差的參考性方法咧纠,分別假設(shè)數(shù)據(jù)集只有一個樣本和數(shù)據(jù)集為正太分布推理得到蓬痒。
image.png
所以考慮過河拆橋,扔掉的假設(shè)漆羔。
image.png
放松了每一步的采樣條件梧奢,通過待定系數(shù)法把方差轉(zhuǎn)化為一個可變的參數(shù)。
最后分析了方差為0的情況下钧椰,問題轉(zhuǎn)變?yōu)橐粋€常微分方程的求解問題粹断。
image.png