常見的生成模型(Generative Models)如 GAN、VAE 和基于流( Flow-based )的模型轮蜕。他們在生成高質量樣本方面取得了巨大成功滔以,但每個都有其自身的局限性诊杆。 GAN 因其對抗性訓練性質歼捐,其訓練過程難以收斂以及生成多樣性欠佳。 VAE 依賴于替代損失(surrogate loss)刽辙。流模型必須使用專門的架構來構建可逆變換窥岩。
擴散模型( Diffusion Models )的靈感來自非平衡熱力學。定義了擴散步驟的馬爾可夫鏈宰缤,以緩慢地將隨機噪聲添加到數據中颂翼,然后學習逆向擴散過程以從噪聲中構造所需的數據樣本。與 VAE 或流模型不同慨灭,擴散模型是通過固定過程學習的朦乏,并且潛在變量具有高維度(與原始數據相同)
幾種基于擴散的生成模型
擴散概率模型(diffusion probabilistic models):https://arxiv.org/abs/1503.03585
噪聲條件評分網絡(noise-conditioned score network): https://arxiv.org/abs/1907.05600
去噪擴散概率模型(denoising diffusion probabilistic models): https://arxiv.org/abs/2006.1123
https://zhuanlan.zhihu.com/p/558462214
https://lilianweng.github.io/posts/2021-07-11-diffusion-models/