?最近AI作畫確實很火蒿叠,在DALL-E和Imagen嶄露頭角之后缭召,ERNIE-ViLG滋捶、Stable-Diffusion(SD)、Disco-Diffusion相繼開源開放疟丙,涌現出豐富多彩的AI作畫作品颖侄。本次通過一個開源工具來整體測試三種模型效果舆绎,用幾行代碼就整體測試國內外模型的效果酝静。
ERNIE-ViLG效果
prompt:明日方舟,炫酷扭仁,獸耳娘炊琉,機能風展蒂,卡通
項目地址:PaddleHub/modules/image/text_to_image/ernie_vilg at develop · PaddlePaddle/PaddleHub · GitHub
Stable-Diffusion(SD)效果
prompt:a beautiful landscape photography of snow covered Rocky mountains, a dead intricate tree in the foreground, sunset, dramatic lighting, by Marc Adamus
prompt:close-up maximalist illustration of panther, by makoto shinkai, akihiko yoshida, yoshitaka amano, super detailed, hd wallpaper, digital art
項目地址:https://github.com/PaddlePaddle/PaddleHub/tree/develop/modules/image/text_to_image/stable_diffusion
Disco-Diffusion效果
prompt:在artstation上的一幅美麗的畫,一個獨特的燈塔苔咪,照耀著它的光穿過喧囂的血海
由greg rutkowski和thomas Kinkade所作
以上驚艷的文圖生成效果锰悼,是通過PaddleHub三行Python代碼實現的作品:
import?paddlehub?as?hub?
module?=?hub.Module(name="ernie_vilg")?
results?=?module.generate_image(text_prompts=["巨大的白色城堡"])
以上ernie_vilg替換為stable_diffusion或disco_diffusion_ernievil_base即可輕松體驗不同的文圖生成模型,用戶也可自定義修改text_prompts來獲得不同的效果體驗团赏。
三行代碼雖然簡單箕般,但是代碼背后的文圖生成模型可不簡單,分別來源于現在文圖生成領域最頂尖的開源成果:ERNIE-ViLG舔清、Stable-Diffusion以及Disco Diffusion + ERNIE-ViL隘世。以DD+ ERNIE-ViL為例,DD擴散模型負責從初始噪聲或者指定初始圖像中來生成目標圖像鸠踪,ERNIE-ViL負責引導生成圖像的語義和輸入的文本的語義盡可能接近丙者,隨著擴散模型在ERNIE-ViL的引導下不斷的迭代生成新圖像,最終能夠生成文本所描述內容的圖像营密。
國內外文生圖模型的效果對比械媒,大家可以自行測試,只需要三行代碼就可以,項目地址: