Stable Diffusion入門使用技巧及個(gè)人實(shí)例分享--大模型及l(fā)ora篇(1)

大家好,我是小魚姐姐喷屋,近期使用Stable Diffusion比較多,積累整理了一些內(nèi)容辐怕,得空分享給大家逼蒙。如果你近期正好在關(guān)注AI繪畫領(lǐng)域,可以看看哦寄疏。

本文不包含SD如何安裝及使用的內(nèi)容是牢,比較適合已經(jīng)解決了安裝問(wèn)題,在尋找合適的大模型及l(fā)ora陕截,或者想找一些繪畫案例給自己的創(chuàng)作帶來(lái)一些靈感的人驳棱。文章總共2000多字,且涉及大量圖片农曲,謹(jǐn)慎觀看哈社搅。下面正式開始。


Stable Diffusion簡(jiǎn)介

Stable Diffusion 是由CompVis乳规、Stability AILAION共同開發(fā)的一個(gè)文本轉(zhuǎn)圖像模型形葬,它通過(guò)LAION-5B子集大量的 512x512 圖文模型進(jìn)行訓(xùn)練,我們只要簡(jiǎn)單的輸入一段文本暮的,Stable Diffusion 就可以迅速將其轉(zhuǎn)換為圖像笙以,同樣我們也可以置入圖片或視頻,配合文本對(duì)其進(jìn)行處理冻辩。

通俗的解釋:

StableDiffusion是一種基于擴(kuò)散過(guò)程的圖像生成模型猖腕,可以生成高質(zhì)量、高分辨率的圖像恨闪。它通過(guò)模擬擴(kuò)散過(guò)程倘感,將噪聲圖像逐漸轉(zhuǎn)化為目標(biāo)圖像。這種模型具有較強(qiáng)的穩(wěn)定性和可控性咙咽,可以生成具有多樣化效果和良好視覺效果的圖像老玛。

基礎(chǔ)大模型

模型網(wǎng)址推薦:

C站:有預(yù)覽圖、提示詞钧敞,非常適合新手蜡豹,可以通過(guò)查找自己喜歡的圖片來(lái)選擇合適的模型。

https://civitai.com/

最全的模型庫(kù):(適合有代碼基礎(chǔ)的同學(xué)使用)

https://huggingface.co/models

下面推薦幾個(gè)我在C站挖掘的目前最常用的幾個(gè)模型:

1犁享、好看人物插畫風(fēng):

說(shuō)明:

https://civitai.com/models/1540/unstableinkdream?modelVersionId=40626


優(yōu)點(diǎn):畫人物特別好看

建議搭配參數(shù): 采樣器:DPM++ 2M Karras 步數(shù)20

繪畫示例:

1余素、人物角色設(shè)計(jì):

提示詞示例:((masterpiece)),((nsanely detailed)), ((intricate)),((high quality)) a little girl character, pop-art illustration style, simple,cute, 5 years old girl, full color,? blue dress, blue shoes, long brown hair, blue hat, no outline,? 3d


基于這個(gè)人物嘗試制作一個(gè)4格漫畫:


2豹休、生成類似的背景+不同的人物:

提示詞示例:((masterpiece)),((nsanely detailed)),? ((HD Quality)),((exquisite face))

background: The background is a construction site, with skyscrapers under construction,? feeling in 1990s shenzhen.

character:There is only one 20-year-old smile asian female agent炊昆,must appear item:balloon


關(guān)于這個(gè)模型的一個(gè)小技巧:

這個(gè)模型其他都好,就是你們看我上面生成的圖片人物都很精致很好看,但是就是顏色一直是灰蒙蒙的效果凤巨。多方查閱之后视乐,找到一個(gè)方法,需要下載一個(gè)VAE,然后在設(shè)置里面勾選上即可:

參考教程鏈接:https://www.bilibili.com/video/BV1Sb411X7c4/?vd_source=fdd967bddb96fd5ecdc8f9f53badb86b

VAE下載地址:https://huggingface.co/stabilityai/sd-vae-ft-mse-original/tree/main

如何使用:


下面是對(duì)比效果:

((masterpiece)),((best quality))The style of a natural painter includes storybook illustrations, detailed plant illustrations, andlively tableaus. The kawaii girl sitting on a half cut watermelon.

設(shè)置VAE前:


設(shè)置VAE后:


2敢茁、二次元

說(shuō)明:

https://civitai.com/models/9409/or-anything-v5



繪畫示例:

1佑淀、角色設(shè)計(jì):

((masterpiece)),((nsanely detailed)), ((intricate)),((high quality)) a little girl character, pop-art illustration style, simple,cute, 5 years old stading girl, full color,? red dress,? red shoes, long brown hair,? red hat, no outline,? 3d


2、生成故事插畫:

((masterpiece)),((nsanely detailed)), ((intricate)),Best quality,anime,Draw a little girl? [Zhang Ziyi | Lin Chiling] walking in the park, wearing a beautiful red dress, she showed a surprised expression,suddenly only a cute white kitten in the grass.


((masterpiece)),((nsanely detailed)), ((intricate)),((high quality))? 5 years old standing girl,? simple,cute, full color, brown hair, yellow dress, black shoes.She stands in a magical garden surrounded by? colored flowers . Her big eyes were full of curiosity and surprise.


3彰檬、超真實(shí)風(fēng)格

說(shuō)明:

https://civitai.com/models/4823/deliberate


使用較多伸刃,默認(rèn)真實(shí)風(fēng)格,且搭配很多l(xiāng)ora效果都不錯(cuò)

建議搭配參數(shù):DPM++ SDE Karras+step20

繪畫示例:

1逢倍、生成類似的背景+不同的人物:

繪畫提示詞:((masterpiece)),((nsanely detailed)), ((HD Quality)),((exquisite face))

background: The background is a construction site, ((skyscrapers under construction)),? feeling in 1990s shenzhen china.

character:There is only one asian female agent捧颅,clear face,20-year-old,smile,must appear item:(an ice cream cone)


同樣的提示詞较雕,加上lora之后碉哑,表情質(zhì)感確實(shí)更好一點(diǎn)點(diǎn)


4、動(dòng)畫:

https://civitai.com/models/7371?modelVersionId=46846


優(yōu)點(diǎn):搭配泡泡瑪特lora效果非常棒

建議搭配參數(shù):采樣器:Euler a+step 28

繪畫示例:

提示詞:(masterpiece),(best quality),(ultra-detailed), (full body:1.2), wide angle,1girl,cute, smile, open mouth, flower, outdoors, running on the grass, blurry, brown hair, blush stickers, long sleeves, bangs, black hair, pink flower, (beautiful detailed face), (beautiful detailed eyes),music, beret, blush,? short hair, surrounded by balloons, blue sky and white clouds,<lora:blindbox_v1_mix:1>



5亮蒋、懸疑風(fēng)/風(fēng)景/插畫

說(shuō)明:

https://civitai.com/models/11193/illuminati-diffusion-v11

這個(gè)模型一開始是想用來(lái)做懸疑小說(shuō)的封面的扣典,后來(lái)發(fā)現(xiàn)畫簡(jiǎn)筆畫、插畫居然也都還行慎玖!

建議搭配參數(shù):采樣器DPM++ 2M Karras +step 20

繪畫示例:

1贮尖、玄幻風(fēng)、懸疑風(fēng)的小說(shuō)封面凄吏、插圖:

提示詞:gray sky,white clouds,fantasstyle,fantasy,mountains,castle,canyons,fantasy,magic,4k.


提示詞:

Grand and spectacular scene, big background, small characters, a misty back, fantasy world of cultivating immortals, swords, flowing clothes,4k


2远舅、簡(jiǎn)筆頭像:

(races of monotony Line drawing),(flat illustration),minimalism,headshot, line art.A cute cartoon girl with short hair,stick figure,headshot,bold line illustration,((in the style of Black line drawn drawing)),((traces of monotony line drawing)), clean blue background





3、插畫

((masterpiece)),((nsanely detailed)), ((HD Quality)),((best quality))kawaii girl sitting on a watermelon, in the style of nature painter, ai yazawa, xiaofei yue, storybook illustrations, detailed botanical illustrations, lively tableaus


There is a watermelon on the poster, giving people a refreshing and cool feeling. Watermelon can be cut into pieces to showcase its juicy red interior, surrounded by white water droplets. The background can be light blue to enhance a cool and refreshing atmosphere


6痕钢、國(guó)風(fēng)

說(shuō)明:

https://civitai.com/models/10415?modelVersionId=36644


建議搭配參數(shù):采樣器Euler a+step30

示例:

1图柏、使用官方的這個(gè)提示詞直出效果如下:

best quality, masterpiece, highres, 1girl,blush,(seductive smile:0.8),star-shaped pupils,china hanfu,hair ornament,necklace, jewelry,Beautiful face,upon_body, tyndall effect,photorealistic, dark studio, rim lighting, two tone lighting,(high detailed skin:1.2), 8k uhd, dslr, soft lighting, high quality, volumetric lighting, candid, Photograph, high resolution, 4k, 8k, Bokeh


2、用lora里面的那個(gè)示例的人物的效果:

((masterpiece)),((nsanely detailed)), ((HD Quality)),((best quality))A young lovely girl, upper body shot, clear face任连,dressed in a beautiful traditional Hanfu. Her hair is neatly coiled into a bun, adorned with bobby pins and an elaborate tiara.



LORA

LoRA模型全稱是:Low-Rank Adaptation of Large Language Models蚤吹,通俗的可以理解為Stable-Diffusion中的一個(gè)插件,僅需要少量的數(shù)據(jù)就可以進(jìn)行訓(xùn)練的一種模型随抠。在生成圖片時(shí)裁着,LoRA模型會(huì)與大模型結(jié)合使用,從而實(shí)現(xiàn)對(duì)輸出圖片結(jié)果的調(diào)整拱她。

lora模型簡(jiǎn)介:

1二驰、適合插畫/二次元adventures:

https://civitai.com/models/14792?modelVersionId=17424


試用總結(jié):配合deliberate不錯(cuò)

2、表情lora

crazy-expressions:二次元

https://civitai.com/models/5891/crazy-expressions


試用總結(jié):配合deliberate不錯(cuò),出現(xiàn)正臉概率較大

3秉沼、墨心:

https://civitai.com/models/12597?modelVersionId=14856


試用總結(jié):配合deliberate不錯(cuò)

4桶雀、小人書·連環(huán)畫 xiaorenshu

https://civitai.com/models/18323?modelVersionId=25661


試用總結(jié):配合deliberate不錯(cuò)

5矿酵、二次元漫畫風(fēng)

[LoCon/LoRA] Airconditioner/空調(diào) Style

https://civitai.com/models/22607?modelVersionId=27334


6、城市景色:

https://civitai.com/models/14914?modelVersionId=17569


7矗积、線條:

https://civitai.com/models/19932?modelVersionId=23670


8全肮、科幻:

https://civitai.com/models/30480?modelVersionId=39888


試用總結(jié):人物也可以加這個(gè)lora,配合deliberate不錯(cuò)

9棘捣、室內(nèi)設(shè)計(jì):

https://civitai.com/models/28112?modelVersionId=50722


10辜腺、亞洲男生:(適合用sd1.5基礎(chǔ)大模型)

https://civitai.com/models/13220?modelVersionId=15581


11、角色設(shè)計(jì)多角度:

適合設(shè)計(jì)角色charTurnbeta:

https://civitai.com/models/7252/charturnerbeta-lora-experimental


示例:

為了對(duì)比效果乍恐,我先用基礎(chǔ)大模型deliberate生成一個(gè)人物角色评疗,然后搭配不同的lora看效果。

((masterpiece)),((nsanely detailed)), ((HD Quality)),((best quality))

A young lovely girl, full body shot, clear face茵烈,dressed in a beautiful traditional Hanfu. Her hair is neatly coiled into a bun, adorned with bobby pins and an elaborate tiara.


搭配不同的lora效果圖參考如下:


歡迎看到最后壤巷,如果覺得還不錯(cuò),歡迎點(diǎn)贊收藏哈瞧毙。后續(xù)有空會(huì)繼續(xù)發(fā)controlnet的使用技巧胧华、提示詞的使用技巧等系列文章,適合初學(xué)者觀看哈宙彪!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末矩动,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子释漆,更是在濱河造成了極大的恐慌悲没,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,639評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件男图,死亡現(xiàn)場(chǎng)離奇詭異示姿,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)逊笆,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,277評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門栈戳,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人难裆,你說(shuō)我怎么就攤上這事子檀。” “怎么了乃戈?”我有些...
    開封第一講書人閱讀 157,221評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵褂痰,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我症虑,道長(zhǎng)缩歪,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,474評(píng)論 1 283
  • 正文 為了忘掉前任谍憔,我火速辦了婚禮匪蝙,結(jié)果婚禮上苟翻,老公的妹妹穿的比我還像新娘。我一直安慰自己骗污,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,570評(píng)論 6 386
  • 文/花漫 我一把揭開白布沈条。 她就那樣靜靜地躺著需忿,像睡著了一般。 火紅的嫁衣襯著肌膚如雪药磺。 梳的紋絲不亂的頭發(fā)上叔锐,一...
    開封第一講書人閱讀 49,816評(píng)論 1 290
  • 那天对扶,我揣著相機(jī)與錄音,去河邊找鬼汗洒。 笑死,一個(gè)胖子當(dāng)著我的面吹牛父款,可吹牛的內(nèi)容都是我干的溢谤。 我是一名探鬼主播,決...
    沈念sama閱讀 38,957評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼憨攒,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼世杀!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起肝集,我...
    開封第一講書人閱讀 37,718評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤瞻坝,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后杏瞻,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體所刀,經(jīng)...
    沈念sama閱讀 44,176評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,511評(píng)論 2 327
  • 正文 我和宋清朗相戀三年捞挥,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了浮创。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,646評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡砌函,死狀恐怖蒸矛,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情胸嘴,我是刑警寧澤雏掠,帶...
    沈念sama閱讀 34,322評(píng)論 4 330
  • 正文 年R本政府宣布,位于F島的核電站劣像,受9級(jí)特大地震影響乡话,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜耳奕,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,934評(píng)論 3 313
  • 文/蒙蒙 一绑青、第九天 我趴在偏房一處隱蔽的房頂上張望诬像。 院中可真熱鬧,春花似錦闸婴、人聲如沸坏挠。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,755評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)降狠。三九已至,卻和暖如春庇楞,著一層夾襖步出監(jiān)牢的瞬間榜配,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,987評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工吕晌, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留蛋褥,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,358評(píng)論 2 360
  • 正文 我出身青樓睛驳,卻偏偏與公主長(zhǎng)得像烙心,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子乏沸,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,514評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容