本文將介紹 Stable Diffusion 使用的主要模型及其用法麻养。

1 模型下載

Stable Diffusion (簡(jiǎn)稱(chēng)SD) 模型主要從 Huggingface, github, Civitai 下載垦缅。
Huggingface：主要提供主流 AI 繪畫(huà)模型下載镶殷。
github：也有一些小模型放在 github 下供下載使用龄坪。
Civitai：AI藝術(shù)共享平臺(tái)叙身，可下載海量SD開(kāi)源模型（推薦）碗誉。

2 模型類(lèi)別

SD 支持不同類(lèi)型的模型召嘶，比如：基礎(chǔ)模型，Lora哮缺，ControlNet弄跌，VAE，CLIP等尝苇。模型擴(kuò)展名一般為ckpt铛只，safetensors埠胖，pt，pth等淳玩。下面介紹幾種最重要的模型直撤。

3 基礎(chǔ)模型

3.1 介紹

基礎(chǔ)模型一般包含完整的 TextEncoder、U-Net蜕着、VAE谋竖。
模型大小一般為2-8G，真實(shí)風(fēng)格模型相對(duì)2D風(fēng)格模型更大承匣。
目前最新的模型是 SDXL 1.0（約占8G顯存）蓖乘，最常用的模型是 SD 1.5（約占4G顯存）。
需要手工下載后韧骗，復(fù)制到 models/Stable-diffusion/ 目錄下嘉抒，才可識(shí)別和使用。

3.2 推薦

• v1-5-pruned-emaonly：默認(rèn)模型袍暴，偏真實(shí)風(fēng)格些侍，可從 huggingface 下載
• bluePencilXL_v010.safetensors：最新版 SDXL 1.0 模型
• anythingV3_fp16.ckpt：2D 動(dòng)畫(huà)風(fēng)格
• Counterfeit：接近真實(shí)場(chǎng)景的二次元風(fēng)格（2.5D），氛圍感很好政模，老式動(dòng)慢風(fēng)格

4 Lora模型

4.1 介紹

Lora是一種較小的繪畫(huà)模型岗宣，一般體積在幾十到幾百兆左右。它是對(duì)大模型的微調(diào)淋样。生成圖片時(shí)只能選擇一個(gè)大模型狈定，但可選擇多個(gè)Lora。

Lora解決的問(wèn)題是：?jiǎn)蝹€(gè)模型難以覆蓋不同風(fēng)格习蓬，而基礎(chǔ)模型又太大，普通設(shè)備無(wú)法訓(xùn)練措嵌，Lora可分別針對(duì)：主體躲叼，風(fēng)格，動(dòng)作訓(xùn)練增補(bǔ)模型企巢，與基礎(chǔ)模型配合使用枫慷，以改進(jìn)具體功能。

Lora只需要少量的數(shù)據(jù)就可以訓(xùn)練（如幾十張標(biāo)注的相片）浪规，比訓(xùn)練大模型要簡(jiǎn)單很多或听，用戶(hù)可以用自己的數(shù)據(jù)訓(xùn)練Lora，也可在 Civitai 進(jìn)行下載笋婿，下載后放到 SD的 models/Lora/ 目錄下即可使用誉裆。

4.2 推薦

• Detail Tweaker LoRA：增強(qiáng)/減少細(xì)節(jié)，保持整體風(fēng)格/人物; 可結(jié)合各種基礎(chǔ)模型(包括動(dòng)畫(huà)和現(xiàn)實(shí)模型)缸濒。
• GHIBLI_Background：吉卜力風(fēng)格（類(lèi)似宮崎駿動(dòng)畫(huà)風(fēng)格）足丢，治愈系畫(huà)風(fēng)的建筑和景觀（背景）粱腻。

5 VAE模型

5.1 介紹

VAE是變分自編碼器，負(fù)責(zé)將潛空間的數(shù)據(jù)轉(zhuǎn)換為正常圖像斩跌。
在SD中切換 VAE绍些，可看作切換濾鏡，它在生成圖片過(guò)程中配合主模型使用耀鸦，起到調(diào)色和微調(diào)的作用柬批，比如有些模型色調(diào)不夠清晰明亮，可考慮加 VAE 一起使用袖订。
切換模型時(shí)氮帐，對(duì)應(yīng)的VAE有時(shí)會(huì)自動(dòng)下載；手動(dòng)下載VAE模型著角，需要復(fù)制到 models/VAE/ 目錄下揪漩，然后在 WebUI 界面上設(shè)置：Setting選項(xiàng)卡->左邊選 Stable Diffusion->SD VAE

5.2 推薦

mse-840000：通用 VAE
ClearVAE：動(dòng)漫 VAE

6 ControlNet模型

6.1 介紹

AI 繪圖的主要問(wèn)題是畫(huà)面不可控，只能通過(guò)多次嘗試吏口，再篩選的方式出圖奄容，很難達(dá)到可預(yù)期的穩(wěn)定輸出，ControlNet 主要解決這一問(wèn)題产徊。其主原理是：利用額外網(wǎng)絡(luò)對(duì)基礎(chǔ)模型做微調(diào)昂勒。

ControlNet可以提取圖片的線稿、人的資態(tài)舟铜、風(fēng)景等難以用 prompt 描述的元素戈盈。在生成圖片時(shí)疊加各種效果，比如給圖A中的人設(shè)置圖B中的姿式谆刨。它包括預(yù)處理和疊加模型塘娶，預(yù)處理是從圖片A中提取行為，疊加模型將該行為應(yīng)用到圖片B的生成中痊夭。相對(duì)于圖生圖刁岸，ControlNet 提供的信息更為純粹。

具體原理見(jiàn)論文 2023年2月 ：https://arxiv.org/abs/2302.05543她我，

6.2 安裝

• 安裝 ControlNet 插件（目前星最高的插件）：
  WebUI界面->Extension 選項(xiàng)卡->Available選項(xiàng)卡->Load from按鈕->Order選按Star排序->安裝 sd-webui-controlnet 插件虹曙，正常安裝后在 Installed選項(xiàng)卡中可以看到
• 下載模型
  預(yù)處理器會(huì)自動(dòng)從 HuggingFace 下載；模型需要另外安裝番舆，模型下載地址：
  https://huggingface.co/lllyasviel/ControlNet/tree/main/models
  目前有8個(gè)模型可供下載酝碳，每個(gè)模型大小都在5G左右，和之前相比做了一些合并恨狈。

6.3 主要功能

• 資態(tài)約束：Openpose（可根據(jù)參考圖設(shè)置：表情疏哗，手指、身體資態(tài)）
• 空間深度約束：Depth（對(duì)空間場(chǎng)景深度的還原禾怠，含人體）
• 抽取線條和還原：Canny 用于還原外型特征沃斤；SOFTEDGE/HED 整體邊緣檢測(cè)圣蝎，識(shí)別大概輪廓；比CANNY約束泻馄俊徘公；SCIBBLE 涂鴉，比SOFTEDGE更自由哮针，可根據(jù)簡(jiǎn)單涂鴉生成圖片（注意：畫(huà)線稿時(shí)不要加陰影关面，如果使用白底黑線，需要用 invert 預(yù)處理器）
• 物品類(lèi)形約束：Seg
• 風(fēng)格約束：Normal

6.4 使用方法

• 上傳圖片
  • 在界面左下點(diǎn)開(kāi) ControlNet 折疊界面
  • 上傳待參考的圖片（如上傳一張線稿）
• 選擇模型
  • 選擇類(lèi)型 Control Type十厢，比如 canny等太，選中后列出該類(lèi)別對(duì)應(yīng)的所有可用的預(yù)處理和模型
  • 選預(yù)處理 Preprocess，比如 canny蛮放，預(yù)處理器將從圖片中讀取信息缩抡；然后點(diǎn)右邊的爆炸圖標(biāo)，可預(yù)覽其處理效果包颁。
  • 選擇 ControlNet 模型瞻想，比如 control_sd15_canny，用于生成圖像娩嚼。
• 設(shè)置參數(shù)
  • 注意一定要勾選 Enable蘑险，否則 ControlNet 不起作用。
• 生成圖
  • 點(diǎn)擊右上角的生成按鈕生成圖像

6.5 注意

• 測(cè)試 ControlNet 效果時(shí)岳悟，需要固定 Seed佃迄，以保證每次生成的基礎(chǔ)圖是一樣的
• 第一次使用涂鴉功能時(shí)，可嘗試xdog模式贵少，它的效果更好

7 其它模型

其它模型呵俏，比如恢復(fù)面部細(xì)節(jié)的 CodeFormer，利用圖片生成提示詞的 CLIP & DeepBooru滔灶，一般第一次使用時(shí)都會(huì)自動(dòng)下載模型到 models 的對(duì)應(yīng)子目錄中柴信，需要耐心等待。如果下載不成功宽气，請(qǐng)根據(jù)后臺(tái)提示下載文件，然后復(fù)制到對(duì)應(yīng)目錄潜沦。

8 注意事項(xiàng)

• 如果想真正把SD應(yīng)用起來(lái)萄涯，一定要使用 Lora和ControlNet，Lora負(fù)責(zé)指定具體的主體和場(chǎng)景唆鸡，ControlNet負(fù)責(zé)更好地控制畫(huà)面涝影。
• 基礎(chǔ)模型需要與其上的 VAE，Lora 版本一致争占，否則無(wú)法使用
• 基礎(chǔ)模型與其上的 VAE燃逻，Lora 風(fēng)格盡量（動(dòng)畫(huà)/真實(shí)）一致
• 使用 ControlNet 時(shí)被修改的圖片和參考圖片最好風(fēng)格一致序目，動(dòng)畫(huà)人物和真人比例不一致可能造成問(wèn)題

9 參考

SDXL模型b站視頻
耗時(shí)7天，終于把15種ControlNet模型搞明白了伯襟！
Stable Diffusion進(jìn)階教程猿涨！超詳細(xì)的 ControlNet 實(shí)用入門(mén)指南