本文介紹我在本地搭建 Stable Diffusion Web UI 的體驗(yàn)過程，予以記錄分享侵佃。
Stable Diffusion 是 2022 年 8 發(fā)布的深度學(xué)習(xí)文本到圖像生成模型麻昼。它主要用于根據(jù)文本的描述產(chǎn)生詳細(xì)圖像，官方項(xiàng)目其實(shí)并不適合新手直接使用馋辈，好在有使用 Stable Diffusion 封裝的 WebUI 開源項(xiàng)目抚芦，可以通過前端頁面來使用 Stable Diffusion，大大降低了使用門檻迈螟，本文主要是介紹 Github 作者為 AUTOMATIC1111 的 stable-diffusion-webui叉抡；易用，插件豐富答毫。
下面可能簡稱 Stable Diffusion 為 SD褥民。
看看效果
▲ 圖1-封面，國風(fēng)模型盲盒
| img1 | img2 | img3 |
|---|---|---|
 |
 |
 |
▲ 組圖2洗搂，模型 meinamix_meinaV8
▲ 圖3-生成界面（使用了漢化插件）
我的環(huán)境
MacBook Pro 14寸
芯片：Apple M1 Max
內(nèi)存：32G
系統(tǒng)：MacOS 13.3.1
Python：Python3.8
出圖速度(默認(rèn)參數(shù)下)：快的時(shí)候9s消返，有其他調(diào)整的時(shí)候稍慢
▲ 圖4-出圖速度
Stable Diffusion Web UI
嘗試 Docker
開始準(zhǔn)備使用各位大佬推薦的 Docker 搭建，便于一鍵安裝蚕脏，但是發(fā)現(xiàn)無法支持 Mac 侦副，無奈放棄！Ｍ毡蕖秦驯！
▲ 圖5-Docker 安裝 FAQ
如果配置吃得住的 Windows 用戶可以試試 Docker 搭建，流程不復(fù)雜挣棕，直接拉倉庫译隘，一鍵就可以自動(dòng)安裝了，主要使用 docker-compose 進(jìn)行安裝洛心。
Docker 安裝可參考：stable-diffusion-webui-docker [1]
本地運(yùn)行 stable-diffusion-webui
蘋果芯片安裝文檔參考[2]很詳細(xì)建議看原文檔
這里簡單介紹下大致流程：
1固耘、如果安裝了 Homebrew 可以跳過此步，否則需要到 https://brew.sh 安裝Homebrew 便于安裝一些必要軟件
2词身、通過 Homebrew 安裝一些必要的程序(由于我本地有 Python 和 Git厅目，所以我安裝時(shí)去掉了這兩個(gè)，Python 版本不知道是否有隱患？)：
brew install cmake protobuf rust python@3.10 git wget
3损敷、將 WebUI 倉庫克隆下來
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
4葫笼、下載模型，將 SD 的基礎(chǔ)模型（也稱之為checkpoint）下載下來放到模型目錄stable-diffusion-webui/models/Stable-diffusion拗馒，可直接下載 SD 的官方預(yù)訓(xùn)練好的模型先試試路星，也就是文檔中下圖所指示位置（下個(gè)最新的咯），這個(gè)官方模型出圖效果一般诱桂，可以摸清功能后再去試試其他的模型（關(guān)于模型相關(guān)的介紹下面會提到）
▲ 圖6-模型下載
如果下載好了模型洋丐，接下來執(zhí)行啟動(dòng) UI 的命令，他會自動(dòng)設(shè)置好環(huán)境挥等，下載所需的一切依賴
cd stable-diffusion-webui
./webui.sh
初次運(yùn)行期間我遇到的問題主要是下載慢（Github）友绝，開一下代理，再次執(zhí)行啟動(dòng)命令就好了触菜。
如果是 pip 依賴下載慢九榔，可以嘗試切換 pip 源為清華源或者阿里等國內(nèi)源。
上面步驟如果都完成能成功啟動(dòng)涡相，在左上角模型選擇(參照圖3-生成界面)就有模型可以選擇哲泊。這時(shí)試試給一些提示生成圖片了 ，可以愉快的玩耍了 ??催蝗。
▲ 左上角則是基模選擇項(xiàng)切威，一次只能使用一種基模
漢化UI界面
stable-diffusion-webui-chinese[3]
看不懂英文沒關(guān)系，直接裝插件漢化一下就 OK 咯：
關(guān)于模型
在 SD 中丙号，基于訓(xùn)練方式的不同先朦，最常用的兩類模型：本人了解有限，不對的地方懇請指正犬缨！checkpoint 喳魏？
checkpoint 是基礎(chǔ)模型，也簡稱基模怀薛，比如上面安裝 WebUI 過程中可下載的官方模型就是 SD 預(yù)先訓(xùn)練好刺彩，是完整模型的常見格式，模型體積較大枝恋，一般單個(gè)模型的大小在2~7G 左右创倔；模型后綴一般為 .ckpt 或者 .safetensors
如果下載了 checkpoint，放到 models/Stable-diffusion 目錄即可
上面的 SD 1.5 焚碌、SD 2.0畦攘、SD 2.1，有人說 1.5 的模型比 2.x 的模型效果要好十电？
下面是一些比較火的三方模型知押，通常是模型作者基于另外的一些基模（可能是 SD 官方的基奶久或其他開源的基模）加自己的數(shù)據(jù)訓(xùn)練出來的模型，一般都是特定風(fēng)格和一些優(yōu)化朗徊；比如臉型首妖，膚色等等（取決于訓(xùn)練者的數(shù)據(jù)樣本??）
chilloutmix**[4]**、chilloutmix_NiPrunedFp32Fix**[5]**... 生成真人的模型爷恳，由于其生成的圖片風(fēng)格很適合亞洲人，所以在國內(nèi)應(yīng)該是最火的模型象踊，下面會給下載鏈接
meinamix_meinaV8[6] 温亲，動(dòng)漫混合型模型，生成的圖片多是動(dòng)漫風(fēng)格杯矩，文中組圖2就是其生成
GuoFeng3[7]栈虚、3Guofeng3_v33[7]，中國風(fēng)模型史隆，圖1封面圖由其生成
LoRA 魂务？
LoRA 模型作用主要是微調(diào)，可以理解為在基礎(chǔ)模型的前提下泌射，做一些風(fēng)格增強(qiáng)粘姜，因?yàn)樗潭ㄒ恍﹨?shù)和權(quán)重，比如有些 lora 模型是專注 亞洲臉調(diào)整的參數(shù)熔酷，有的是古風(fēng)孤紧、動(dòng)漫風(fēng)等等不同風(fēng)格。
它們通常不會超過 1G拒秘，必須與 checkpoint 模型一起使用号显。
如果下載了 lora，放到 models/Lora 目錄即可躺酒，隨后你可以在界面看到它們押蚤，寫提示詞時(shí)，點(diǎn)擊對應(yīng)的 Lora 或按照 <lora:lora模型名:1> 書寫即可使用：
下面是使用 chilloutmix_NiPrunedFp32Fix 基模+幾個(gè) LoRA 在相同提示語下生成的效果羹应，為了區(qū)別不同模型的差異揽碘，可以給模型設(shè)置預(yù)覽圖：
▲ 不同 LoRA 在相同提示語下的風(fēng)格差異便于區(qū)別
怎么區(qū)別基礎(chǔ)模型 checkpoint 和 Lora？
比較大的一般就是基礎(chǔ)模型（GB級別）量愧，其他少于 1G 的一般情況下是 Lora 钾菊，畢竟訓(xùn)練量不一樣 ??
一些模型下載網(wǎng)站可能會標(biāo)識其類型。
至于其他 VAE偎肃、Embedding煞烫、Hyperentwork 暫時(shí)還不了解。
模型如何下載
為了讓 AI 繪圖更加豐富多樣累颂，我們可以下載不同模型多多嘗試滞详，包括不限于 checkpoint 和 lora凛俱，下面是可以下載到 SD 相關(guān)模型文件的地方
-
飛槳
[8]百度的飛槳，有些網(wǎng)友會把一些模型分享在上面料饥，下載會快一些蒲犬，但只有少量 SD 模型被網(wǎng)友傳了上去。
-
huggingface
[9]很大的模型下載網(wǎng)站岸啡，里面包含了方方面面的各類模型原叮。一般推薦在這個(gè)網(wǎng)站下載，速度時(shí)快時(shí)慢（可能是我的網(wǎng)絡(luò)原因）巡蘸。
-
civitai (需科學(xué)上網(wǎng))
[10]網(wǎng)友簡稱為C站奋隶，上面有很多風(fēng)格的模型下載，對于每個(gè)模型都有圖片預(yù)覽悦荒，需要魔法
提示詞怎么寫
發(fā)現(xiàn)即使是下載了風(fēng)格很驚艷的模型唯欣，依然無法生成牛逼的圖片，那可能需要在提示詞上下功夫了搬味，為了讓 Stable Diffusion 制作各種驚艷的圖境氢，可以直接參考別人的提示詞??
以下是一些比較厲害的提示詞參考網(wǎng)站，找到喜歡的按照其提示詞和參數(shù)碰纬、Lora 生成即可
civitai[10]：
上面提到的 C 站萍聊，每個(gè)模型下面都有對應(yīng)生成的圖片分享，可以摘抄下
川普 6
lexica[11]
可以搜索 SD 生成的圖片嘀趟，也可以在線生成圖片脐区，看到合適的圖片直接復(fù)制哈??，會有對應(yīng)的模型給出她按，在??上面的模型下載網(wǎng)站下載即可
常見問題及解決
在使用 Stable Diffusion 過程中可能會遇到各種常見問題牛隅，我們將在這里提供一些常見解決方案。
- 1酌泰、M1 打開第一次任意模型生成圖片媒佣，無法生成報(bào)錯(cuò)
解決方案：按照提示操作即可
- 2、無法調(diào)整圖片高度陵刹，默認(rèn) 512x512默伍，改為 512x1024 報(bào)錯(cuò)：
臨時(shí)解決方案：改為 512x1023
- 3、一些情況下某些功能需要在線下載插件衰琐、模塊等也糊，會出現(xiàn)證書錯(cuò)誤
解決方案：
# 換成對應(yīng)的Python版本
/Applications/Python\ 3.8/Install\ Certificates.command
- 4、切換模型報(bào)錯(cuò)
解決方案
# 啟動(dòng)時(shí)增加 --no-half 選項(xiàng)即
./web-ui.sh --no-half
本文主要記錄初步使用 SD 進(jìn)行文生圖的過程羡宙，至于圖生圖狸剃，ControlNet 等玩法后續(xù)分享
可以把你遇到的問題在評論區(qū)一起討論
參考：
[1]. https://github.com/AbdBarho/stable-diffusion-webui-docker
[2].https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Installation-on-Apple-Silicon
[3].https://github.com/VinsonLaro/stable-diffusion-webui-chinese
[4]. https://huggingface.co/AnonPerson/ChilloutMix/tree/main （內(nèi)含一些亞洲 Lora）
[5]. https://aistudio.baidu.com/aistudio/datasetdetail/193534/0
[6]. https://aistudio.baidu.com/aistudio/datasetdetail/202078
[7]. https://huggingface.co/xiaolxl/GuoFeng3/tree/main (直接看文檔)
[8]. https://aistudio.baidu.com/
[10]. https://civitai.com/
[11]. https://lexica.art/
文章參考：
AIGC 繪畫理論與保姆級實(shí)戰(zhàn)：
https://zhuanlan.zhihu.com/p/617042733
SD 采樣器：
https://zhuanlan.zhihu.com/p/621083328
SD 如何安裝使用不同模型：
https://zhuanlan.zhihu.com/p/619553604
mac本地 SD 環(huán)境踩坑：
https://zhuanlan.zhihu.com/p/608178376
SD使用入門與提示詞技巧：
