Stable Diffusion 是一種先進(jìn)的生成模型映琳,特別擅長(zhǎng)高質(zhì)量圖像生成。它屬于擴(kuò)散模型的一種,能夠逐步生成逼真的圖像祷肯,適用于多種生成任務(wù),包括文生圖(text-to-image)和圖生圖(image-to-image)疗隶。
Stable-Diffusion系列:
Stable-Diffusion一:Stable Diffusion簡(jiǎn)介與WebUI部署
Stable-Diffusion二:WebUI 插件推薦
Stable-Diffusion三:利用AI加速游戲美術(shù)內(nèi)容生產(chǎn)
Stable-Diffusion四:轉(zhuǎn)投ComfyUI的懷抱
……
一 生成式 AI 和 Stable-diffusion
生成式 AI
生成式 AI(Generative AI) 可以生成自然語言佑笋、圖像、視頻和音樂等數(shù)字化內(nèi)容斑鼻。目前熱點(diǎn)應(yīng)用總體上可以分為圖片內(nèi)容生成類任務(wù)以及基于大語言模型的文本生成任務(wù)蒋纬。
本文將主要聚焦于圖片內(nèi)容生成任務(wù),該領(lǐng)域已有大量客戶在進(jìn)行業(yè)務(wù)場(chǎng)景的探索和實(shí)踐坚弱。
- 在游戲客戶通過生成式 AI蜀备,讓游戲研發(fā)端的游戲策劃通過文生圖進(jìn)行初步概念探索,美術(shù)原畫師通過定制化的風(fēng)格模型荒叶,加速生成新的角色和場(chǎng)景原畫碾阁。
- 泛娛樂客戶使用生成式 AI 可以提升 IP 內(nèi)容生產(chǎn)效率,從而擴(kuò)大 IP 內(nèi)容運(yùn)營(yíng)范疇與促進(jìn) IP 內(nèi)容消費(fèi)增長(zhǎng)些楣。
- 電商客戶通過生成式 AI 可以加速電商營(yíng)銷物料的生產(chǎn)以及提升面向最終消費(fèi)者的商品設(shè)計(jì)質(zhì)量脂凶。
- 制造客戶通過生成式 AI 提升諸如產(chǎn)品概念圖設(shè)計(jì)宪睹、營(yíng)銷物料等的創(chuàng)意水平及生產(chǎn)效率。
Stable Diffusion
客戶在以上諸多行業(yè)創(chuàng)新場(chǎng)景的探索中蚕钦,普遍采用開源項(xiàng)目 Stable Diffusion 來實(shí)現(xiàn)圖片等創(chuàng)意數(shù)字內(nèi)容的生產(chǎn)亭病。
Stable Diffusion 是一種基于深度學(xué)習(xí)的文本到圖像模型,由創(chuàng)業(yè)公司 Stability AI 開發(fā)嘶居。它主要用于生成以文本描述為條件的詳細(xì)圖像命贴,但它也可以應(yīng)用于其他任務(wù),例如基于已有圖像生成新的圖像食听,或者對(duì)現(xiàn)有圖像進(jìn)行微調(diào)胸蛛。
Stable-Diffusion-Webui
Stable-Diffusion-Webui 是一個(gè)開源項(xiàng)目,提供了基于 Web 界面來使用 Stable Diffusion 模型的圖片生成工具樱报,其功能豐富葬项,提供美術(shù)人員用可視化、低代碼的方式控制參數(shù)迹蛤、選用各類插件和風(fēng)格模型進(jìn)行美術(shù)圖像生成民珍,例如原始的文生圖/圖生圖、局部修復(fù)盗飒、外部擴(kuò)展嚷量、顏色輪廓圖、提示詞矩陣逆趣、圖片上采樣蝶溶、注意力機(jī)制、環(huán)路(多輪圖生圖繪制)宣渗、X/Y/Z 圖表抖所、圖片縮放、CKPT 模型合并/轉(zhuǎn)化痕囱、腳本化定制等田轧,也支持多種模型(Dreambooth,ControlNet鞍恢,Lora)微調(diào)的方法來進(jìn)一步提升出圖的效果來滿足業(yè)務(wù)需求傻粘。
本文就是介紹,如何個(gè)人電腦中部署Stable-Diffusion-Webui帮掉,讓它加速你的創(chuàng)作弦悉。
二 部署準(zhǔn)備
在準(zhǔn)備搭建前,準(zhǔn)備好以下軟硬件:
- 梯子旭寿,國內(nèi)好多東西都看不了警绩,你懂的
- NVIDIA 顯卡崇败,顯存至少 4GB(有錢上RTX4090盅称,沒錢下RTX 3060)以及最新顯卡驅(qū)動(dòng)肩祥。
cuDNN
zlibwapi
-
stable-diffusion-webui
發(fā)布包 -
Python
(版本 >= 3.8 推薦 Python 3.10) git
下載 cuDNN
cuDNN需要從 NVIDIA下載:
如果,你的顯卡比較新的話缩膝,就選12.x吧混狠,我的比較老破小,穩(wěn)妥點(diǎn)下了 11.x疾层。
下載完成后将饺,得到文件 cudnn-windows-x86_64-8.9.7.29_cuda11-archive.zip
。
下載 zlibwapi
根據(jù) NVIDIA 的教程痛黎,zlibwapi.dll 從這里下載:
http://www.winimage.com/zLibDll/zlib123dllx64.zip
下載后得到一個(gè)壓縮包予弧,備用。
取得 stable-diffusion-webui
源碼
stable-diffusion-webui github是一個(gè)開源項(xiàng)目湖饱,已經(jīng)發(fā)布了好多版本
我用的是1.6.0掖蛤,為了確保按本文能順利部署,推薦下載該版本
其它
需要獨(dú)立說明的軟硬件已經(jīng)準(zhǔn)備完畢井厌,Python蚓庭、Git、 梯子仅仆,顯卡都比較常見器赞,自己準(zhǔn)備好,這里不做過多介紹墓拜。
三 安裝
配置啟動(dòng)環(huán)境和腳本
1. 解壓cuDNN
將之前下載的 cuDNN 的壓縮包解壓并進(jìn)入港柜,會(huì)看到到 bin
文件夾。
2.解壓zlibwapi
把之前下載好的 zlibwapi
包解壓咳榜,找到zlibwapi.dll
文件潘懊, 并放到上一步的bin
文件夾中。
3. 解壓 stable-diffusion-webui
解壓 stable-diffusion-webui
并進(jìn)入文件夾贿衍,你會(huì)看到它里面有很多的文件和文件夾授舟。
然后,把整個(gè)cuDNN 文件夾贸辈,移到 解壓的stable-diffusion-webui
的文件夾里释树。
4. 配置stable-diffusion-webui 的PATH
stable-diffusion-webui 安裝與運(yùn)行所需,要把cuDNN 的 bin
目錄配置到 PATH
里擎淤,這里并不是修改 Windows 的全局 PATH
奢啥,只需要在 webui-user.bat
這個(gè)啟動(dòng)腳本里設(shè)置 PATH
即可。
在stable-diffusion-webui
文件夾下嘴拢,找到 webui-user.bat
文件桩盲,并對(duì)其進(jìn)行編輯(或者拖拽到一個(gè)新打開的記事本窗口里),添加以下內(nèi)容:
set PATH=%~dp0\cudnn-windows-x86_64-8.9.7.29_cuda11-archive\bin;%PATH%
注意,
set PATH
那一行的 cudnn 路徑需要按照你解壓后的 cuDNN 文件夾名來席吴。
5. 配置代理
由于使用了梯子赌结,故需要配置代理捞蛋,方式也是在webui-user.bat
添加以下內(nèi)容
SET no_proxy=localhost, 127.0.0.1, ::1
SET HTTP_PROXY=http://127.0.0.1:9981
SET HTTPS_PROXY=http://127.0.0.1:9981
注意, 9981為梯子代理監(jiān)聽的端口,你需要根據(jù)實(shí)際情況進(jìn)行修改柬姚,其它不需要調(diào)整拟杉。
6. 完整配置
綜上,完成了配置量承,這里給出調(diào)整完成后的webui-user.bat
文件內(nèi)容
@echo off
set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS=
set PATH=%~dp0\cudnn-windows-x86_64-8.9.7.29_cuda11-archive\bin;%PATH%
SET no_proxy=localhost, 127.0.0.1, ::1
SET HTTP_PROXY=http://127.0.0.1:9981
SET HTTPS_PROXY=http://127.0.0.1:9981
call webui.bat
雙擊運(yùn)行 webui-user.bat
搬设,它開始配置 Python 虛擬環(huán)境,安裝撕捍、下載 torch
等軟件拿穴,過程中肯定會(huì)出現(xiàn)各種問題,一般都是網(wǎng)絡(luò)原因造成的忧风,失敗后贞言,重復(fù)多試幾次,肯定能部署完成的阀蒂。
四 進(jìn)行 AI 繪圖
本文主要是介紹部署的该窗,利用已部署好的環(huán)境,進(jìn)行AI繪圖蚤霞,請(qǐng)參考另一文章《利用AI加速游戲美術(shù)內(nèi)容生產(chǎn)》