part1 初步介紹ControlNet的原理赞季、功能

大家好愧捕！歡迎大家收看我們Stable Diffusion從入門到精通系列教程 第11節(jié)，我們接下來的目標(biāo)是實(shí)現(xiàn)一個(gè)視頻轉(zhuǎn)動(dòng)漫風(fēng)格的轉(zhuǎn)換申钩。

因此我們要正式講這個(gè)ControlNet了次绘，之前已經(jīng)把基礎(chǔ)環(huán)境搭建，和普通的插件的安裝方法給大家演示了撒遣，如果還不知道的小伙伴 可以進(jìn)我們主頁的播放列表哦邮偎。

以前SD出圖，基本上天馬行空义黎，基本不太可控禾进。自從有了ControlNet，使得SD變得越來越可控了轩缤。 基本可以按照我們預(yù)想的方式生產(chǎn)圖片了命迈。

我們現(xiàn)在就直接來講一下這個(gè)ControlNet贩绕，然后這一期視頻是我們ControlNet系列的第一期。

好 壶愤，那么我們廢話不多說淑倾，馬上開始今天的內(nèi)容。

說到這個(gè)ControlNet征椒，還是要提出三個(gè)靈魂的拷問娇哆！

①這個(gè)ControlNet是什么？

②這個(gè)ControlNet到底能做什么勃救？

③這個(gè)ControlNet到底怎么用碍讨？

那么，作為我們這個(gè)跳躍性教學(xué)的”無厘頭”大師

首先回答第一個(gè)問題（ControlNet是什么）：

controlnet是條件生成對(duì)抗神經(jīng)網(wǎng)絡(luò)的一種蒙秒，就是通過額外的輸入來控制預(yù)訓(xùn)練的大模型（比如Stable Diffusion）勃黍。這個(gè)本質(zhì)其實(shí)就是端對(duì)端的訓(xùn)練，簡(jiǎn)單來說part2 ControlNet的安裝和基本使用：它解決了文生圖大模型的關(guān)鍵問題：?jiǎn)渭兊年P(guān)鍵詞控制方式無法滿足對(duì)細(xì)節(jié)精確控制的需要晕讲。所以通過一個(gè)或多個(gè)參考圖覆获，來使 AI 生成的盡可能符合我們要求的圖片。有了它的幫助瓢省，就不用頻繁用提示詞來碰運(yùn)氣抽卡式創(chuàng)作了弄息。

第二個(gè)問題（ControlNet到底能做什么）：

通過ControlNet的邊緣檢測(cè)模型或線稿模型提取線稿，再根據(jù)提示詞和風(fēng)格模型對(duì)圖像進(jìn)行著色和風(fēng)格化勤婚。這使得用戶可以通過ControlNet精準(zhǔn)地控制AI圖像的生成摹量，例如上傳線稿讓AI幫忙填色渲染，或者控制人物的姿態(tài)馒胆、圖片生成線稿等等缨称。因此，ControlNet可以被廣泛應(yīng)用于各種需要精細(xì)控制圖像生成的場(chǎng)景祝迂，如藝術(shù)設(shè)計(jì)具钥、插圖制作、廣告設(shè)計(jì)等等液兽。

part2 ControlNet的安裝和基本使用

【首先controlnet的安裝】

controlnet的安裝步驟：?jiǎn)?dòng)SD（網(wǎng)址： http://127.0.0.1:7860）→點(diǎn)擊“拓展”→點(diǎn)擊“可用”→點(diǎn)擊“加載”→搜索“Controlnet”→重啟界面

【檢查control是否安裝好】

方法一：已安裝界面出現(xiàn)controlnet的版本信息

方法二：文生圖界面出現(xiàn)Controlnet的一欄

【Controlnet模型下載】

步驟：打開作者主頁（網(wǎng)址：https://huggingface.co/lllyasviel）→點(diǎn)擊需要下載的模型界面→點(diǎn)擊“Files and versions”下載→把下載好的文件放置于保存的SD-Webui/extensions/SD-webui-controlnet/models目錄文件夾中

【Controlnet初階使用】

步驟：將選擇好的引導(dǎo)圖拖拽入Controlnet的圖片上傳處→點(diǎn)擊下方的啟用；若顯存低于6g掌动，則選擇低緩存四啰；勾選預(yù)覽和像素完美→controlnet的類型，可以初步選擇openpose（姿態(tài)控制）粗恢，點(diǎn)擊旁邊類似于小爆炸的圖標(biāo)

本期所寫的提示詞（可復(fù)制）：

(masterpiece, best quality:1. 4), solo, outdoor, lake,sunnyday, yoga pose,Palms pressed together, (tight yoga pants, white yoga pants:1. 4), (realistic, hyperrealistic:1. 4), 4k hdr,

(worst quality, low quality, normal quality:1.4), lowres, bad anatomy, ((bad hands)), text, error, missing fingers, extra digit, fewer digits,head out of frame, cropped, letterboxed, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, censored, letterbox, blurry, monochrome, fused clothes, nail polish, boring, extra legs, fused legs, missing legs, missing arms, extra arms, fused arms, missing limbs, mutated limbs, dead eyes, empty eyes, 2girls, multiple girls, 1boy, 2boys, multiple boys, multiple views, jpeg artifacts, text, signature, watermark, artist name, logo, low res background, low quality background, missing background, white background

【沒有合適姿勢(shì)引導(dǎo)圖片的解決方案】

方法一：自己擺pose拍照柑晒，讓Controlnet識(shí)別

方法二：編輯右邊的圖形，使用Openpose Editor

方法三：第三方網(wǎng)站（網(wǎng)址：https://app.posemy.art/)截選3D人形眷射，直接生成openpose

part3 結(jié)尾

可能是因?yàn)槲抑v得太詳細(xì)了匙赞，所以這一集的時(shí)間有點(diǎn)長佛掖。那接下來呢，我們會(huì)詳細(xì)介紹關(guān)于controlnet的type涌庭，比如openpose芥被、canny、depth等等坐榆。敬請(qǐng)期待哦拴魄！