本文由 簡(jiǎn)悅 SimpRead 轉(zhuǎn)碼， 原文來(lái)源stable-diffusion-art
您知道可以為圖像的不同區(qū)域指定提示嗎讳侨？你可以在 AUTOMAT 上做到這一點(diǎn)......
您知道可以為圖像的不同區(qū)域指定提示嗎？您可以使用區(qū)域提示器擴(kuò)展在 AUTOMATIC1111 上執(zhí)行此操作奉芦。
在這篇文章中坯汤，您將首先通過(guò)一個(gè)簡(jiǎn)單的分步示例了解如何使用區(qū)域提示技術(shù)。然后您將了解將區(qū)域提示與 ControlNet 一起使用的更多高級(jí)用法蓝晒。
軟件
我們將使用 AUTOMATIC1111 ?Stable Diffusion GUI。您可以在Windows帖鸦、? Mac或 Google Colab上使用此 GUI 芝薇。
安裝區(qū)域提示器擴(kuò)展
Colab 筆記本
在Quick Start Gudie的Colab Notebook中安裝 Regional Prompter 擴(kuò)展很容易。您需要做的就是檢查區(qū)域提示器擴(kuò)展富蓄。
Windows 或 Mac
按照以下步驟在 AUTOMATIC1111 中安裝區(qū)域提示器擴(kuò)展剩燥。
- 正常啟動(dòng) AUTOMATIC1111 Web-UI。
- 導(dǎo)航到擴(kuò)展頁(yè)面立倍。
- 單擊可用選項(xiàng)卡灭红。
- 單擊**加載自：**按鈕。
- 找到擴(kuò)展名“區(qū)域提示器”口注。
- 單擊安裝变擒。
- 重新啟動(dòng)網(wǎng)絡(luò)用戶界面。
一個(gè)簡(jiǎn)單的例子
讓我們看一個(gè)簡(jiǎn)單的例子寝志。我將使用一個(gè)非常簡(jiǎn)單的提示來(lái)說(shuō)明效果娇斑。
假設(shè)您要生成同一圖像中的**男人和女人。**使用簡(jiǎn)單提示
一個(gè)男人和一個(gè)女人
和否定提示
毀容的材部，丑陋的
我們得到……一個(gè)男人和一個(gè)女人毫缆。
到目前為止，一切都很好乐导。但是苦丁，如果您想更具體一點(diǎn)怎么辦？就像生成一個(gè)黑發(fā)男人和一個(gè)金發(fā)女人物臂？自然地旺拉，您將其寫在提示符中产上。
一個(gè)黑頭發(fā)的男人，一個(gè)金發(fā)女人
有時(shí)你會(huì)得到你所描述的_晋涣，_但更多時(shí)候穩(wěn)定擴(kuò)散混淆了哪種頭發(fā)顏色應(yīng)該和誰(shuí)搭配。如果要進(jìn)一步指定服裝的顏色等沉桌，情況就更難了谢鹊。
發(fā)生了什么？為什么 Stable Diffusion 連這個(gè)簡(jiǎn)單的事情都做不了蒲牧？自注意力機(jī)制錯(cuò)誤地將頭發(fā)顏色和人聯(lián)系起來(lái)撇贺。
這個(gè)問(wèn)題有一個(gè)解決方案：只在圖像的左側(cè)指定黑發(fā)男性提示赌莺，在圖像右側(cè)指定金發(fā)女性提示冰抢。
區(qū)域提示器
要使用區(qū)域提示器：
-
展開txt2img頁(yè)面上的區(qū)域提示器部分。
-
勾選激活以激活區(qū)域提示器艘狭。
- 大多數(shù)默認(rèn)設(shè)置都適用于此示例挎扰。具體來(lái)說(shuō)，他們是
- 分割方式：水平
- 生成方式：注意力
- 分頻比：1, 1
- 點(diǎn)擊visualize and make template巢音。您將看到下面的區(qū)域圖像指示兩個(gè)區(qū)域：左側(cè)的區(qū)域 0 和右側(cè)的區(qū)域 1 按 1 比 1 的比例平均劃分遵倦。
5.放入提示
一個(gè)男人和一個(gè)女人，一個(gè)黑頭發(fā)的男人
BREAK一個(gè)男人和一個(gè)女人官撼，一個(gè)金頭發(fā)的女人
提示由關(guān)鍵字分隔**BREAK**梧躺。我們上面有兩個(gè)提示。
第一個(gè)提示將應(yīng)用于區(qū)域 0傲绣。第二個(gè)提示將應(yīng)用于區(qū)域 1掠哥。
否定提示：
毀容的，畸形的秃诵，丑陋的
由于否定提示中沒(méi)有BREAK续搀，整個(gè)提示將應(yīng)用于兩個(gè)區(qū)域。
這些是我們得到的：
穩(wěn)定擴(kuò)散在區(qū)域 0（左）中正確生成黑發(fā)男性菠净，在區(qū)域 1 中生成金發(fā)女性禁舷。（右）
請(qǐng)注意，這并非 100% 的時(shí)間都有效毅往。根據(jù)我的經(jīng)驗(yàn)牵咙，它更像是 75% 的時(shí)間。但這仍然比純屬偶然要好得多攀唯。
常用提示
您可能已經(jīng)注意到這兩個(gè)提示有一個(gè)共同的部分“一個(gè)男人和一個(gè)女人”洁桌。
一個(gè)男人和一個(gè)女人，一個(gè)黑頭發(fā)的男人
BREAK一個(gè)男人和一個(gè)女人革答，一個(gè)金頭發(fā)的女人
如果沒(méi)有通用提示战坤，Stable Diffusion 只會(huì)生成一個(gè)人：
一個(gè)黑頭發(fā)的男人
BREAK一個(gè)金發(fā)女人
原因是左右區(qū)域的提示都描述了一個(gè)人曙强。所以你得到一個(gè)人！您需要告訴 Stable Diffusion 這是兩個(gè)人的照片：一個(gè)男人和一個(gè)女人途茫。
這就是為什么你需要一個(gè)共同的提示“一個(gè)男人和一個(gè)女人”碟嘴。
與這個(gè)玩具示例不同，如果您生成真實(shí)的圖像囊卜，則常見(jiàn)提示通常會(huì)很長(zhǎng)娜扇。有一個(gè)方便的方法來(lái)處理這個(gè)問(wèn)題。
- 選中選項(xiàng)Use common prompt栅组。
2雀瓢、現(xiàn)在可以a man and a woman在開頭添加常用提示符（ ）。
一個(gè)男人和一個(gè)女人
BREAK
一個(gè)黑頭發(fā)的男人
BREAK一個(gè)金頭發(fā)的女人
我們上面有三個(gè)提示：（1）普通提示玉掸，（2）區(qū)域0提示刃麸，（2）區(qū)域1提示。
公共提示被添加到每個(gè)區(qū)域的提示的開頭司浪。
普通提示只是一個(gè)語(yǔ)法糖：它等同于原始提示中的內(nèi)容泊业。
更復(fù)雜的區(qū)域
使用區(qū)域提示器的秘訣在于準(zhǔn)確定義區(qū)域。在本節(jié)中啊易，我將解釋如何設(shè)置分頻比以按照您想要的方式分解圖像吁伺。可能很難理解或記住如何正確指定區(qū)域租谈。您可以隨時(shí)單擊可視化并制作模板來(lái)生成區(qū)域圖像篮奄。
在一維劃分中，可以水平或垂直劃分區(qū)域割去。
橫向劃分
要水平劃分區(qū)域窟却，請(qǐng)?jiān)?strong>劃分模式中選擇****水平。每個(gè)區(qū)域都由一個(gè)用逗號(hào)分隔的數(shù)字表示劫拗。數(shù)字代表區(qū)域的大小间校。
分頻比示例：
1,1
1,1,1
1,2,1
縱向劃分
垂直劃分模式類似，只是區(qū)域是垂直劃分的页慷。以下是分壓比的一些示例憔足。
1,1
1,1,1
1,2,1
二維區(qū)域
您可以在圖像中垂直和水平劃分區(qū)域。選擇橫向分割模型酒繁。規(guī)則是
- 行由
; - 每行是由逗號(hào)分隔的一系列數(shù)字滓彰，例如
1,1,1 - 每行中的第一個(gè)數(shù)字表示行的高度。隨后的數(shù)字代表區(qū)域的寬度州袒。
讓我們看幾個(gè)例子揭绑。
1,1,1; 1,1,1
這定義了兩行，每行的高度為 1。兩行都有兩個(gè)寬度相等的區(qū)域 (1,1)他匪。
總共有4個(gè)區(qū)域菇存。
1,1,1; 2,1,1
- 這定義了兩行。
- 第一行的高度是1邦蜜，第二行的高度是2依鸥。
- 每行有兩個(gè)寬度相等的區(qū)域 (1,1)。
- 總共有4個(gè)區(qū)域悼沈。
最后贱迟，讓我們看一個(gè)更復(fù)雜的例子。明白了這一點(diǎn)絮供，你就明白了區(qū)域劃分的一切衣吠！
1,1,1,1; 2,1,2
- 有兩排。
- 第一行的高度是1壤靶，第二行的高度是2缚俏。
- 第一行有 3 個(gè)寬度為 1 的區(qū)域。(1,1,1)
- 第二行有兩個(gè)寬度為 1 和 2 的區(qū)域萍肆。(1,2)
- 總共有5個(gè)區(qū)域袍榆。
二維區(qū)域提示示例
假設(shè)我正在嘗試真實(shí)的圖像。我想出了以下提示塘揣。
型號(hào)：Lyriel v1.5
迅速的：
一個(gè)女巫，非常詳細(xì)的臉宿崭，半身亲铡，工作室照明，戲劇性的照明葡兑，非常詳細(xì)的衣服奖蔓，看著你，神秘的讹堤，戲劇性的照明吆鹤，（滿月：1.3），（美麗的火魔法：1.2）
否定提示：
未成年的洲守，不成熟的疑务，毀容的，畸形的
我們得到了一些不錯(cuò)的圖像梗醇，如下所示知允。
不錯(cuò)，但沒(méi)有辦法控制月亮和火的位置叙谨。您所能做的就是不斷點(diǎn)擊“生成”按鈕温鸽，直到獲得您想要的展示位置。
這是區(qū)域提示器可以提供幫助的地方手负。
使用以下設(shè)置：
- 分割方式：水平
- 使用普通提示：是
- 分頻比：
1,1,1;2,1,1
迅速的：
一個(gè)女巫涤垫，高度精細(xì)的臉姑尺，半身，工作室燈光蝠猬，戲劇性的燈光股缸，高度精細(xì)的衣服，看著你吱雏，神秘敦姻，戲劇性的燈光 BREAK（滿月：1.3）BREAK BREAK
BREAK
（
美麗
的
火魔法：1.2）
這將月亮置于區(qū)域 0（左上），將火置于區(qū)域 3（右下）歧杏。
我們現(xiàn)在可以控制位置了镰惦！
現(xiàn)在讓我們把月亮放在右上角（區(qū)域 1），把火放在左下角（區(qū)域 2）犬绒。
一個(gè)女巫旺入，高度精細(xì)的臉，半身凯力，工作室燈光茵瘾，戲劇性的燈光，高度精細(xì)的衣服咐鹤，看著你拗秘，神秘，戲劇性的燈光 BREAK BREAK（滿月：1.3）
BREAK
（
美麗
的
火焰魔法：1.2）BREAK
請(qǐng)看右上角的月亮和****左下角的火祈惶。
同樣雕旨，您應(yīng)該知道區(qū)域提示并非在 100% 的時(shí)間都有效。所以一次至少生成幾張圖片捧请。
使用 ControlNet 進(jìn)行區(qū)域提示
區(qū)域提示器可以指定每個(gè)區(qū)域的提示凡涩，但它不能控制整體圖像組成。嗯疹蛉，我們有一個(gè)工具可以做到這一點(diǎn)：ControlNet活箕。
讓我們來(lái)看兩個(gè)結(jié)合使用 Regional Prompter 和 ControlNet 的示例，以實(shí)現(xiàn)沒(méi)有它們我們只能夢(mèng)想的操縱程度可款。
示例 1：控制全局和局部組合
假設(shè)您想要生成一張巫師在小地窖空間中研究舊卷軸的圖像育韩。此外，您希望他旁邊有一只狼筑舅，地板上有一些頭骨座慰。
有很多因素需要處理。如果您使用常規(guī)的文本到圖像翠拣，您將看到各種各樣的構(gòu)圖版仔。
文本到圖像
作為一個(gè)無(wú)知的 Stable Diffusion 用戶，我輸入了這個(gè)提示并希望一切順利。
一個(gè)神秘的巫師蛮粮，非常詳細(xì)的臉益缎，非常詳細(xì)的衣服，電影然想，黑暗莺奔，恐怖，破舊的石墻变泄，古老的符號(hào)令哟，古老的神秘撕裂的卷軸，狼妨蛹，許多頭骨
否定提示：
未成年的屏富，不成熟的，毀容的蛙卤，畸形的
型號(hào)：Lyriel v1.5
由于我的提示技巧狠半，這些都是不錯(cuò)的圖像。（２选）
但這并不是我想要生成的神年。可能我沒(méi)說(shuō)清楚他在研究卷軸行嗤。讓我們稍微重新安排一下提示已日。
一個(gè)神秘的巫師研究古老的神秘撕裂的卷軸，非常詳細(xì)的臉昂验，非常詳細(xì)的衣服捂敌，電影，黑暗既琴，恐怖，破舊的石墻泡嘴，古代符號(hào)甫恩，狼，許多頭骨
現(xiàn)在它更接近我的想法酌予。但我無(wú)法控制巫師的姿勢(shì)及其放大的程度磺箕。
添加控制網(wǎng)
自然，下一步是使用ControlNet控制姿勢(shì)抛虫。我假設(shè)您已經(jīng)安裝了它并且了解基礎(chǔ)知識(shí)松靡。
我將指導(dǎo)您在此工作流程中使用它。如果您想了解更多信息建椰，請(qǐng)閱讀ControlNet 文章雕欺。
我將使用此庫(kù)存圖片作為參考。
**步驟 1.**將參考圖像上傳到圖像畫布。您可以將參考圖像拖放到那里屠列。
步驟 2.檢查啟用啦逆。
第 3 步。在預(yù)處理器下拉菜單中選擇openpose笛洛。
第 4 步夏志。在模型下拉菜單中選擇control_opepose。
或者苛让，通過(guò)執(zhí)行以下步驟預(yù)覽提取的姿勢(shì)沟蔑。
- 檢查允許預(yù)覽。
- **一個(gè)看起來(lái)像爆炸的新圖標(biāo)將出現(xiàn)在“模型”**下拉菜單旁邊狱杰。單擊圖標(biāo)以預(yù)覽姿勢(shì)瘦材。
按生成以使用 ControlNet 生成圖像。
這就是我們得到的浦旱。
現(xiàn)在它向前邁進(jìn)了一步宇色。我們已經(jīng)修復(fù)了巫師的姿勢(shì)。他現(xiàn)在總是坐下來(lái)展示他的完整身體颁湖。
但它仍然缺乏一種機(jī)制來(lái)指定某些區(qū)域的提示宣蠕。你可能知道我要做什么。沒(méi)錯(cuò)甥捺，添加區(qū)域提示抢蚀！
添加區(qū)域提示
**現(xiàn)在，通過(guò)選中“活動(dòng)”**復(fù)選框來(lái)激活區(qū)域提示器擴(kuò)展镰禾。
我們?nèi)詫⑹褂?strong>水平 分割模式皿曲。
檢查使用通用提示。
我們將把圖像分成 4 個(gè)區(qū)域吴侦。分頻比是
1,1,1.5; 1,1,1.5
4個(gè)地區(qū)是這樣的屋休。
我們希望有以下內(nèi)容：
- 整體形象：巫師
- 區(qū)域 0：帶有古老符號(hào)的石墻
- 區(qū)域 1：巫師閱讀卷軸
- 區(qū)域二：石墻邊的狼
- 區(qū)域 3：一些頭骨
所以提示是
一個(gè)神秘的巫師，非常詳細(xì)的臉备韧，非常詳細(xì)的衣服劫樟，電影，黑暗织堂，恐怖
BREAK
破舊的石墻叠艳，（古代符號(hào)：1.3）
BREAK
古老的神秘（撕裂的卷軸：1.2）
BREAK
破舊的石墻，（狼：1.5）
BREAK（許多頭骨：1.5）易阳，模糊
請(qǐng)注意附较，我增加了一些關(guān)鍵字的權(quán)重。否則對(duì)象可能不會(huì)顯示潦俺。
現(xiàn)在您可以完全控制狗拒课、技能和神秘符號(hào)的位置徐勃。請(qǐng)參見(jiàn)下圖。
示例 2：正確的顏色分配
假設(shè)您想要生成一些棕色頭發(fā)捕发、黃色襯衫和藍(lán)色連衣裙的女性的照片疏旨。聽(tīng)起來(lái)容易嗎？
如果您嘗試過(guò)生成類似的東西扎酷，您就會(huì)知道這是一個(gè)挑戰(zhàn)檐涝。
讓我們看一些帶有以下提示的示例。（修改自Realistic People教程）
年輕女性的全身照片法挨，天然棕色頭發(fā)谁榜，黃色襯衫，藍(lán)色連衣裙凡纳，繁忙的街道窃植，邊緣照明，工作室照明荐糜，看著相機(jī)巷怜，數(shù)碼單反相機(jī)，超高品質(zhì)暴氏，銳聚焦延塑，粘性銳利，景深答渔，膠片顆粒关带，F(xiàn)ujifilm XT3，晶瑩剔透沼撕，8K UHD宋雏，高度細(xì)致的有光澤的眼睛，高度細(xì)致的皮膚务豺，皮膚毛孔
毀容磨总，丑陋，糟糕笼沥，不成熟舍败，卡通，動(dòng)漫敬拓，3d，繪畫裙戏，黑白
型號(hào)：Realistic Vision v2
即興穩(wěn)定擴(kuò)散乘凸！顏色都混在一起了。
您會(huì)發(fā)現(xiàn)要告訴 Stable Diffusion 哪種顏色應(yīng)該放在哪里并不容易累榜。prompt token 的 self-attention 在這里效果不佳营勤。
你會(huì)偶然得到一個(gè)正確的作業(yè)灵嫌。但我寧愿利用那個(gè)機(jī)會(huì)獲得一個(gè)好的構(gòu)圖......
區(qū)域提示器
顏色分配是區(qū)域提示器可以提供幫助的事情。讓我們將圖像垂直分成 3 部分葛作。
分割模式：垂直
分頻比：1寿羞、1、1.5
使用普通提示：是
迅速的：
年輕女性的全身照片赂蠢，繁忙的街道绪穆，邊緣照明，工作室照明虱岂，看著相機(jī)玖院，數(shù)碼單反相機(jī)，超高品質(zhì)第岖，清晰的焦點(diǎn)难菌，粘性銳利，自由度蔑滓，膠片顆粒郊酒，F(xiàn)ujifilm XT3，晶瑩剔透键袱，8K UHD燎窘，高度詳細(xì)的有光澤的眼睛, 高細(xì)節(jié)皮膚, 皮膚毛孔
BREAK
天然棕色頭發(fā)
BREAK
(黃色上衣: 1.3)
BREAK(藍(lán)色連衣裙: 1.3)
否定提示是一樣的：
毀容，丑陋杠纵，糟糕荠耽，不成熟，卡通比藻，動(dòng)漫铝量，3d，繪畫银亲，黑白
很不錯(cuò)慢叨！區(qū)域提示是解決顏色分配問(wèn)題的有效方法。
使用 ControlNet Pose 獲得更多控制务蝠。
區(qū)域提示器作為創(chuàng)意工具
我們有幸擁有 Stable Diffusion弱卡。區(qū)域提示器使您能夠在圖像的不同部分進(jìn)行提示。讓我們考慮做一些新的東西荠雕！創(chuàng)建一些以前不可能的視覺(jué)效果湃望！
下面是將自然場(chǎng)景的圖像水平劃分為四個(gè)部分并為每個(gè)部分分配不同天氣的示例。
分割方式：水平
分頻比：1,1,1,1
使用普通提示：是
型號(hào)：Lyriel v1.5
迅速的：
一個(gè)美麗的野生公園院喜，自由之路亡蓉，勇氣和愛(ài)，國(guó)家地理年度照片
BREAK
春天喷舀，樹木砍濒，鳥類淋肾，綠草，（晴天爸邢，野花：1.2）樊卓，上帝之光，晴空
BREAK
多云杠河，干燥
BREAK
雷雨碌尔，雨
BREAK冬天，大雪感猛，荒蕪的樹木
否定提示
BREAK
雪
BREAK
BREAK
BREAKBREAK
我相信你可以比我更有創(chuàng)造力七扰。讓您的想法暢通無(wú)阻并開始嘗試！
最后的筆記
- 如果看不到對(duì)象陪白，請(qǐng)?jiān)黾雨P(guān)鍵字的權(quán)重颈走。
- 得到不完美的圖像是很正常的。用inpainting在這里或那里修復(fù)它咱士。與許多其他擴(kuò)展不同立由，區(qū)域提示器在 txt2img 和 img2img 之間共享設(shè)置。因此序厉，如果您不想使用它進(jìn)行修復(fù)锐膜，請(qǐng)務(wù)必取消選中**“活動(dòng)” 。**
- 這個(gè)擴(kuò)展的功能比我經(jīng)歷過(guò)的要多弛房。請(qǐng)參閱區(qū)域提示器 GitHub 頁(yè)面以了解更多信息道盏。
- 有一個(gè)名為L(zhǎng)atent Couple 的早期插件可以做類似的事情。區(qū)域提示器正在更新并具有一些額外的功能文捶。
- 嘗試使用注意力和潛在生成模式荷逞，看看哪一種最適合您。（注意力對(duì)我來(lái)說(shuō)效果很好粹排。）
本文使用 文章同步助手 同步
