Stable Diffusion實(shí)踐操作-大模型介紹:SD的發(fā)展歷史,SD1.5和SDXL之間的差別

大家有沒有這樣的困惑:在找模型時(shí)榴啸,老是會(huì)出現(xiàn)一些奇怪的標(biāo)簽孽惰,像 sd1.5、sdxl 之類的模型后綴鸥印,真讓人摸不著頭腦勋功,一會(huì)兒 1.0,一會(huì)兒 1.5库说,一會(huì)兒 XL酝润,完全搞不清楚狀況。今天就來給大家好好講講璃弄,這些讓人一頭霧水的標(biāo)簽究竟是什么意思要销。

首先,咱們得先了解一些與 SD 相關(guān)的基礎(chǔ)知識(shí)夏块。Stable Diffusion 是一種基于概率論的生成模型疏咐,通過特定算法進(jìn)行訓(xùn)練的人工智能,它能夠通過不斷迭代與優(yōu)化脐供,生成高質(zhì)量的圖像和視頻浑塞。

這一介紹揭示了 SD 的本質(zhì),它是一款持續(xù)更新的模型軟件政己。在其發(fā)展進(jìn)程中酌壕,SD 從 1.0 版本起不斷推陳出新,截至目前歇由,推出的版本號(hào)已經(jīng)達(dá)到了3.5卵牍。當(dāng)然關(guān)于3.5和flux之間的問題是下一次的內(nèi)容,這次主要講的是sd1.5和sdxl的歷史沦泌。

先講講 sd 1.0 的發(fā)展歷程糊昙。Stable Diffusion v1.0 于 2022 年 8 月首次公開發(fā)布,隨后在一段時(shí)間內(nèi)陸續(xù)有一些小版本更新谢谦,如 1.0 - 1.4 等释牺。這些版本創(chuàng)新點(diǎn)不多萝衩,主要是在改進(jìn)模型的性能與質(zhì)量方面下功夫。到了 2022 年 10 月没咙,持續(xù)時(shí)間較長(zhǎng)的 sd1.5 版本模型正式推出猩谊。用過 sd 模型的朋友都知道,sd 在生成大尺寸圖片時(shí)祭刚,常常會(huì)出現(xiàn)多重身的現(xiàn)象预柒。這是因?yàn)槟P陀?xùn)練時(shí)采用的是 512 * 512 的圖片,一旦超出這個(gè)規(guī)格袁梗,AI 就會(huì)誤判為要生成兩張圖片宜鸯,所以才會(huì)有多重身的問題。

不得不說遮怜,1.5 版本發(fā)布的時(shí)機(jī)相當(dāng)巧妙淋袖。在那段時(shí)間,由于 sd 的開源特性锯梁,與之匹配的插件層出不窮即碗。因此,盡管 1.5 版本也是用 512 * 512 的圖片訓(xùn)練出來的陌凳,但在豐富的生態(tài)插件助力下剥懒,制作較大像素的圖片也毫無壓力,而且還有各種各樣的風(fēng)格模型合敦,所以 1.5 版本的生態(tài)在幾個(gè)版本中是最為出色的初橘。后續(xù)發(fā)布的 2.0 - 2.1 兩個(gè)版本,雖然圖片的采樣數(shù)量持續(xù)增加充岛,圖片規(guī)格也提升到了 768 * 768保檐,但始終難以取代 1.5 版本的地位。

直到 2023 年 8 月崔梗,sd 的開發(fā)公司又推出了 sdxl 版本的模型夜只。

sdxl 與 sd1.5 存在諸多區(qū)別:

模型組合差異:sd1.5 的生成模型僅有一個(gè);而 sdxl 的生成模型有兩個(gè)蒜魄,能夠靈活組合出圖扔亥。其基礎(chǔ)模型為 base 模型(負(fù)責(zé)潛空間放大),精修模型是 refiner 模型(負(fù)責(zé)細(xì)化放大)谈为。

訓(xùn)練參數(shù)有別:1.5 模型的訓(xùn)練參數(shù)為 9.8 億旅挤,XL 的 base 模型有 35 億參數(shù),refiner 參數(shù)模型更是高達(dá) 65 億峦阁。并且 1.5 訓(xùn)練的圖片分辨率主要是 512 * 512谦铃,XL 的訓(xùn)練圖片則是 1024 * 1024耘成。訓(xùn)練參數(shù)與圖像分辨率的不同榔昔,使得 XL 生成的圖片分辨率更高驹闰,細(xì)節(jié)也更加豐富。

提示詞寫法優(yōu)化:sd1.5 主要使用短語提示詞撒会,而且需要添加諸如考慮更多提示詞各部分權(quán)重嘹朗、提升畫質(zhì)等與圖片內(nèi)容無關(guān)的提示詞。例如诵肛,1.5 版本被人詬病最多的一點(diǎn)就是需要添加更多的 Lora 模型才能生成較好的圖片屹培。而 sdxl 既可以用短語也能用句子生成圖片,無需質(zhì)量詞怔檩,對(duì)自然語言的理解能力更強(qiáng)褪秀。要知道,以往的 sd 都需要使用者學(xué)習(xí)各種復(fù)雜的提示詞薛训,還要善于運(yùn)用各種插件才能生成可用的圖片媒吗。用自然語言生成精美圖片可是另一個(gè) AI 繪畫領(lǐng)域巨頭 Midjourney 的看家本領(lǐng),也是其每月收取 50 美金費(fèi)用的資本所在乙埃,如今這道原本堅(jiān)固的護(hù)城河已逐漸被瓦解闸英。

sdxl生成的圖片展示:


總體而言,使用 sdxl 模型生成圖片的良品率還是比較可觀的介袜。當(dāng)然甫何,這個(gè)良品率也存在一定的局限性。在生成真實(shí)圖片時(shí)遇伞,我覺得用 sdxl 模型生成的底圖辙喂,再結(jié)合 sd 經(jīng)過調(diào)教的真實(shí)系 Lora 模型,效果會(huì)更好鸠珠。而在動(dòng)漫圖片方面加派,借助 sdxl 的自然語言處理能力能夠更輕松地得到理想的構(gòu)圖,再搭配動(dòng)漫畫風(fēng)的模型跳芳,就能收獲不錯(cuò)的成果芍锦。下次再來為大家介紹 sd 目前最為精彩的 sd3.5 大模型以及黑森林推出的 flux 大模型。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末飞盆,一起剝皮案震驚了整個(gè)濱河市娄琉,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌吓歇,老刑警劉巖孽水,帶你破解...
    沈念sama閱讀 218,525評(píng)論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異城看,居然都是意外死亡女气,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,203評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門测柠,熙熙樓的掌柜王于貴愁眉苦臉地迎上來炼鞠,“玉大人缘滥,你說我怎么就攤上這事≮酥鳎” “怎么了朝扼?”我有些...
    開封第一講書人閱讀 164,862評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)霎肯。 經(jīng)常有香客問我擎颖,道長(zhǎng),這世上最難降的妖魔是什么观游? 我笑而不...
    開封第一講書人閱讀 58,728評(píng)論 1 294
  • 正文 為了忘掉前任搂捧,我火速辦了婚禮,結(jié)果婚禮上懂缕,老公的妹妹穿的比我還像新娘异旧。我一直安慰自己,他們只是感情好提佣,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,743評(píng)論 6 392
  • 文/花漫 我一把揭開白布吮蛹。 她就那樣靜靜地躺著,像睡著了一般拌屏。 火紅的嫁衣襯著肌膚如雪潮针。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,590評(píng)論 1 305
  • 那天倚喂,我揣著相機(jī)與錄音每篷,去河邊找鬼。 笑死端圈,一個(gè)胖子當(dāng)著我的面吹牛焦读,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播舱权,決...
    沈念sama閱讀 40,330評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼矗晃,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了宴倍?” 一聲冷哼從身側(cè)響起张症,我...
    開封第一講書人閱讀 39,244評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎鸵贬,沒想到半個(gè)月后俗他,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,693評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡阔逼,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,885評(píng)論 3 336
  • 正文 我和宋清朗相戀三年兆衅,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,001評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡羡亩,死狀恐怖摩疑,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情夕春,我是刑警寧澤未荒,帶...
    沈念sama閱讀 35,723評(píng)論 5 346
  • 正文 年R本政府宣布专挪,位于F島的核電站及志,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏寨腔。R本人自食惡果不足惜速侈,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,343評(píng)論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望迫卢。 院中可真熱鬧倚搬,春花似錦、人聲如沸馋贤。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,919評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至眨层,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間上荡,已是汗流浹背趴樱。 一陣腳步聲響...
    開封第一講書人閱讀 33,042評(píng)論 1 270
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留酪捡,地道東北人叁征。 一個(gè)月前我還...
    沈念sama閱讀 48,191評(píng)論 3 370
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像逛薇,于是被迫代替她去往敵國(guó)和親捺疼。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,955評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容