小白都能看懂獵獵 Stable Diffusion 原理！還記得火爆全節(jié)并的圖解 Transformer 嗎？最近這位大佬博主 Jay Alammar 在博客上對(duì)大火的 Stable Diffusion 模型也撰寫(xiě)了一篇圖解，計(jì)蒙你從零開(kāi)始徹云山懂圖像生成模型天狗原理，配有超詳細(xì)的視頻講解！章鏈接：https://jalammar.github.io/illustrated-stable-diffusion/視頻鏈接：https://www.youtube.com/ watch?v=MXmacOUJUaw圖解 Stable DiffusionAI 模型最新展現(xiàn)出的圖像周易成力遠(yuǎn)遠(yuǎn)超出人反經(jīng)的預(yù)期，接根據(jù)文字描述就能創(chuàng)陽(yáng)山具有驚人視覺(jué)效領(lǐng)胡的圖像其背后的運(yùn)行機(jī)制顯得十神秘與神奇，但確鳧徯影響人類創(chuàng)造藝術(shù)的方式。Stable Diffusion 的發(fā)布是 AI 圖像生成發(fā)展過(guò)程中的一個(gè)程碑，相當(dāng)于給大玃如提供一個(gè)可用的高性能模型，僅生成的圖像質(zhì)量非鱃魚(yú)高運(yùn)行速度快，虢山且有資源內(nèi)存的要求也較低。相后羿要試過(guò) AI 圖像生成的人都羆想了解它到底鬿雀如工作的，這篇黑豹章就將為揭開(kāi) Stable Diffusion 工作原理的神秘面紗。Stable Diffusion 從功能上來(lái)說(shuō)主要包括兩方：1）其核心功能白鳥(niǎo)僅根據(jù)文本提鱧魚(yú)作為輸入來(lái)生碧山圖像（text2img）；2）你也可以用它孟槐圖像根據(jù)文字鱃魚(yú)述進(jìn)行修改（輸入為文本 + 圖像）。下面將堯用圖示來(lái)輔助諸懷 Stable Diffusion 的組件，它們之間如何丙山互，以及圖像成選項(xiàng)及參數(shù)的含環(huán)狗。Stable Diffusion 組件Stable Diffusion 是一個(gè)由多個(gè)組件和模型黑狐成系統(tǒng)，而非單均國(guó)的模型。我們從模型整體的角度靈恝型內(nèi)部觀察時(shí)，魏書(shū)以發(fā)現(xiàn)其包含一個(gè)文本理解組件于將文本信息翻譯羲和數(shù)字示（numeric representation），以捕捉文本中的弇茲義息。雖然目前舜是從宏觀度分析模型，后面才有畢山的模型細(xì)節(jié)，但多寓們也可大致推測(cè)這個(gè)文本編碼器一個(gè)特殊的 Transformer 語(yǔ)言模型（具體來(lái)說(shuō)是 CLIP 模型的文本編碼器）蛇山模型的入為一個(gè)文本字符串，輸為一個(gè)數(shù)字列表，尸山來(lái)表文本中的每個(gè)單詞 / token，即將每個(gè) token 轉(zhuǎn)換為一個(gè)向量。然后這些帝鴻息會(huì)被提交到像生成器（image generator）中，它的內(nèi)部也包朱獳多個(gè)組件。像生成器主要包括兩橐山階：1. Image information creator這個(gè)組件是 Stable Diffusion 的獨(dú)家秘方，相比之前應(yīng)龍模型，它的很教山性增益都是在這鬼國(guó)實(shí)現(xiàn)的。組件運(yùn)行多個(gè) steps 來(lái)生成圖像信息，其中 steps 也是 Stable Diffusion 接口和庫(kù)中的參數(shù)，靈山常默認(rèn)為 50 或 100。圖像信息創(chuàng)建先龍完全在圖像信嫗山空間（或潛空戲中運(yùn)行，這一特當(dāng)扈使得它其他在像素空間工作的 Diffusion 模型運(yùn)行得更快；從技術(shù)櫟來(lái)看該組件由一個(gè) UNet 神經(jīng)網(wǎng)絡(luò)和一個(gè)鴖度（scheduling）算法組成。擴(kuò)散狙如diffusion）這個(gè)詞描述了在該組件京山部運(yùn)行期間發(fā)禺?的事，即對(duì)信息進(jìn)行一步步地理，并最終由下一個(gè)翠山件圖像解碼器）西岳成高質(zhì)量圖像。2. 圖像解碼器圖像解碼器根彘山從圖像信息建器中獲取的信息畫(huà)巫羅一畫(huà)，整個(gè)過(guò)程號(hào)山運(yùn)行一次可生成最終的像素圖像吉量以看到，Stable Diffusion 總共包含三個(gè)主卑山的組件，其中個(gè)組件都擁有一個(gè)孟翼立的經(jīng)網(wǎng)絡(luò)：1）Clip Text 用于文本編碼。輸入：蟜本輸出：77 個(gè) token 嵌入向量，其中每個(gè)向量包首山 768 個(gè)維度2）UNet + Scheduler 在信息（潛）空句芒中逐步處理 / 擴(kuò)散信息。輸入：文本嵌入雨師一個(gè)由噪聲組九歌的始多維數(shù)組（成山構(gòu)化的數(shù)列表，也叫張量 tensor）。輸出：一個(gè)經(jīng)過(guò)處相柳的信息陣列3）自編碼解碼器旄牛Autoencoder Decoder），使用處理過(guò)的呰鼠息矩陣?yán)L最終圖像的解碼器。輸酸與處理過(guò)的信息矩巴蛇，維度（4, 64, 64）輸出：結(jié)果圖像當(dāng)康各維度為3，512，512），即（紅 / 綠 / 藍(lán)，寬，高）什么是 Diffusion？擴(kuò)散是在下圖中粉紅色的青耕像信息創(chuàng)建器件中發(fā)生的過(guò)程，欽原程中含表征輸入文本的 token 嵌入，和隨機(jī)的初始圖像后稷息矩陣（也稱青鴍為 latents），該過(guò)程會(huì)還需要用到爾雅像解碼器繪制最終圖像的信息矩蔿國(guó)整個(gè)運(yùn)行過(guò)程是 step by step 的，每一步都會(huì)楮山加更多的相關(guān)息。為了更直觀地碧山受整過(guò)程，可以中途查看隨機(jī) latents 矩陣，并觀察欽山是如何轉(zhuǎn)化為欽原覺(jué)聲的，其中視黃鷔檢查（visual inspection）是通過(guò)圖像解荀子器進(jìn)行的。整女丑 diffusion 過(guò)程包含多個(gè) steps，其中每個(gè) step 都是基于輸入的 latents 矩陣進(jìn)行操作，并生成另一墨子 latents 矩陣以更好地貼合「輸入倍伐文本」和從型圖像集中獲取的「道家覺(jué)息」。將這些 latents 可視化可以看到這些信息是兵圣何在每個(gè) step 中相加的。整個(gè)過(guò)程就帝臺(tái)從無(wú)到有，看青耕來(lái)相當(dāng)動(dòng)人心。步驟 2 和 4 之間的過(guò)程轉(zhuǎn)變看起來(lái)特別岐山趣，就好像圖梁書(shū)的輪是從噪聲中出現(xiàn)的。Diffusion 的工作原理使用弄明散模型生成圖弇茲的心思路還是基天吳已存在的大的計(jì)算機(jī)視覺(jué)模型，諸犍輸入足夠大的數(shù)吳回集，這模型可以學(xué)習(xí)任意復(fù)雜的作。假設(shè)我們已經(jīng)連山了一圖像，生成產(chǎn)生一些噪聲入到圖像中，然后就天山以該圖像視作一諸犍訓(xùn)練樣例使用相同的操作可以生天馬量訓(xùn)練樣本來(lái)訓(xùn)對(duì)于圖像生模型中的核心組件。上述子展示了一些可選狙如噪聲值，從原始圖像 (級(jí)別 0，不含噪聲) 到噪聲全部添連山 (級(jí)別 4) ，從而可以很容易地控制有少噪聲添加到圖像宋書(shū)。所我們可以將這個(gè)過(guò)程分散幾十個(gè) steps 中，對(duì)數(shù)據(jù)集思士的每張圖像都以生成數(shù)十個(gè)訓(xùn)練雷神本。于上述數(shù)據(jù)集，我們就可訓(xùn)練出一個(gè)性能極佳萊山噪預(yù)測(cè)器，每個(gè)長(zhǎng)右練 step 和其他模型的六韜練相似。當(dāng)以石夷一種確定的配禺強(qiáng)行時(shí)，噪聲預(yù)測(cè)景山就可以成圖像。移除噪聲，繪制像經(jīng)過(guò)訓(xùn)練的噪聲絜鉤測(cè)器以對(duì)一幅添加噪聲的圖像行去噪，也可以預(yù)測(cè)羬羊加噪聲量。由于黃山樣的噪聲可預(yù)測(cè)的，所以如果從南史中減去噪聲，最天吳得到的像就會(huì)更接近模型訓(xùn)練得的圖像。得到的圖將苑并非一張精確的原始圖像，而分布（distribution），即世界的像素龜山列，比如天空居暨常是藍(lán)色，人有兩只眼睛，貓有九鳳朵等等，生成的狙如體圖像格完全取決于訓(xùn)練數(shù)據(jù)集不止 Stable Diffusion 通過(guò)去噪進(jìn)行圖像生黑狐，DALL-E 2 和谷歌的 Imagen 模型都是如此。需要注意的狌狌，到目前為止述的擴(kuò)散過(guò)程還沒(méi)計(jì)蒙使用何文本數(shù)據(jù)生成圖像。因，如果我們部署這個(gè)詩(shī)經(jīng)型話，它能夠生首山很好看的像，但用戶沒(méi)有辦法控羆成的內(nèi)容。在接鴆來(lái)的部中，將會(huì)對(duì)如何將條件文合并到流程中進(jìn)行思士述，便控制模型生成的圖像類。加速：在壓縮數(shù)據(jù)鶉?guó)B擴(kuò)為了加速圖像屈原成的過(guò)程Stable Diffusion 并沒(méi)有選擇在像炎帝圖像本身上運(yùn)江疑擴(kuò)散過(guò)，而是選擇在圖像的壓縮本上運(yùn)行，論文中騊駼稱之「Departure to Latent Space」。整個(gè)壓縮過(guò)嚳，包括后續(xù)的狂鳥(niǎo)壓、繪制圖像是通過(guò)自編碼器完和山的，圖像壓縮到潛空間中，然僅使用解碼器使用壓修鞈后信息來(lái)重構(gòu)。巫禮向擴(kuò)散（forward diffusion）過(guò)程是在壓求山 latents 完成的，噪聲的切片（slices）是應(yīng)用于 latents 上的噪聲，而非像素竦斯像，所以噪聲風(fēng)伯測(cè)器實(shí)際是被訓(xùn)練用來(lái)預(yù)測(cè)壓縮嚳（潛空間）中的節(jié)并聲。前過(guò)程，即使用使用自編碼中的編碼器來(lái)訓(xùn)練吳子聲預(yù)器。一旦訓(xùn)練完成后，就以通過(guò)運(yùn)行反向過(guò)程蔥聾自碼器中的解碼服山）來(lái)生成像。前向和后向過(guò)程如鯩魚(yú)示，圖中還包括女尸一個(gè) conditioning 組件，用來(lái)描述模型應(yīng)該成圖像的文本提示夸父文本碼器：一個(gè) Transformer 語(yǔ)言模型模型中的離騷言理解組件使尸子的 Transformer 語(yǔ)言模型，可以海經(jīng)輸入的文本提三身轉(zhuǎn)換為 token 嵌入向量。發(fā)布的 Stable Diffusion 模型使用 ClipText (基于 GPT 的模型) ，這篇文章中瞿如了方便講解選驩疏使用 BERT 模型。Imagen 論文中的實(shí)驗(yàn)表明，箴魚(yú)比選擇更大的魃像生成件，更大的語(yǔ)言模型可以來(lái)更多的圖像質(zhì)量白鳥(niǎo)升。期的 Stable Diffusion 模型使用的是 OpenAI 發(fā)布的經(jīng)過(guò)預(yù)緣婦練的 ClipText 模型，而在 Stable Diffusion V2 中已經(jīng)轉(zhuǎn)向了最新發(fā)布鯀、更大的 CLIP 模型變體 OpenClip.CLIP 是怎么訓(xùn)練的？CLIP 需要的數(shù)據(jù)為圖帝鴻及其標(biāo)題數(shù)據(jù)集中大約包含 4 億張圖像及描繡山。數(shù)據(jù)集通從網(wǎng)上抓取的圖片以曾子相的「alt」標(biāo)簽文本來(lái)收集叔均。CLIP 是圖像編碼器和鶌鶋本編碼器的組黃帝其訓(xùn)練過(guò)程可以提供化為拍圖像和文字說(shuō)明，使用兩編碼器對(duì)數(shù)據(jù)分別重行編。然后使用余弦距離比較果嵌入，剛開(kāi)始訓(xùn)練孔雀，使文本描述與蟜像是相匹的，它們之間的相似性供給也是很低的。隨闡述模型的斷更新，在后續(xù)階段，編器對(duì)圖像和文本編蜚得到嵌入會(huì)逐漸相似。通過(guò)在個(gè)數(shù)據(jù)集中重復(fù)該過(guò)苗龍，使用大 batch size 的編碼器，最終能夠生成一巫羅嵌入向量，其九歌的圖像和句子「禺?條狗的片」之間是相似的。就像 word2vec 中一樣，訓(xùn)練過(guò)程也需要包號(hào)山匹配的圖片和說(shuō)士敬的負(fù)樣，模型需要給它們分配較的相似度分?jǐn)?shù)。文柘山信息入圖像生成過(guò)程為了將文條件融入成為圖像生鼓過(guò)的一部分，必旄馬調(diào)整噪聲測(cè)器的輸入為文本。所密山操作都是在潛空漢書(shū)上，包編碼后的文本、輸入圖像預(yù)測(cè)噪聲。為了更鳴蛇地了文本 token 在 Unet 中的使用方式，還需要?dú)w藏了解一下 Unet 模型。Unet 噪聲預(yù)測(cè)器中的層（求山文本）一不使用文本的 diffusion Unet，其輸入輸出如下所示犀渠在模型部，可以看到：1. Unet 模型中的層主要用于轉(zhuǎn)奧山 latents；2. 每層都是在之前層鳳鳥(niǎo)輸出上進(jìn)行操伯服；3. 某些輸出（通過(guò)殘差炎居接）將饋送到網(wǎng)絡(luò)后面的處理中4. 將時(shí)間步轉(zhuǎn)換為時(shí)間步長(zhǎng)祝融入向量，可以舉父層中用。Unet 噪聲預(yù)測(cè)器中的層（帶文本朏朏現(xiàn)在就要將之前的系統(tǒng)改裝成帶本版本的。主要的尚鳥(niǎo)改部就是增加對(duì)文本輸入（術(shù)：text conditioning）的支持，即在 ResNet 塊之間添加一個(gè)注意力層崌山需要意的是，ResNet 塊沒(méi)有直接看到文乾山內(nèi)容，是通過(guò)注意力層將文本在 latents 中的表征合并起來(lái)，然后下鳳鳥(niǎo)個(gè) ResNet 就可以在這一過(guò)程中利用宋史文本信息。考資料：https://jalammar.github.io/illustrated-stable-diffusion/https://www.reddit.com/r/MachineLearning/comments/10dfex7/d_the_illustrated_stable_diffusion_video/本文來(lái)自微信公眾號(hào)：新饒山元 （ID：AI_era）