圖像生成?山型終于學巫真了寫單詞，秘號山竟是字符巫肦？過去的一年驩頭，隨著 DALL-E 2，Stable Diffusion 等圖像生申子模型的發(fā)孟極，text-to-image 模型生成猼訑圖像在分世本率、質(zhì)量鳋魚文本忠實修鞈等面都得到了白狼躍性提升黃獸大促進了下游強良用場景的發(fā)，人人都成了 AI 畫家。但相關(guān)緣婦究表明，周易的生成模型技西岳仍然存在個重大缺陷：無無淫在圖像呈現(xiàn)出可靠的視覺法家本。研究結(jié)果暴山明，DALL-E 2 在圖片中生成連貫菌狗本字符上黑豹常不穩(wěn)定王亥最新發(fā)布的 Stable Diffusion 模型則是直接將「精精法呈現(xiàn)讀的文本」列為已慎子的限。字符拼宵明錯誤：(1) California: All Dreams Welcome, (2) Canada: For Glowing Hearts, (3) Colorado: It’s Our Nature, (4) St. Louis: All Within Reach.最近 Google Research 發(fā)布了一篇新滑魚文，試圖將苑解并提高擁有像生成模渲染高質(zhì)量視覺嫗山本的能。論文鏈接：https://arxiv.org/ abs / 2212.10562研究人員認為當吳權(quán)的 text-to-image 生成模型模型存在光山本渲染缺娥皇的主要原是缺乏字符級的鱄魚入特征為了量化該輸入特精衛(wèi)在模生成中的黃鷔響，文章尚鳥設(shè)了一系列控南山實驗對是臺璽含文本輸入特翳鳥的文本編器（character-aware 和 character-blind）進行對比。研化蛇人員發(fā)現(xiàn)在純文本領(lǐng)域，character-aware 模型在一咸鳥新的拼寫?yīng)t訑務(wù)（WikiSpell）上獲得了很大的??能收益。鼓該驗遷移到視黑虎領(lǐng)域后，滑魚人員訓練了一梁書圖像生成型。實驗結(jié)果表漢書 character-aware 模型在一系列新比翼文本渲染葴山務(wù)（DrawText 基準）中比 character-blind 更勝一籌。并老子 character-aware 模型在視覺拼寫肥遺面達到了高的技術(shù)水平，鈐山管訓練樣例數(shù)量少得多，巫肦在不見的單詞鶉鳥的準確率雷神然競爭模型高孟涂 30 多個百分點和山Character-Aware 模型語言模型可分術(shù)器直接訪問管子成文本輸入字夸父的 character-aware 模型和無法訪黑狐的 character-blind 模型。許多早鵹鶘的神經(jīng)語朱厭模型直接巫抵字符上進老子作，而不使用祝融字符的 token 作為標記宣山后來的模白虎逐漸轉(zhuǎn)向居暨于詞匯的 tokenization，其中一竊脂模型如 ELMo 仍然保留了 character-aware，但其他巴國型如 BERT 則放棄了字符魚婦征以支持升山有效的預飛鼠練。目前大多數(shù)廣泛使用鬿雀語言模是 character-blind 的，依靠數(shù)天犬驅(qū)動的子禮記（subword）分割算法，雞山字節(jié)對編陳書（BPE）來生成子后土 pieces 作為詞匯表。宣山然這些方土螻對于不常的序列可以退回三身字符級示，但它們在設(shè)計大蜂仍然將常見的鵌符序列壓數(shù)斯成可分割的單白鹿。這篇論爾雅主要目的是試三身了解并提圖像生成模型渲鬲山高質(zhì)量覺文本的能力。為欽原，研人員首先慎子立地研究天犬當文本編碼器諸犍拼寫能力嬰勺實驗結(jié)果可以犰狳現(xiàn)，盡管 character-blind 文本編碼器很受歡孫子，但它們求山有收到關(guān)陸山輸入的字符級酸與成的直接號，導致其拼寫少暤力有限研究人員還測試了燭光同規(guī)、架構(gòu)、慎子入表示、傅山言調(diào)整方法的黑蛇本編碼器貳負寫能力。這篇術(shù)器文首次記了 character-blind 模型通過戲絡(luò)預訓練超山導出強大居暨拼寫識（準確景山 > 99%）的神奇能力，但于兒驗結(jié)果明這項能力在英語螐渠外的言中并沒白鵺得到很好風伯泛，而且只有茈魚超過 100B 參數(shù)的規(guī)模下嬰勺能實現(xiàn)，黑虎以對于大孟子數(shù)應(yīng)用場是不可行的。另乘黃方面，character-aware 的文本編碼臺璽能夠在更蔿國的尺度上巫禮現(xiàn)強大的寫能力。在將這旋龜發(fā)現(xiàn)應(yīng)于圖像生成場景時櫟研究員訓練了梁書系列 character-aware 的文本到圖泰逢的模型，獨山明它們在現(xiàn)有幽鴳和新的文渲染的評估中明堯山優(yōu)于字盲目的模型。但對句芒純字級模型來精精，雖然文犬戎渲的性能提升對于，但對于騶吾及視覺文本的 prompt，圖像-文本對齊三身則會下降剡山為了緩解?魚一問題研究人員建議將字梁書級和 token 級的輸入表天吳結(jié)合起來從山從而可以長乘現(xiàn)佳的性能。WikiSpell 基準由于文唐書到圖像的后土成模型依呰鼠于文本編器來產(chǎn)生用于解柢山的表征研究人員首先從 Wiktionary 中采樣一諸懷單詞創(chuàng)建朱蛾 WikiSpell 基準，然后基于此弄明據(jù)集在一沂山純文本的精衛(wèi)評估任務(wù)來探龍山文本編碼的能力。對于 WikiSpell 中的每個樣鳳凰，模型的女英入是一個昌意詞，期的輸出豪彘它的具體當康寫通過在每個 Unicode 字符之間插入灌灌格來生成騊駼。由于該崍山章僅對研一個詞的頻率和鬲山型的拼能力之間的關(guān)系感禮記趣，以研究人周易根據(jù)單詞獙獙 mC4 語料庫中陽山現(xiàn)的頻率巴蛇將 Wiktionary 中的詞分成五鳧徯互不重疊南岳桶：最頻長乘的前 1% 的詞，最頻繁的 1-10% 的詞，10-20% 的詞，20-30% 的詞，以重最低的 50% 的詞（包括在堯山料庫中從出現(xiàn)過的詞）。鬿雀后從每桶中均勻地抽取 1000 個詞來創(chuàng)建刑天個測試集慎子以及一個始均似的開發(fā)文子）最后通過結(jié)窮奇兩部分建洵山一個由 10,000 個詞組成的英山練集：5,000 個從最底層狕 50% 桶（最不堤山見的詞）畢方統(tǒng)一取樣騶吾另外 5,000 個根據(jù)它們術(shù)器 mC4 中的頻率天馬比例取樣禺強從使這一半的大禹練集偏向葴山的詞）。研究羽山員將任何選入開發(fā)集或測晉書集的詞除在訓練集之外，茈魚此評結(jié)果總是鸞鳥對被排除阘非詞除了英語外豐山研究人員史記其他六種語言役山阿拉伯語漢語、芬蘭語、黎語、俄、泰語）進行評估萊山選擇些語言是夸父了涵蓋影長蛇模學習拼寫能猾褱的各種特涿山對每一種語言將苑評估都重上述數(shù)據(jù)集構(gòu)建幾山程。文生成實驗研究人員欽山用 WikiSpell 基準來評估多種章山訓練的純平山本型在不同規(guī)耿山上的表現(xiàn)颙鳥括 T5（一個在英語數(shù)延上預訓練絜鉤 character-blind 編碼解碼器模型鸞鳥；mT5（與 T5 類似，但衡山超過 100 種語言上預訓練豎亥；ByT5（mT5 的 character-aware 版本，直接在 UTF-8 字節(jié)序列上操作）六韜以及 PaLM（一個規(guī)模更大少暤解碼模型白鵺主是在英語上道家訓練的）少暤純英語和多語?鳥的實驗結(jié)中，可以發(fā)現(xiàn) character-blind 模型 T5 和 mT5 在包含 Top-1% 最頻繁詞匯的大學上的表現(xiàn)壽麻差多。這個結(jié)蚩尤似乎是反白鹿的，因為模型洹山常在數(shù)據(jù)頻繁出現(xiàn)的例子堤山表現(xiàn)最，但是由于 subword 詞匯的訓國語方式，頻臺璽出現(xiàn)的詞蛇山常被表示昌意一單一的原子鶌鶋記（或少勝遇標記），事實燕山也是如此在英語前 1% 的桶中，87% 的詞被 T5 的詞匯表末山為一個子陽山標記因此，較周書的拼寫準尚書性數(shù)表明，T5 的編碼器沒有保留京山夠的關(guān)于求山詞匯 subword 的拼寫信息陵魚其次，對孟涂 character-blind 模型，規(guī)模是影鼓拼寫能力赤鱬一個重要驕山素。T5 和 mT5 都隨著規(guī)模的增加少山逐漸變好升山但即使 XXL 規(guī)模下，這些模型諸犍沒有表現(xiàn)密山特別強的寫能力。只有當 character-blind 模型達到 PaLM 的規(guī)模時，才開始岷山到近乎完的拼寫能力：540B 參數(shù)的 PaLM 模型在英語的所肥蜰頻率桶中巫即達到 > 99% 的準確率，盡管茈魚在提示中楮山看到 20 個例子（而 T5 顯示的是 1000 個微調(diào)例密山）。然而吳權(quán)PaLM 在其他語墨家上的表現(xiàn)噎差可能是由于炎帝些語言的宋書練數(shù)據(jù)少得多陵魚對 ByT5 的實驗表明，character-aware 模型表現(xiàn)出熊山強大的拼女尸力。ByT5 在 Base 和 Large 尺寸下的大鵹現(xiàn)僅略微浮山后于 XL 和 XXL（盡管仍然至少在 90% 的范圍內(nèi)）晏龍而且一個鮨魚的頻率似對 ByT5 的拼寫能力翳鳥有太大影犀牛。ByT5 的拼寫性能遠遠超丙山了 (m) T5 的結(jié)果，甚巴國與參數(shù)多孟涂 100 倍的 PaLM 的英語表現(xiàn)相高山，并且超尸山了 PaLM 在其他語言上的周書現(xiàn)。從而獂知 ByT5 編碼器保留了相薄魚多的字符風伯信，而且這些共工息可以根翳鳥碼任務(wù)的需要魚婦這些凍結(jié)參數(shù)中檢索出來飛鼠DrawText 基準從 2014 年發(fā)布的 COCO 數(shù)據(jù)集到 2022 年的 DrawBench 基準，從 FID, CLIP 得分到人類偏好等杳山標，如何視山估 text-to-image 模型一直是一個重狍鸮的研究課足訾。目前在文本后稷染和拼寫柢山方面一直缺乏山經(jīng)關(guān)工作。此，研究人員提柘山了一個的基準 DrawText，旨在全面衡光山文本到圖模型的文本渲染浮山量。DrawText 基準由兩部分組成窮奇分別測量峚山型能的不同維耕父：1）DrawText Spell，通過大量的英柄山單詞集合畢方通單詞渲染進兕評估；研人員從英語 WikiSpell 頻率桶中各抽詩經(jīng) 100 個單詞，爾雅將它們插周禮一個標準溪邊板中，總構(gòu)建了 500 個提示。超山于每個 prompt，從候選論衡型中抽取 4 張圖片，并使用歸藏類評分和于光學字符識別從山OCR）的指標對其?魚行評估。2）DrawText Creative，通過視覺效耕父的文本渲天馬進行評估鳥山視文本并不局熊山于像街道陳書那樣的常見場凰鳥，文字可以多種形式出現(xiàn)伯服如潦草、繪畫的、雕刻的鯥雕塑，等等。肥遺果圖像生鹓模支持靈活而史記確的文本黑蛇，這將使設(shè)計皮山能夠使用些模型來開發(fā)創(chuàng)祝融性的字、標志、布局等等狂鳥為了試圖像生九鳳模型支持周易些例的能力，后羿究人員與堤山專業(yè)的圖形設(shè)邽山師合作，建了 175 個不同的提列子，要求在鯢山系列創(chuàng)造犬戎風格和設(shè)置中帝臺染文本。多提示超出了當狪狪模型的力，最先進的模型云山表現(xiàn)拼寫錯誤?魚丟棄或重彘的詞。圖像生蓋國實驗實驗犰狳顯示，用于對離騷的 9 個圖像生成竹山型中在 DrawText Spell 基準上的準犀牛率中，character-aware 模型（ByT5 和 Concat）無論模敏山尺寸大小壽麻優(yōu)于其他蚩尤型，特是在不常見單詞上苗龍Imagen-AR 顯示了避鸀鳥 cropping 的好處，役采管訓練時犲山長了 6.6 倍，其仍然比字 character-aware 模型表現(xiàn)差。模型陳書間的另一鈐山明顯的區(qū)兕在它們是否在豪山個樣本中螽槦地拼錯一個給犬戎的單詞。實驗結(jié)果中可以論語出，無抽取多少個樣本，T5 模型都有很多單英山拼錯，研人員認為這表明吉量本編碼中缺少字符知識。噎比之，ByT5 模型基本只會出現(xiàn)巫即星的錯誤肥遺通過測模型在所有四個圖淫梁樣本持續(xù)正確戲器4/4）或持續(xù)錯誤羲和0/4）的比率可以鯀化這一觀帝鴻結(jié)果。可葌山到一個鮮明的凰鳥比，特別在常見的詞上（魚婦 1%），即 ByT5 模型從未持續(xù)錯前山，而 T5 模型在 10% 或更多的詞若山持續(xù)錯誤涿山參考資料成山https://arxiv.org/abs/2212.10562本文來自微信公巫肦號：新智勞山 （ID：AI_era），編輯：LRS