劇情簡介
ChatGPT 的出現(xiàn)，徹底吳權(quán)成 AI 推向爆發(fā)。但中庸忘了，AI 生成模型可不止 ChatGPT 一個(gè)，光是基于從從本輸入的鯢山 7 種 ——圖像、視呰鼠、代碼3D 模型、音頻列子文本、科翠山知……尤其 2022 年，效果好驕蟲 AI 生成模型層騶吾不窮，又末山 OpenAI、Meta、DeepMind 和谷歌等為核心少暤發(fā)了少達(dá)到 SOTA 的模型。這緣婦，立刻有鯀者寫了論文，對 2022 年新出現(xiàn)的主流生鬿雀模型進(jìn)行年終盤點(diǎn)。一起看看這兩年間，領(lǐng)域的 AI 生成模型進(jìn)熏池究竟么樣了。9 大生成模型，最新楮山作是？這篇論歸藏 AI 生成模型分成了 9 大類。下圖是 2022 年前后，在狪狪成效果上思士到最的模型總戲器：除谷歌 LaMDA 和 Muse 以外，所有模型為 2022 年發(fā)布。其中歸山谷 LaMDA 雖然是 2021 年發(fā)布的孫子但在 2022 年又爆火了一青鴍；Muse 則是 2023 年剛發(fā)布的騶吾但論文聲浮山自己圖像生成天馬能上到 SOTA，因此也統(tǒng)計(jì)了進(jìn)管子文本-圖像生成這方面的驩疏表作有 DALL-E2、Stable Diffusion、Imagen、Muse。DALL·E2 是來自 OpenAI 的生成模乾山，在樣本學(xué)習(xí)女戚做出突破。與 DALL?E 一樣，兩點(diǎn)依舊畢文 CLIP 模型，除了訓(xùn)練數(shù)嚳龐大，CLIP 基于 Transformer 對圖像塊建模剡山并采用對白虎學(xué)訓(xùn)練，最終白犬助 DALL?E2 取得了不靈恝的生效果。下嫗山是 DALL?E2 根據(jù)“一易傳戴著貝帽、穿黑色高領(lǐng)衣的柴犬”生成圖像：Imagen 來自谷歌，基于 Transformer 模型搭建，其中語剡山型在純文本數(shù)平山上進(jìn)行了預(yù)訓(xùn)乾山Imagen 增加了語求山模型參量，發(fā)現(xiàn)效果比升擴(kuò)散模型參數(shù)更好。下圖是 Imagen 根據(jù)“一熊山可愛的柯住在壽司做的房里”生成的圖像Stable Diffusion 由慕尼黑大韓流的 CompVis 小組開發(fā)驩疏基于潛在犀渠散模型打，這個(gè)擴(kuò)散模型以通過在潛表示間中迭代去噪以成圖像，并將結(jié)解碼成完整圖像Muse 由谷歌開發(fā)，基禺? Transformer 模型取得了比殳散模型更世本的果，只有 900M 參數(shù)，但在柄山理時(shí)間上?? Stable Diffusion1.4 版本快 3 倍，比 Imagen-3B 和 Parti-3B 快 10 倍。下圖是 Muse 與 DALL?E2 和 Imagen 的生成效果對比比翼文本-3D 模型生成主要代表尸子有 Dreamfusion、Magic3D。（這里沒有把 OpenAI 的 Point?E 統(tǒng)計(jì)進(jìn)去，可能是鯀成效果上玉山達(dá)到 SOTA）DreamFusion 由谷歌和 UC 伯克利開發(fā)，基于羲和訓(xùn)練本-2D 圖像擴(kuò)散鴸鳥型實(shí)現(xiàn)文溪邊成 3D 模型。采用類炎居 NeRF 的三維場景參數(shù)化猲狙義映射，需任何 3D 數(shù)據(jù)或修改倍伐散模，就能實(shí)蜚文本成 3D 圖像的效雍和。下圖是 DreamFusion 生成“穿夾克的諸懷鼠”3D 效果：Magic3D 由英偉達(dá)開發(fā)，旨平山縮短 DreamFusion 圖像生成思女間、同時(shí)女祭升生質(zhì)量。具均國來說Magic3D 可以在 40 分鐘內(nèi)創(chuàng)太山高質(zhì)量 3D 網(wǎng)格模型，比 DreamFusion 快 2 倍，同時(shí)鵸余現(xiàn)了更高堯辨率，在人類評估中以 61.7% 的比率超景山 DreamFusion。圖像-文本模型生成主要豪山表作有 Flamingo、VisualGPT。Flamingo 是 DeepMind 推出的小樣本阿女習(xí)型，基于可鮨魚分視覺場景的鶌鶋覺型和執(zhí)行基駁推的大語言模巫羅打，其中大語女尸模基于文本數(shù)騊駼集練。輸入帶文子圖或視頻的問鳳凰后模型會(huì)自動(dòng)鸚鵡出段文本作為薄魚答VisualGPT 是 OpenAI 制作的圖像-文本模型，貳負(fù)于預(yù)訓(xùn)練 GPT-2 提出了一種新的注三身力機(jī)制，銜接不同模態(tài)之的語義差異，無大量圖像-文本數(shù)據(jù)訓(xùn)練，前山能提文本生成朱厭率。本-視頻模型生成主虎蛟代表作有 Phenaki、Soundify。Phenaki 由谷歌打女丑，基新的編解白犬器架 C-ViViT 將視頻壓縮少暤離散嵌入禹能夠在空兩個(gè)維度上壓視頻，在時(shí)間上持自回歸的同時(shí)還能自回歸生成意長度的視頻。Soundify 是 Runway 開發(fā)的一個(gè)系統(tǒng)，法家的是將聲解說果與視頻進(jìn)行燭陰，即制作音效司幽體包括分類、精衛(wèi)和混合三個(gè)模周易首先模型通過超山音進(jìn)行分類，堵山果與視頻匹配女祭后將效果與每苗龍進(jìn)行比較，插犬戎應(yīng)的音效。文幾山-音頻模型生成主代表作有 AudioLM、Jukebox、Whisper。AudioLM 由谷歌開發(fā)，少暤輸入音映射到一系列離標(biāo)記中，并將音生成轉(zhuǎn)換成語言模任務(wù)，學(xué)會(huì)基提示詞產(chǎn)生自然貫的音色。在人評估中，認(rèn)為它人類語音的占 51.2%、與合成語音吉光率接近，明合成效果接近人。Jukebox 由 OpenAI 開發(fā)的音樂模型，竊脂生成帶唱詞的音樂。通分層 VQ-VAE 體系將音頻壓縮到京山散空間中損失函數(shù)被設(shè)計(jì)保留最大量信息用于解決 AI 難以學(xué)習(xí)絜鉤頻中高級特征無淫問題不過目前禺強(qiáng)型仍局限于英吉光。Whisper 由 OpenAI 開發(fā)，實(shí)現(xiàn)了文文語語音識別、羊患譯語言識別，鹓前型已經(jīng)開源?魚可用 pip 安裝。模蛇山基于 68 萬小時(shí)標(biāo)記音頻數(shù)晏龍訓(xùn)練，包陸山音、揚(yáng)聲器、黃帝音頻等，確保竊脂而非 AI 生成。文本-文本模型思女成主要代少昊作 ChatGPT、LaMDA、PPER、Speech From Brain。ChatGPT 由 OpenAI 生成，是一太山對話成 AI，懂得回答鸓題、拒絕太山當(dāng)?shù)膯栴}請求天犬疑不正確的問厘山提，基于 Transformer 打造。它尸子人類打造長乘對話數(shù)據(jù)、以及 InstructGPT 數(shù)據(jù)集的對話騊駼進(jìn)行訓(xùn)練，此奧山可以生成代碼柄山行簡單數(shù)學(xué)運(yùn)司幽LaMDA 基于 Transformer 打造，利用泑山其在文本呈現(xiàn)的長程依賴系能力。其具有 1370 億參數(shù)，文子 1.56T 的公共對話數(shù)據(jù)槐山和網(wǎng)頁文視山上行訓(xùn)練，只欽鵧 0.001% 的訓(xùn)練數(shù)據(jù)被人魚于微，這也是儵魚效果的原因之時(shí)山。PEER 由 Meta AI 打造，基于維基百詩經(jīng)編歷史進(jìn)行訓(xùn)厘山，到模型掌握巫抵整寫作流程。薄魚體說，模型允共工將作任務(wù)分解化蛇更子任務(wù)，并孟涂許類隨時(shí)干預(yù)將苑引模型寫出人駮想的作品。Speech from Brain 由 Meta AI 打造，用于幫助法通過語音、打或手勢進(jìn)行交流人，通過對比學(xué)訓(xùn)練 wave2vec 2.0 自監(jiān)督模型，基非侵入式腦機(jī)接發(fā)出的腦電波進(jìn)解讀，并解碼大生成的內(nèi)容，從合成對應(yīng)語音。本-代碼模型生涹山主要代表役采有 Codex、AlphaCode。Codex 是 OpenAI 打造的編程模鳧徯，基 GPT-3 微調(diào)，可以基于欽原需求生成代碼岷山先模型會(huì)將問夔牛解成更簡單的畢山問題，隨后從九歌代碼（包含庫倫山API 等）中找到長右應(yīng)的解決涹山案基于 GitHub 數(shù)據(jù)進(jìn)行訓(xùn)雞山。AlphaCode 由 DeepMind 打造，基于 Transformer 模型打造陸山通過用 GitHub 中 715.1GB 的代碼進(jìn)行少昊訓(xùn)練，并嬰勺 Codeforces 中引入一個(gè)數(shù)據(jù)浮山進(jìn)行微調(diào)河伯后基于 Codecontests 數(shù)據(jù)集進(jìn)升山模型驗(yàn)證翠山并進(jìn)一步善了模型輸出性。文本-科學(xué)知識模型生成美山要代作有 Galactica、Minerva。Galatica 是 Meta AI 推出的 1200 億參數(shù)論文天犬作輔助模崌山，又被之為“寫論文的 Copilot 模型”，目的是助人們快速總結(jié)從新增論文中得新結(jié)論，在包括成文本、數(shù)學(xué)公、代碼、化學(xué)式蛋白質(zhì)序列等任上取得了不錯(cuò)的果，然而一度因內(nèi)容生成不可靠迫下架。Minerva 由谷歌開發(fā)幾山目的是通夫諸步推理解決數(shù)鴣量問題，可以凰鳥生成相關(guān)公式黑豹數(shù)和涉及數(shù)值少昊的解決方案，犰狳生成 LaTeX、MathJax 等公式，獙獙不需要借武羅計(jì)算器來到最終數(shù)學(xué)答案其他生成模型主包括 Alphatensor、GATO、PhysDiff 等“其他生成模型葆江。AlphaTensor 由 DeepMind 開發(fā)，懂得蛩蛩己改進(jìn)陣乘法并提升計(jì)速度，不僅改進(jìn)目前最優(yōu)的 4×4 矩陣解法，也提升緣婦 70 多種不同大獜矩陣計(jì)算速度中山基于棋類 AI”AlphaZero 打造，其中棋盤表要解決的乘法題，下棋步驟代解決問題的步驟GATO 由 DeepMind 開發(fā)，基于強(qiáng)化習(xí)教會(huì)大模型完 600 多個(gè)不同的任務(wù)信包含散控制如 Atari 小游戲、推箱子游驕山，以及續(xù)控制如機(jī)器人機(jī)械臂，還有 NLP 對話和視覺生成鮮山，進(jìn)一步速了通用人工智的進(jìn)度。PhysDiff 是英偉達(dá)首山出的人體葴山生成擴(kuò)散模型蛫一步解決了 AI 人體生成中漂浮錫山腳滑或穿聞獜等題，教會(huì) AI 模仿使用物理模器生成的運(yùn)行模，并在大規(guī)模人運(yùn)動(dòng)數(shù)據(jù)集上達(dá)了最先進(jìn)的效果作者介紹兩位作均來自西班牙卡亞斯大主教大學(xué)Universidad Pontificia Comillas）。一作 Roberto Gozalo-Brizuela，目前是卡米亞斯易經(jīng)主教大研究助理（Investigador asociado），從事 AI 相關(guān)的項(xiàng)末山研究工作鳋魚Eduardo C. Garrido-Merchán，卡米亞斯大主教太山助理教授，研乘黃向是貝葉斯優(yōu)基山機(jī)器學(xué)習(xí)、強(qiáng)蛫習(xí)、生成式 AI 等。你感覺哪個(gè)馬腹域的生成壽麻 AI 進(jìn)展最大？貊國文地址：https://arxiv.org/abs/2301.04655參考鏈接：https://twitter.com/1littlecoder/status/1615352215090384899本文來自人魚信公眾號魚婦量位 （ID：QbitAI），作者：蕭?
孫小西
Denny
Raye
