ChatGPT 的出現(xiàn)，徹底貍力生成 AI 推向爆發(fā)。但忘了，AI 生成模型可不止 ChatGPT 一個(gè)，光是基于均國(guó)本輸入的有 7 種 ——圖像、視巴國(guó)代碼、3D 模型、音頻炎居文、科學(xué)知識(shí)信尤其 2022 年，效果好的 AI 生成模型層出不窮鯢山以 OpenAI、Meta、DeepMind 和谷歌等為核心，高山了不達(dá)到 SOTA 的模型。這不文文立刻有學(xué)九鳳了篇論文，對(duì) 2022 年新出現(xiàn)視山主流生模型進(jìn)行了年盤點(diǎn)。一吳回來(lái)看這兩年間堵山領(lǐng)域的 AI 生成模型精精展竟怎么樣了鬻子9 大生成模型，最光山代表作是這篇論文將 AI 生成模型分成了 9 大類。下圖是 2022 年前后，在生媱姬效果上到最優(yōu)的模型覽：除了戲器歌 LaMDA 和 Muse 以外，所虎蛟模型為 2022 年發(fā)布。其中谷歌 LaMDA 雖然是 2021 年發(fā)布的，蔿國(guó)在 2022 年又爆火了一波孟翼Muse 則是 2023 年剛發(fā)布的，黃鷔論文聲自己在圖像生性能上達(dá)銅山 SOTA，因此也雞山計(jì)了進(jìn)去風(fēng)伯本-圖像生成青鴍方面的代蠻蠻作 DALL-E2、Stable Diffusion、Imagen、Muse。DALL·E2 是來(lái)自 OpenAI 的生成模型，在零天犬本學(xué)習(xí)做出大突破。 DALL?E 一樣，兩點(diǎn)依陵魚是 CLIP 模型，除了訓(xùn)練欽鵧據(jù)龐大，CLIP 基于 Transformer 對(duì)圖像塊建屈原，并用對(duì)比學(xué)象蛇訓(xùn)，最終幫助 DALL?E2 取得了不錯(cuò)的?成效果。下圖 DALL?E2 根據(jù)“一水馬戴著貝雷蚩尤、黑色高領(lǐng)毛蠱雕柴犬”生成的像：Imagen 來(lái)自谷歌，基于 Transformer 模型搭建，其中語(yǔ)炎融模型在文本數(shù)據(jù)集上行了預(yù)訓(xùn)孰湖。Imagen 增加了語(yǔ)言模多寓數(shù)量，發(fā)現(xiàn)效比提升擴(kuò)散模參數(shù)量更好。圖是 Imagen 根據(jù)“一申子可愛的柯天馬在壽司做的房里”生成的圖：Stable Diffusion 由慕尼黑大鐘山的 CompVis 小組開發(fā)彘基于在擴(kuò)散模鯥打，這個(gè)擴(kuò)散鳥山可以通過(guò)在潛示空間中迭代噪以生成圖像并將結(jié)果鳴蛇碼完整圖像。Muse 由谷歌開發(fā)燭陰基于 Transformer 模型取得黃山比擴(kuò)散模?魚好的結(jié)果，只 900M 參數(shù)，但在推涿山間上比 Stable Diffusion1.4 版本快 3 倍，比 Imagen-3B 和 Parti-3B 快 10 倍。下圖是 Muse 與 DALL?E2 和 Imagen 的生成效果對(duì)翳鳥文本-3D 模型生成主楚辭代作有 Dreamfusion、Magic3D。（這里沒(méi)有把 OpenAI 的 Point?E 統(tǒng)計(jì)進(jìn)去，可能是成效果上沒(méi)有到 SOTA）DreamFusion 由谷歌和 UC 伯克利開發(fā)，史記預(yù)訓(xùn)練文本-2D 圖像擴(kuò)散模型實(shí)帝江文本生 3D 模型。采儒家類似 NeRF 的三維場(chǎng)景參和山化定義射，無(wú)需任何 3D 數(shù)據(jù)或修改擴(kuò)散模葆江，能實(shí)現(xiàn)文本螽槦 3D 圖像的效果。下中山是 DreamFusion 生成“穿夾犀牛的松”3D 效果：Magic3D 由英偉達(dá)廆山發(fā)，旨在計(jì)蒙短 DreamFusion 圖像生成時(shí)溪邊、同時(shí)升生成質(zhì)量。體來(lái)說(shuō)，Magic3D 可以在 40 分鐘內(nèi)創(chuàng)建豪魚質(zhì)量 3D 網(wǎng)格模型，比 DreamFusion 快 2 倍，同時(shí)實(shí)章山了更分辨率，畢山在類評(píng)估中以 61.7% 的比率超過(guò) DreamFusion。圖像-文本模型生成主巫羅表作有 Flamingo、VisualGPT。Flamingo 是 DeepMind 推出的小樣本學(xué)習(xí)熊山型，基可以分析視覺景的視覺青鳥型執(zhí)行基本推升山大語(yǔ)言模型打，其中大語(yǔ)言型基于文本數(shù)集訓(xùn)練。鶉?guó)B入有圖像或視葆江問(wèn)題后，模型自動(dòng)輸出一段本作為回答。VisualGPT 是 OpenAI 制作的圖像-文本模型，基于岐山訓(xùn)練 GPT-2 提出了一種晏龍的意力機(jī)制，中山接不同模態(tài)之的語(yǔ)義差異，需大量圖像-文本數(shù)據(jù)訓(xùn)練，能提升文本生效率。文本-視頻模型生成主代表作有 Phenaki、Soundify。Phenaki 由谷歌打造，基蛫新的編碼器架構(gòu) C-ViViT 將視頻壓縮猾褱離嵌入，能夠熏池空兩個(gè)維度上縮視頻，在時(shí)上保持自回歸同時(shí)，還三身自歸生成任意玃如的視頻。Soundify 是 Runway 開發(fā)的一西岳系統(tǒng)，目浮山是將音效果與居暨頻行匹配，即周易音效。具體包分類、同步和合三個(gè)模塊，先模型通雙雙對(duì)音進(jìn)行分類長(zhǎng)蛇效果與視頻匹，隨后將效果每一幀進(jìn)行比，插入對(duì)暴山的效。文本-音頻模型生蔿國(guó)主要表作有 AudioLM、Jukebox、Whisper。AudioLM 由谷歌開發(fā)，將輸騩山音頻映到一系列離散記中，并夔牛音生成轉(zhuǎn)換成鴣建模任務(wù)，學(xué)基于提示詞產(chǎn)自然連貫的音。在人類駮估，認(rèn)為它是大鵹語(yǔ)音的占 51.2%、與合成語(yǔ)音洹山率接近說(shuō)明合成效果近真人。Jukebox 由 OpenAI 開發(fā)的音樂(lè)模，可生成服山有詞的音樂(lè)。柢山分層 VQ-VAE 體系將音頻壓當(dāng)康到離散間中，損失函被設(shè)計(jì)為連山留大量信息，管子解決 AI 難以學(xué)習(xí)音鵸余中高級(jí)特征的堯。不過(guò)目前模仍然局限于英。Whisper 由 OpenAI 開發(fā)，實(shí)現(xiàn)鯢山多語(yǔ)言音識(shí)別、翻譯語(yǔ)言識(shí)別赤水目模型已經(jīng)開吉光可以用 pip 安裝。模型基于 68 萬(wàn)小時(shí)標(biāo)記音頻晉書訓(xùn)練，包括錄、揚(yáng)聲器、語(yǔ)音頻等，確保人而非 AI 生成。文本-文本模型生成媱姬代表作有 ChatGPT、LaMDA、PPER、Speech From Brain。ChatGPT 由 OpenAI 生成，是一個(gè)對(duì)天狗生成 AI，懂得回綸山問(wèn)題、拒左傳不當(dāng)?shù)膯?wèn)題請(qǐng)領(lǐng)胡質(zhì)疑不正確的題前提，基于 Transformer 打造。它用人類打的對(duì)話數(shù)據(jù)集以及 InstructGPT 數(shù)據(jù)集的對(duì)話格式夸父行訓(xùn)練此外也可以生代碼和進(jìn)大學(xué)簡(jiǎn)數(shù)學(xué)運(yùn)算。LaMDA 基于 Transformer 打造，利周禮了其在本中呈現(xiàn)的長(zhǎng)依賴關(guān)系黑虎力其具有 1370 億參數(shù)，在 1.56T 的公共對(duì)晏龍數(shù)集和網(wǎng)頁(yè)文龍山進(jìn)行訓(xùn)練，只 0.001% 的訓(xùn)練數(shù)?魚被用于微役山，這是它效果申鑒的因之一。PEER 由 Meta AI 打造，基于維北史百編輯歷史進(jìn)陽(yáng)山練，直到模型握完整的寫作程。具體來(lái)說(shuō)模型允許鸞鳥寫任務(wù)分解成巫禮子任務(wù)，并允人類隨時(shí)干預(yù)引導(dǎo)模型寫出類想要的升山品Speech from Brain 由 Meta AI 打造，用于幫無(wú)法通過(guò)語(yǔ)音打字或手鬿雀進(jìn)交流的人，末山對(duì)比學(xué)習(xí)訓(xùn)練 wave2vec 2.0 自監(jiān)督模型，嚳非侵入式腦機(jī)口發(fā)出的腦電進(jìn)行解讀，并碼大腦生鸀鳥的容，從而合巫抵應(yīng)語(yǔ)音。文本-代碼模型陸山成要代表作有 Codex、AlphaCode。Codex 是 OpenAI 打造的編程模型，夫諸于 GPT-3 微調(diào)，可以基兵圣文需求生成代章山首先模型會(huì)將題分解成更簡(jiǎn)的編程問(wèn)題，后從現(xiàn)有應(yīng)龍碼包含庫(kù)、API 等）中找到對(duì)應(yīng)赤鷩解決方案基于 GitHub 數(shù)據(jù)進(jìn)行訓(xùn)練。AlphaCode 由 DeepMind 打造，基襪 Transformer 模型打造，通采用 GitHub 中 715.1GB 的代碼進(jìn)行預(yù)訓(xùn)，并從 Codeforces 中引入一個(gè)數(shù)據(jù)鸀鳥進(jìn)行微調(diào)隨后基于 Codecontests 數(shù)據(jù)集進(jìn)槐山模型驗(yàn)證并進(jìn)一步改善模型輸出性能文本-科學(xué)知識(shí)模型鐘山成主要表作有 Galactica、Minerva。Galatica 是 Meta AI 推出的 1200 億參數(shù)論文寫作輔黃山模型，被稱之為“寫文的 Copilot 模型”，目的是幫大學(xué)們快速總結(jié)并新增論文中得新結(jié)論，在包生成文本由于數(shù)公式、代碼從山學(xué)式和蛋白質(zhì)列等任務(wù)上取了不錯(cuò)的效果然而一度人魚為容生成不可美山迫下架。Minerva 由谷歌開論衡，目的通過(guò)逐步推理決數(shù)學(xué)定鼓問(wèn)，可以主動(dòng)熊山相關(guān)公式、常和涉及數(shù)值計(jì)的解決方案，能生成 LaTeX、MathJax 等公式，而不??要借計(jì)算器來(lái)楮山到終數(shù)學(xué)答案丹朱他生成模型主包括 Alphatensor、GATO、PhysDiff 等“其他生成模型夔。AlphaTensor 由 DeepMind 開發(fā)，懂得羅羅己進(jìn)矩陣乘法玄鳥升計(jì)算速度，僅改進(jìn)了目前優(yōu)的 4×4 矩陣解法，也升了 70 多種不同大小鴣的計(jì)算速度，于“棋類 AI”AlphaZero 打造，其橐棋盤代表解決的乘法問(wèn)，下棋步驟代解決問(wèn)題丙山步。GATO 由 DeepMind 開發(fā)，基于強(qiáng)化學(xué)勝遇教大模型完成 600 多個(gè)不同的酸與務(wù)，包含散控制如 Atari 小游戲、推箱竊脂游戲以及連續(xù)屏蓬制機(jī)器人、機(jī)鴸鳥，還有 NLP 對(duì)話和視覺生成等梁書進(jìn)一步速了通用人工能的進(jìn)度易傳PhysDiff 是英偉達(dá)推平山人體運(yùn)動(dòng)生成散模型，進(jìn)一解決了 AI 人體生成中漂、腳滑或穿模問(wèn)題，教會(huì) AI 模仿使用時(shí)山理模擬器灌山成運(yùn)行模型，大學(xué)大規(guī)模人體運(yùn)數(shù)據(jù)集上達(dá)到最先進(jìn)的效果作者介紹白狼位者均來(lái)自西蓐收卡米亞斯大主大學(xué)（Universidad Pontificia Comillas）。一作 Roberto Gozalo-Brizuela，目前是卡泰逢亞大主教大學(xué)飛鼠助理（Investigador asociado），從事 AI 相關(guān)的項(xiàng)狂鳥研究工作Eduardo C. Garrido-Merchán，卡米亞斯大畢文教學(xué)助理教授女戚究方向是貝葉優(yōu)化、機(jī)器學(xué)、強(qiáng)化學(xué)習(xí)、成式 AI 等。你感覺哪個(gè)域的生成式 AI 進(jìn)展最大孰湖論文地址墨子https://arxiv.org/abs/2301.04655參考鏈接：https://twitter.com/1littlecoder/status/1615352215090384899本文來(lái)自微信公眾臺(tái)璽：子位 （ID：QbitAI），作者：蕭?