ChatGPT 的出現(xiàn)，徹底將生成 AI 推向爆發(fā)。但別忘，AI 生成模型可不止 ChatGPT 一個，光是基于文本入的就有 7 種 ——圖像、視頻、碼、3D 模型、音頻、本、科學知……尤其 2022 年，效果好的 AI 生成模型層出不窮，以 OpenAI、Meta、DeepMind 和谷歌等為核，發(fā)了不少到 SOTA 的模型。這不，立刻有者寫了篇論，對 2022 年新出現(xiàn)的主流生成型進行了年盤點。一起看看這兩年，各領域的 AI 生成模型進展究竟么樣了。9 大生成模型最新代表作？這篇論文 AI 生成模型分成了 9 大類。下圖是 2022 年前后，在生成效果達到最優(yōu)的型總覽：除谷歌 LaMDA 和 Muse 以外，所有模型為 2022 年發(fā)布。其中，谷歌 LaMDA 雖然是 2021 年發(fā)布的，但在 2022 年又爆火了一波；Muse 則是 2023 年剛發(fā)布的但論文聲稱己在圖像生性能上達到 SOTA，因此也統(tǒng)計了去。文本-圖像生成這方的代表作有 DALL-E2、Stable Diffusion、Imagen、Muse。DALL·E2 是來自 OpenAI 的生成模型，在零樣學習上做出突破。與 DALL?E 一樣，兩點舊是 CLIP 模型，除了訓練數(shù)據(jù)大，CLIP 基于 Transformer 對圖像塊建模，采用對比學訓練，最終助 DALL?E2 取得了不錯的生效果。下圖 DALL?E2 根據(jù)“一只戴著貝帽、穿黑色領毛衣的柴”生成的圖：Imagen 來自谷歌，基于 Transformer 模型搭建，其中言模型在純本數(shù)據(jù)集上行了預訓練Imagen 增加了語言模型參數(shù)量發(fā)現(xiàn)效果比升擴散模型數(shù)量更好。圖是 Imagen 根據(jù)“一只可愛柯基住在壽做的房子里生成的圖像Stable Diffusion 由慕尼黑大學 CompVis 小組開發(fā)，基于潛擴散模型打，這個擴散型可以通過潛表示空間迭代去噪以成圖像，并結果解碼成整圖像。Muse 由谷歌開發(fā)，基于 Transformer 模型取得了擴散模型更的結果，只 900M 參數(shù)，但在理時間上比 Stable Diffusion1.4 版本快 3 倍，比 Imagen-3B 和 Parti-3B 快 10 倍。下圖是 Muse 與 DALL?E2 和 Imagen 的生成效果對比：文-3D 模型生成主要代作有 Dreamfusion、Magic3D。（這里沒有把 OpenAI 的 Point?E 統(tǒng)計進去，可是生成效果沒有達到 SOTA）DreamFusion 由谷歌和 UC 伯克利開發(fā)基于預訓練本-2D 圖像擴散模型現(xiàn)文本生成 3D 模型。采用類似 NeRF 的三維場景參數(shù)定義映射，需任何 3D 數(shù)據(jù)或修改擴散模型，能實現(xiàn)文本成 3D 圖像的效果。圖是 DreamFusion 生成“穿夾克的松”3D 效果：Magic3D 由英偉達開發(fā)，旨縮短 DreamFusion 圖像生成時間、同提升生成質(zhì)。具體來說Magic3D 可以在 40 分鐘內(nèi)創(chuàng)建高質(zhì)量 3D 網(wǎng)格模型，比 DreamFusion 快 2 倍，同時實現(xiàn)了更高辨率，并在類評估中以 61.7% 的比率超過 DreamFusion。圖像-文本模型生成主要表作有 Flamingo、VisualGPT。Flamingo 是 DeepMind 推出的小樣本學習模型基于可以分視覺場景的覺模型和執(zhí)基本推理的語言模型打，其中大語模型基于文數(shù)據(jù)集訓練輸入帶有圖或視頻的問后，模型會動輸出一段本作為回答VisualGPT 是 OpenAI 制作的圖像-文本模型，基于預訓練 GPT-2 提出了一種的注意力機，來銜接不模態(tài)之間的義差異，無大量圖像-文本數(shù)據(jù)訓練就能提升文生成效率。本-視頻模型生成主要代作有 Phenaki、Soundify。Phenaki 由谷歌打造，基新的編解碼架構 C-ViViT 將視頻壓縮為散嵌入，能在時空兩個度上壓縮視，在時間上持自回歸的時，還能自歸生成任意度的視頻。Soundify 是 Runway 開發(fā)的一個系，目的是將音效果與視進行匹配，制作音效。體包括分類同步和混合個模塊，首模型通過對音進行分類將效果與視匹配，隨后效果與每一進行比較，入對應的音。文本-音頻模型生成主代表作有 AudioLM、Jukebox、Whisper。AudioLM 由谷歌開發(fā)，將輸入音映射到一系離散標記中并將音頻生轉換成語言模任務，學基于提示詞生自然連貫音色。在人評估中，認它是人類語的占 51.2%、與合成語音比率接，說明合成果接近真人Jukebox 由 OpenAI 開發(fā)的音樂模，可生成帶唱詞的音樂通過分層 VQ-VAE 體系將音頻縮到離散空中，損失函被設計為保最大量信息用于解決 AI 難以學習音頻中的高特征的問題不過目前模仍然局限于語。Whisper 由 OpenAI 開發(fā)，實現(xiàn)了多語言語識別、翻譯語言識別，前模型已經(jīng)源并可以用 pip 安裝。模型基于 68 萬小時標記音頻數(shù)訓練，包括音、揚聲器語音音頻等確保由人而 AI 生成。文本-文本模型生成主代表作有 ChatGPT、LaMDA、PPER、Speech From Brain。ChatGPT 由 OpenAI 生成，是一個話生成 AI，懂得回答題、拒絕不當?shù)膯栴}請并質(zhì)疑不正的問題前提基于 Transformer 打造。它用人類打的對話數(shù)據(jù)、以及 InstructGPT 數(shù)據(jù)集的對話格進行訓練，外也可以生代碼和進行單數(shù)學運算LaMDA 基于 Transformer 打造，利用了其在本中呈現(xiàn)的程依賴關系力。其具有 1370 億參數(shù)，在 1.56T 的公共對話數(shù)集和網(wǎng)頁文上進行訓練只有 0.001% 的訓練數(shù)據(jù)被用微調(diào)，這也它效果好的因之一。PEER 由 Meta AI 打造，基于維基百科編歷史進行訓，直到模型握完整的寫流程。具體說，模型允將寫作任務解成更多子務，并允許類隨時干預引導模型寫人類想要的品。Speech from Brain 由 Meta AI 打造，用于助無法通過音、打字或勢進行交流人，通過對學習訓練 wave2vec 2.0 自監(jiān)督模型基于非侵入腦機接口發(fā)的腦電波進解讀，并解大腦生成的容，從而合對應語音。本-代碼模型生成主要代作有 Codex、AlphaCode。Codex 是 OpenAI 打造的編程模型基于 GPT-3 微調(diào)，可以基于文需求生成代。首先模型將問題分解更簡單的編問題，隨后現(xiàn)有代碼（含庫、API 等）中找到對應的解決案，基于 GitHub 數(shù)據(jù)進行訓。AlphaCode 由 DeepMind 打造，基于 Transformer 模型打造，通過用 GitHub 中 715.1GB 的代碼進行預訓練，并 Codeforces 中引入一個據(jù)集進行微，隨后基于 Codecontests 數(shù)據(jù)集進行模型驗證，進一步改善模型輸出性。文本-科學知識模型生主要代表作 Galactica、Minerva。Galatica 是 Meta AI 推出的 1200 億參數(shù)論文寫輔助模型，被稱之為“論文的 Copilot 模型”，目是幫助人們速總結并從增論文中得新結論，在括生成文本數(shù)學公式、碼、化學式蛋白質(zhì)序列任務上取得不錯的效果然而一度因內(nèi)容生成不靠被迫下架Minerva 由谷歌開發(fā)，目的是過逐步推理決數(shù)學定量題，可以主生成相關公、常數(shù)和涉數(shù)值計算的決方案，也生成 LaTeX、MathJax 等公式，而不要借助計算來得到最終學答案。其生成模型主包括 Alphatensor、GATO、PhysDiff 等“其他生成型”。AlphaTensor 由 DeepMind 開發(fā)，懂得自己改進陣乘法并提計算速度，僅改進了目最優(yōu)的 4×4 矩陣解法，也提升了 70 多種不同大小矩陣計算速度，于“棋類 AI”AlphaZero 打造，其中盤代表要解的乘法問題下棋步驟代解決問題的驟。GATO 由 DeepMind 開發(fā)，基于化學習教會模型完成 600 多個不同的任務，含離散控制 Atari 小游戲、推箱子游戲，及連續(xù)控制機器人、機臂，還有 NLP 對話和視覺生成等進一步加速通用人工智的進度。PhysDiff 是英偉達推出的人體運生成擴散模，進一步解了 AI 人體生成中漂、腳滑或穿等問題，教 AI 模仿使用物理模器生成的運模型，并在規(guī)模人體運數(shù)據(jù)集上達了最先進的果。作者介兩位作者均自西班牙卡亞斯大主教學（Universidad Pontificia Comillas）。一作 Roberto Gozalo-Brizuela，目前是卡米亞斯大主大學研究助（Investigador asociado），從事 AI 相關的項目究工作。Eduardo C. Garrido-Merchán，卡米亞斯主教大學助教授，研究向是貝葉斯化、機器學、強化學習生成式 AI 等。你感覺哪個領域的成式 AI 進展最大？文地址：https://arxiv.org/abs/2301.04655參考鏈接：https://twitter.com/1littlecoder/status/1615352215090384899本文來自微信公號：量子位 （ID：QbitAI），作者：蕭?