2022 超全的 AI 圈研究合集在這！知名博 Louis Bouchard 自制視頻講解加篇分析，對小白超級友好。雖然界仍在復(fù)蘇，但究并沒有放慢其熱的步伐，尤其在人工智能領(lǐng)域此外，今年人們 AI 倫理、偏見、治理和透明都有了新的重視人工智能和我們人腦的理解及其人工智能的聯(lián)系不斷發(fā)展，在不的將來，這些改我們生活質(zhì)量的用將大放光彩。名博主 Louis Bouchard 也在自己的博客中盤點了 2022 年 32 項（!）AI 技術(shù)突破。接下讓我們一起看看這些令人驚艷的究都有哪些吧！章地址：https://www.louisbouchard.ai/ 2022-ai-recap/LaMA：基于傅里葉卷積的分辨穩(wěn)健的大型掩碼復(fù)你肯定經(jīng)歷過種情況：你和你朋友拍了一張很的照片。結(jié)果，發(fā)現(xiàn)有人在你身，毀了你要發(fā)到友圈或者小紅書照片。但現(xiàn)在，不再是問題?；?傅里葉卷積的分率穩(wěn)健的大型掩修復(fù)方法，可以使用者輕松清除像中不需要的內(nèi)。不論是人，還垃圾桶都能輕松失。它就像是你袋里的專業(yè) ps 設(shè)計師，只需輕輕一按，就能輕清除。雖然看似單，但圖像修復(fù)許多 AI 研究人員長期以來一需要解決的問題論文鏈接：https://arxiv.org/ abs / 2109.07161項目地址：https://github.com/ saic-mdal / lamaColab Demo：https://colab.research.google.com/github/saic-mdal/lama/blob/master/colab/LaMa_inpainting.ipynb視頻講解：https://youtu.be/ Ia79AvGzveQ短篇分析：https://www.louisbouchard.ai/ lama/STIT：基于 GAN 的真實視頻人臉編輯你肯定有過樣的經(jīng)歷：在看影時，會發(fā)現(xiàn)電中的演員看起來比本人年輕得多《雙子殺手》中威爾?史密斯之，這需要專業(yè)人花費數(shù)百甚至數(shù)小時的工作，手編輯這些演員出的場景。但利用 AI，你可以在幾分鐘內(nèi)完成。事上，許多技術(shù)可讓你增加笑容，你看起來更年輕更老，所有這些是使用基于人工能的算法自動完的。它在視頻中稱為基于 AI 的面部操作（AI-based face manipulations），代表了 2022 年的最新技術(shù)水平。論文接：https://arxiv.org/ abs / 2201.08361項目地址：https://github.com/ rotemtzaban / STIT視頻講解：https://youtu.be/ mqItu9XoUgk短篇分析：https://www.louisbouchard.ai/ stitch-it-in-time/NeROIC：利用在線圖庫的神經(jīng)染神經(jīng)渲染可以過物體、人物或景的圖片，在空中生成逼真的 3D 模型。有了這項技術(shù)，你只需有某物體的幾張片，就可以要求器了解這些圖片的物體，并模擬它在空間中的樣。通過圖像來理物體的物理形狀這對人類來說很易，因為我們了真實的世界。但于只能看到像素機器來說，這是個完全不同的挑。生成的模型如融入新場景？如照片的光照條件角度不同，生成模型也會因此變，該怎么辦？這都是 Snapchat 和南加州大學(xué)在這項新研中需要解決的問。論文鏈接：https://arxiv.org/ abs / 2201.02533項目地址：https://github.com/ snap-research / NeROIC視頻講解：https://youtu.be/ 88Pl9zD1Z78短篇分析：https://www.louisbouchard.ai/ neroic/SpeechPainter：文本條件下的語音修復(fù)對于圖來說，基于機器習(xí)的修復(fù)技術(shù)不可以移除其中的容，而且還能根背景信息填充圖的缺失部分。對視頻修復(fù)來說，挑戰(zhàn)在于不僅要持幀與幀之間的致性，而且要避生成錯誤的偽影同時，當你成功將一個人從視頻「踢出去」之后還需要把他 / 她的聲音也一并除才行。為此，歌的研究人員提了一種全新的語修復(fù)方法，可以正視頻中的語法發(fā)音，甚至消除景噪音。論文鏈：https://arxiv.org/ abs / 2202.07273視頻講解：https://youtu.be/ zIIc4bRf5Hg短篇分析：https://www.louisbouchard.ai/ speech-inpainting-with-ai/GFP-GAN：利用生成性面部先驗，實現(xiàn)實世界的盲臉修你是否有一些珍的舊照片，因為代久遠而畫質(zhì)模？不用擔(dān)心，有盲臉修復(fù)技術(shù)（Blind Face Restoration），你的回憶會被歷久新。這個全新且費的 AI 模型可以在一瞬間修你的大部分舊照。即使修復(fù)前的片畫質(zhì)非常低，也能很好地工作這在之前通常是個相當大的挑戰(zhàn)更酷的是，你可按照自己喜歡的式進行嘗試。他已經(jīng)開源了代碼創(chuàng)建了一個演示在線應(yīng)用程序供家試用。相信這技術(shù)一定讓你大一驚！論文鏈接https://arxiv.org/ abs / 2101.04061項目地址：https://github.com/ TencentARC / GFPGANColab Demo：https://colab.research.google.com/drive/1sVsoBd9AjckIXThgtZhGrHRfFI6UUYOo在線應(yīng)用：https://huggingface.co/ spaces / akhaliq / GFPGAN視頻講解：https://youtu.be/ nLDVtzcSeqM短篇分析：https://www.louisbouchard.ai/ gfp-gan/4D-Net：多模態(tài)對齊的學(xué)習(xí)自動駛汽車如何「眼六路」？你可能說過車企正在使的 LiDAR 傳感器或其他奇的相機。但它們如何工作的，它如何觀察這個世，以及它們與我相比究竟看到了么不同？論文鏈：https://arxiv.org/ abs / 2109.01066與特斯拉只使用攝像頭來解世界不同，大數(shù)自動駕駛汽車商，比如 Waymo，使用的是普通攝像頭和 3D LiDAR 傳感器。它們不會普通相機那樣生圖像，而是生成 3D 點云，利用 RGB 傳感信息，測量物體之的距離，計算它投射到物體的脈激光的傳播時間盡管如此，我們何有效地結(jié)合這信息并讓車輛理它？車輛最終會到什么？自動駕是否足夠安全？Waymo 和谷歌的一篇新研究論將會解答這些謎。視頻講解：https://youtu.be/ 0nJMnw1Ldks短篇分析：https://www.louisbouchard.ai/ waymo-lidar/Instant NeRF：基于多分辨率哈希碼的即時神經(jīng)圖如何通過照片模世界的樣子？使 AI 模型，人們可以將拍攝的像變成高質(zhì)量的 3D 模型。這項具有挑戰(zhàn)性的任，讓研究人員通 2D 圖像，創(chuàng)建物體或人在三世界中的樣子。過基于哈希編碼神經(jīng)圖元（graphical primitives），英偉達實現(xiàn) 5 秒訓(xùn)練 NeRF，并獲得了更好的效果。在到兩年的研究中將 NeRF 的訓(xùn)練速度提高了 1000 多倍。論文鏈接：https://arxiv.org/ abs / 2201.05989項目地址：https://github.com/ NVlabs / instant-ngp視頻講解：https://youtu.be/ UHQZBQOVAIU短篇分析：https://www.louisbouchard.ai/nvidia-photos-into-3d-scenes/DALL?E 2：基于 CLIP 特征的文本生成圖模型去年，OpenAI 發(fā)布了文本-圖像生成模型 DALL?E?，F(xiàn)在，升級版 DALL?E 2 又來了。DALL?E 2 不僅可以從文本生成逼的圖像，其輸出分辨率是前者的倍！不過，性能面的提升好像不以令 OpenAI 滿足，為此他們還讓 DALL?E 2 學(xué)會了一項新技能：圖修復(fù)。也就是說你可以用 DALL?E 2 編輯圖像，或者添加何想要的新元素比如在背景中加一只火烈鳥。論鏈接：https://arxiv.org/ abs / 2204.06125視頻講解：https://youtu.be/ rdGVbPI42sA短篇分析：https://www.louisbouchard.ai/openais-new-model-dall-e-2-is-amazing/MyStyle：個性化生成先驗歌和特拉維夫大提出了一個非常大的 DeepFake 技術(shù)。擁有了它，你幾乎所不能。只需給個人拍上百張照，就可以對其圖進行編碼，并修、編輯或創(chuàng)建出何想要的樣子。既令人驚奇又令恐懼，尤其是當看到生成的結(jié)果。論文鏈接：https://arxiv.org/ abs / 2203.17272項目地址：https://mystyle-personalized-prior.github.io/視頻講解：https://youtu.be/ BNWAEvFfFvQ短篇分析：https://www.louisbouchard.ai/ mystyle/OPT：開放預(yù)訓(xùn)練的 Transformer 語言模型GPT-3 如此強大的原因，在于其架構(gòu)和小。它有 1750 億個參數(shù)，是人類大腦中神經(jīng)數(shù)量的兩倍！如巨大的神經(jīng)網(wǎng)絡(luò)該模型幾乎學(xué)習(xí)整個互聯(lián)網(wǎng)的內(nèi)，了解我們?nèi)绾?寫、交換和理解本。就在人們驚于 GPT-3 的強大功能時，Meta 向開源社區(qū)邁出了一大步他們發(fā)布了一個樣強大的模型，且，該模型已經(jīng)全開源了！該模不僅也有超過千級別的參數(shù)，并，與 GPT-3 相比，OPT-175B 更加開放及便于訪問。文鏈接：https://arxiv.org/ abs / 2205.01068項目地址：https://github.com/ facebookresearch / metaseq視頻鏈接：https://youtu.be/ Ejg0OunCi9U短篇分析：https://www.louisbouchard.ai/ opt-meta/BlobGAN：空間離散的場景征對于如何描述個場景，Adobe 研究團隊給出了一個新的方法BlobGAN。BlobGAN 使用「斑點」（blob）來描述場景中的對象。研人員可以移動這斑點，將它們變、變小，甚至可刪除，這對圖像斑點所代表的物都會產(chǎn)生同樣的果。正如作者在們的結(jié)果中分享那樣，你可以通復(fù)制斑點，在數(shù)集中創(chuàng)建新的圖?，F(xiàn)在，BlobGAN 的代碼已經(jīng)開源，感興趣小伙伴，抓緊快手試試吧！論文接：https://arxiv.org/ abs / 2205.02837項目地址：https://github.com/ dave-epstein / blobgan視頻講解：https://youtu.be/ mnEzjpiA_4E短篇分析：https://www.louisbouchard.ai/ blobgan/Gato：通才智能體DeepMind 構(gòu)建了一個單一的「通用智能體 Gato?？梢酝?Atari 游戲、做字幕圖像、與人聊、還能控制機械！更令人震驚的，它只訓(xùn)練一次使用相同的權(quán)重便能完成所有任。Gato 是一個多模態(tài)智能體這意味著它既可為圖像創(chuàng)建標題也能作為聊天機人回答問題。雖 GPT-3 也能陪你聊天，但明顯，Gato 可以做到更多。竟，能聊天的 AI 常有，能陪玩游戲的不常有。文鏈接：https://arxiv.org/ abs / 2205.06175視頻講解：https://youtu.be/ xZKSWNv6Esc短篇分析：https://www.louisbouchard.ai/ deepmind-gato/Imagen：具有深度語言解的文本到圖像擴散模型如果你為 DALL?E 2 很優(yōu)秀，那么不妨看看這個自 Google Brain 的新模型 ——Imagen—— 可以做些什么。DALL?E 很神奇，但生成的圖像往缺乏真實感，就是谷歌團隊研的 Imagen 所要解決的問題。根據(jù)比較文本圖像模型的基準Imagen 在大型語言模型的本嵌入對文本-圖像的合成方面成顯著。生成的圖既天馬行空，又實可信。論文鏈：https://arxiv.org/ abs / 2205.11487項目地址：https://imagen.research.google/視頻講解：https://youtu.be/ qhtYPhPWCsI短篇分析：https://www.louisbouchard.ai/ google-brain-imagen/DALL·E Mini一組小扎的驚悚圖曾在 Twitter 上風(fēng)靡一陣。這組 San 值狂掉的作品，出自 DALL?E mini 之手。作為 DALL?E 家族的「青春版」DALL?E mini 是勝在免費開源。代碼已，下一個被魔改人物又會是誰呢項目地址：https://github.com/ borisdayma / dalle-mini在線體驗：https://huggingface.co/ spaces / dalle-mini / dalle-mini視頻講解：https://youtu.be/ K3bZXXjW788短篇分析：https://www.louisbouchard.ai/ dalle-mini/NLLB：不落下任何一種語言Meta AI 發(fā)布的這款 NLLB-200 模型，模型命名理念來自「不下任何一種語言（No Language Left Behind），在 200 多種語言上實現(xiàn)任意互譯。研究亮點在于：研究讓大多數(shù)低資源言訓(xùn)練提升多個量級，同時實現(xiàn) 200 + 語言翻譯的 SOTA 結(jié)果。論文鏈接：https://research.facebook.com/ publications / no-language-left-behind/項目地址：https://github.com/ facebookresearch / fairseq / tree / nllb在線體驗：https://nllb.metademolab.com/視頻講解：https://youtu.be/ 2G4NeG17Eis短篇分析：https://www.louisbouchard.ai/ no-language-left-behind/Dual-Shutter 光學(xué)振動傳感系統(tǒng)聲音能被看見？這篇得 CVPR 2022 最佳論文榮譽獎的研究，出了一種新穎的 Dual-Shutter 方法，通過使用「慢速相機（130FPS）同時檢測多個場景源的高速（達 63kHz）表面振動，并通捕獲由音頻源引的振動來實現(xiàn)。此便可以實現(xiàn)樂的分離、噪音的除等各種需求。文鏈接：https://openaccess.thecvf.com/ content / CVPR2022 / papers / Sheinin_Dual-Shutter_Optical_Vibration_Sensing_CVPR_2022_paper.pdf項目地址：https://imaging.cs.cmu.edu/ vibration/視頻講解：https://youtu.be/ n1M8ZVspJcs短篇分析：https://www.louisbouchard.ai/ cvpr-2022-best-paper/Make-A-Scene：基于場景且有人類先驗文本到圖像生成Make-A-Scene 不僅僅是「另一個 DALL?E」。雖然 DALL?E 可以根據(jù)文本提示成隨機圖像，這實很酷，但同時限制了用戶對生結(jié)果的控制。而 Meta 的目標是推動創(chuàng)意表達將這種文本到圖的趨勢與之前的圖到圖像模型相合，從而產(chǎn)生「Make-A-Scene」：文本和草圖條件圖像生之間的奇妙融合論文鏈接：https://arxiv.org/ abs / 2203.13131視頻講解：https://youtu.be/ K3bZXXjW788短篇分析：https://www.louisbouchard.ai/ make-a-scene/BANMo：從任意視頻中構(gòu)目標 3D 動畫模型基于 Meta 的這項研究，你只需給定捕獲變形對象的任意頻，比如上傳幾小貓小狗的視頻BANMo 便可通過將來自數(shù)千圖像的 2D 線索整合到規(guī)范空中，進而重建一可編輯的動畫 3D 模型，且無需預(yù)定義形狀模板論文鏈接：https://arxiv.org/ abs / 2112.12761項目地址：https://github.com/ facebookresearch / banmo視頻講解：https://youtu.be/ jDTy-liFoCQ短篇分析：https://www.louisbouchard.ai/ banmo/用潛在擴散模型進行高分率圖像合成今年火的圖像生成模 DALL?E、Imagen 以及強勢出圈的 Stable Diffusion，這些強大的圖像成模型有什么共點？除了高計算本、大量訓(xùn)練時之外，它們都基相同的擴散機制擴散模型最近在多數(shù)圖像任務(wù)中得了 SOTA 結(jié)果，包括使用 DALL?E 的文本到圖像，還許多其他與圖像成相關(guān)的任務(wù)，圖像修復(fù)、風(fēng)格換或圖像超分辨。論文鏈接：https://arxiv.org/ abs / 2112.10752項目地址：https://github.com/ CompVis / latent-diffusion視頻講解：https://youtu.be/ RGBNdD3Wn-g短篇分析：https://www.louisbouchard.ai/ latent-diffusion-models/PSG：基于場景的圖像生成模AI 可以幫你準確識別圖像中的體，但是理解物與環(huán)境之間的關(guān)則沒有那么輕松為此，來自南洋工對研究人員提了一種基于全景割的全場景圖生（panoptic scene graph generation，即 PSG）任務(wù)。相比于傳統(tǒng)于檢測框的場景生成，PSG 任務(wù)要求全面地輸圖像中的所有關(guān)（包括物體與物間關(guān)系，物體與景間關(guān)系，背景背景間關(guān)系），用準確的分割塊定位物體。論文接：https://arxiv.org/ abs / 2207.11247項目地址：https://psgdataset.org/在線應(yīng)用：https://huggingface.co/ spaces / ECCV2022 / PSG視頻講解：https://youtu.be/ cSsE_H_0Cr8短篇分析：https://www.louisbouchard.ai/ psg/利用文本反轉(zhuǎn)實現(xiàn)文到圖像的個性化成今年各大廠的像生成模型可謂八仙過海各顯神，但是如何讓模生成特定風(fēng)格的像作品呢？來自拉維夫大學(xué)的學(xué)和英偉達合作推了一款個性化圖生成模型，可以 DIY 你想要得到的圖像。論文接：https://arxiv.org/ abs / 2208.01618項目地址：https://textual-inversion.github.io/視頻講解：https://youtu.be/ f3oXa7_SYek短篇分析：https://www.louisbouchard.ai/ imageworthoneword/用于通用視頻識別的語圖像預(yù)訓(xùn)練模型覺文本模型的學(xué)毫無疑問已經(jīng)取了巨大成功，然如何將這種新的言圖像預(yù)訓(xùn)練方擴展到視頻領(lǐng)域然是一個懸而未的問題。來自微和中科院的學(xué)者出了一種簡單而效的方法使預(yù)訓(xùn)的語言圖像模型接適應(yīng)視頻識別而不是從頭開始訓(xùn)練新模型。論鏈接：https://arxiv.org/ abs / 2208.02816項目地址：https://github.com/ microsoft / VideoX / tree / master / X-CLIP視頻講解：https://youtu.be/ seb4lmVPEe8短篇分析：https://www.louisbouchard.ai/ general-video-recognition/Make-A-Video：一鍵文本生成視頻模畫家在畫布上盡作畫，如此清晰暢的畫面，你能到視頻的每一幀是 AI 生成的嗎？MetaAI 推出的 Make-A-Video，只需簡單輸入幾個文字，便可幾秒內(nèi)生成不同格的視頻，說成視頻版 DALL?E」也不為過。論文鏈接：https://arxiv.org/ abs / 2209.14792視頻講解：https://youtu.be/ MWwESVyHWto短篇分析：https://www.louisbouchard.ai/ make-a-video/Whisper：大規(guī)模弱監(jiān)督語音識別模型你沒有想過有一個譯軟件可以快速譯視頻中的語音甚至是那些你自都聽不懂的語言OpenAI 開源的 Whisper 恰好就能做到這一點。Whisper 在超過 68 萬小時的多語種數(shù)據(jù)上訓(xùn)，能識別嘈雜背下的多語種聲音轉(zhuǎn)化為文字，此還可勝任專業(yè)術(shù)的翻譯。論文鏈：https://arxiv.org/ abs / 2212.04356項目地址：https://github.com/ openai / whisper視頻講解：https://youtu.be/ uFOkMme19Zs短篇解析：https://www.louisbouchard.ai/ whisper/DreamFusion：用 2D 圖像生成 3D 模型文本能生成圖像、視頻還有 3D 模型～谷歌推出的 DreamFusion 通過使用預(yù)訓(xùn)練的 2D 文本到圖像擴散模可一鍵生成 3D 模型，在數(shù)十億圖像文本對上訓(xùn)的擴散模型推動文本到 3D 模型合成的最新突。論文鏈接：https://arxiv.org/ abs / 2209.14988視頻講解：https://youtu.be/ epuU0VRIcjE短篇解析：https://www.louisbouchard.ai/ dreamfusion/Imagic：基于擴散模型真實圖像編輯方使用 DALL?E 等文本圖像生成模型，只需輸一行文字便能得想要的圖片，但 AI 生成的圖像有時候并不那么美。來自谷歌、色列理工學(xué)院、茨曼科學(xué)研究所研究者介紹了一基于擴散模型的實圖像編輯方法 ——Imagic，只用文字就能現(xiàn)真實照片的 PS。例如，我們可以改變一個人的勢和構(gòu)圖同時保其原始特征，或我想讓一只站立狗坐下，讓一只展開翅膀。論文接：https://arxiv.org/ abs / 2210.09276項目地址：https://imagic-editing.github.io/視頻講解：https://youtu.be/ gbpPQ5kVJhM短篇分析：https://www.louisbouchard.ai/ imagic/eDiffi：更高品質(zhì)的文本圖像成模型比 DALL?E 和 Stable Diffusion 更強的圖像合成模來了！這就是英達的 eDiffi，它可以更準確地生成更高品質(zhì)圖像，此外加入筆模具，可以為的作品增加更多造性和靈活性。文鏈接：https://arxiv.org/ abs / 2211.01324項目地址：https://deepimagination.cc/ eDiff-I/視頻講解：https://youtu.be/ grwp-ht_ixo短篇分析：https://www.louisbouchard.ai/ ediffi/Infinite Nature：從單幅圖像中學(xué)習(xí)自然場的無限視圖生成有沒有想過，隨拍一張照片然后像打開一扇門一飛進圖片里呢？自谷歌和康奈爾學(xué)的學(xué)者將這一象變?yōu)榱爽F(xiàn)實，就是 InfiniteNature-Zero，他可從單幅圖像中成無限制的自然景視圖。論文鏈：https://arxiv.org/ abs / 2207.11148項目地址：https://infinite-nature.github.io/視頻講解：https://youtu.be/ FQzGhukV-l0短篇分析：https://www.louisbouchard.ai/ infinitenature-zeroGalactica：用于科學(xué)的大語言模型Meta 開發(fā)的 Galactica 是一種大型語言模型，其大小 GPT-3 相當，但它擅長的域是科學(xué)知識。模型可編寫政府皮書、新聞評論維基百科頁面和碼，它還知道如引用以及如何編方程式。這對人智能和科學(xué)來說一件大事。論文接：https://arxiv.org/ abs / 2211.09085視頻講解：https://youtu.be/ 2GfxkCWWzLU短篇分析：https://www.louisbouchard.ai/ galactica/RAD-NeRF：基于音頻空間分解的實人像合成模型自 DeepFake 和 NeRF 的出現(xiàn)，AI 換臉似乎已經(jīng)是空見慣了，但有問題，AI 換的臉有時會因為對上嘴型而露餡。RAD-NeRF 的出現(xiàn)可以解決一問題，它可以視頻中所出現(xiàn)的話者進行實時的像合成，此外還持自定義頭像。文鏈接：https://arxiv.org/ abs / 2211.12368項目地址：https://me.kiui.moe/ radnerf/ChatGPT：為對話優(yōu)化的言模型2022 年度 AI 的重磅作品怎么能少 ChatGPT，這個已經(jīng)火遍網(wǎng)并已經(jīng)被網(wǎng)友發(fā)出寫小黃文、代碼等各種應(yīng)用萬能模型，如果還不了解它，那快來看看！視頻解：https://youtu.be/ AsFgn8vU-tQ短篇分析：https://www.louisbouchard.ai/ chatgpt/可直接用于生產(chǎn)使用的視頻人 re-aging雖然當下計算機視覺模型可以對臉的年齡進行生、風(fēng)格遷移等，這也只是看起來酷，在實際應(yīng)用卻幾乎零作用，有的技術(shù)通常存著面部特征丟失分辨率低和在后視頻幀中結(jié)果不定的問題，往往要人工二次編輯最近迪士尼發(fā)布第一個可實用的完全自動化的、用于生產(chǎn)使用的頻圖像中 re-age 人臉的方法 FRAN（Face Re-Aging Network），正式宣告電影中靠化師改變演員年齡覺效果的技術(shù)落。論文鏈接：https://dl.acm.org/ doi / pdf / 10.1145/3550454.3555520項目地址：https://studios.disneyresearch.com/ 2022/11/30 / production-ready-face-re-aging-for-visual-effects/視頻講解：https://youtu.be/ WC03N0NFfwk短篇分析：https://www.louisbouchard.ai/ disney-re-age/參考資料：https://www.louisbouchard.ai/2022-ai-recap/本文來自微信公號：新智元 （ID：AI_era?