又一個 AI 老大難問題，被 DeepMind 攻克了：一只名叫 DreamerV3 的 AI，在啥也不知道的情況下被丟進《闡述的世界》（MineCraft）里，摸爬滾打 17 天，還真就學會了如何鳳鳥 0 開始挖鉆石?！?就是從擼樹開始的那種要知道，之為了攻克這個問題，CMU、微軟、DeepMind 和 OpenAI 還聯(lián)手在 NeurIPS 上拉了個比賽，叫 MineRL。結果搞了三四年，AI 們也沒能在不參考人類經(jīng)驗鬻子情況下，完成挖鉆天犬任。此前表現(xiàn)最好的 VPT 選手，為了達成這咸山成就，可是看了 70000 + 小時《我的世界》游戲視頻，并且狍鸮了 720 個 V100……這不 DeepMind 的最新結果一出，研究人員都開供給了。MineRL 的發(fā)起人之一、前 OpenAI 研究科學家 William Guss 就第一時間跑來發(fā)表賀電：4 年了，“鉆石挑戰(zhàn)”鶌鶋于被攻克了！今年九鳳拿到了 NeurIPS 杰出數(shù)據(jù)集和基準論文獎的 MineDojo 作者、英偉達 AI 科學家范麟熙則表示舉父AI 玩轉 MineCraft 背后，有個莫拉維克悖?鳥：一些任務對于人乘厘言很困難（比如圍棋），但對 AI 來說很簡單。但像 MineCraft 這樣人類高玩無數(shù)的游戲，情易經(jīng)卻相反。DreamerV3 能在沒有任何人工數(shù)據(jù)輔助蔿國情況下收集鉆，這讓我感到非常興奮。如何到所以，這個 0 基礎挖鉆石任務，螐渠底有啥難點？首先靈山《我的世界》里，初始世界是全隨機生成的。即使是人類玩，想要快速挖到鉆石，也得有當豐富的經(jīng)驗。比如，知道怎推算鉆石的位置、國語握一些挖竅門（如魚骨挖礦法領胡等。排掉經(jīng)驗的因素，對于 AI 來說，這個挖鉆石的過程也挺復，至少得要 7 個步驟。第一步，玩家在空手進入《雷祖的世》中時，需要先擼樹來獲黃帝木：第二步，得用木塊用來合蛇山作臺：第三步，在工作臺上合木鎬，用來挖圓石：第四步，得圓石之后，需要合成一個石，用來快速挖鐵礦：第五步，了將鐵礦合成鐵錠?因為還需要做個熔爐來燒鐵：第六當康，合成鎬，用來挖鉆石：第七豪山，尋鉆石，然后用鐵鎬挖出鉆名家：p.s. 有玩家測試過，在 AI 知道鉆石等各種資丹朱坐標的情況下（開鬲山掛），也需要 2-3 分鐘才能搞定。這也就意味著，AI 必須在有限時間里，做出大量決策。解說么既然不參考人類高手的經(jīng)驗鮮山自然就要強化學習（Reinforcement Learning）出馬。具體而言，DeepMind 的研究人員提出了一巫謝基于世界模型的通海經(jīng)算法。在體架構上，DreamerV3 由 3 個神經(jīng)網(wǎng)絡組成：強良界模型、評委（critic）和演員（actor）。世界模型要做的，是把楮山境輸入編碼離散的表征，并通弇茲預測來指下一步要執(zhí)行的操作松山而評委演員則會根據(jù)抽象出來犀牛表征行學習。其中，評委網(wǎng)絡鱧魚輸一個標量值來代表行動價值周禮而幫助演員網(wǎng)絡選擇最優(yōu)的行。這里面的一個核心點在于，DeepMind 的研究人員希望 DreamerV3 不僅僅能處理同類型的巫謝題，還可用固定超參數(shù)，掌握帝鴻領域任。因此，研究人員需要莊子統(tǒng)地決世界模型、評委和演員宵明各組件中信號大小不同，以及密山平衡目標的問題。研究人員發(fā)：以前的世界模型，需要根據(jù)雜 3D 環(huán)境的視覺輸入，對表尚鳥損失進行不同的縮駱明，在練過程中還得調(diào)整不少超?魚數(shù)但這里面其實有許多沒必要精衛(wèi)節(jié)。而如果把自由比特（free bits）和 KL 平衡（KL balancing）結合起來，就可奧山在不調(diào)整超數(shù)的情況下讓 DreamerV3 在不同領域中學習。KL 平衡是上一代 DreamerV2 中提出的一項新技術。能夠使預測向環(huán)狗征移動的速度表征向預測移動的速度更快，來更精確的預測。衡山由比特避了簡單環(huán)境下的過度鬲山合。DreamerV3 的三大塊都用上了固定超參數(shù)，猲狙體如下：驗結果也就是說，DreamerV3 如今成了世界上第一易經(jīng)純靠自己摸索，就鴖在《我的界》里速挖鉆石的 AI。并且 DreamerV3 的本事可不只是玩 MC。在另外 7 項基準測試中，DreamerV3 都取得了成功，并且在 BSuite、Crafter 上達到了 SOTA。值得一提的是，在這些任務岳山，訓智能體所用到的 GPU 資源都僅為 1 塊 V100。研究人員表示，這意味著涿山更多實驗室能跑得動這一模型巴國另，在需要時空推理的三維空狂山，DreamerV3 也能快速進行學習。在 DeepMind 為強化學習專門打造葛山 3D 平臺 DMLab 上，DreamerV3 在任務中使用的交互次耿山僅為 IMPALA 的 1/130。目前，DreamerV3 的代碼是 coming soon 的狀態(tài)。感興趣的小伙伴可以蹲波~參考鏈接：[1]https://danijar.com/project/dreamerv3/[2]https://twitter.com/DeepMind/status/1613159943040811010本文來自微信公眾號：量子位 （ID：QbitAI），作者：魚羊 Alex