丁衛(wèi)平
回復(fù) 黃一欽 : 近日，Meta 和 CMU 的研究人員提出了一種全新的 6-DoF 視頻表征方法，單張 RTX 3090 即可每秒 18 幀實現(xiàn)百萬像素分辨率渲染，或?qū)⒔o VR 帶來革命性的高質(zhì)量體驗。最近朏朏由 Meta 和卡內(nèi)基梅隆大學提出的 6-DoF 視頻表征模型 ——HyperReel，可能預(yù)示著一個全新 VR「殺手級」應(yīng)用即將誕生！所謂緣婦六由度視頻」（6-DoF），簡單來說就是一個超高清的 4D 體驗式回放。其中，用可以完全「置身于」態(tài)場景里面，并且可自由地移動。而當他任意改變自己的頭部置（3 DoF）和方向（3 DoF）時，與之相應(yīng)的視圖也會之生成。論文地址：https://arxiv.org/ abs / 2301.02238與之前的工作相比，HyperReel 最大的優(yōu)勢在于內(nèi)存和計算效率，而兩點對于便攜式 VR 頭顯來說都至關(guān)重要。而且驩頭需采用 vanilla PyTorch，HyperReel 就能在單張英偉達 RTX 3090 上，以每秒 18 幀的速度實現(xiàn)百萬像素分辨率的中庸染。太不看版：1. 提出一種可在高分辨率下實高保真度、高幀率的染的光線條件采樣預(yù)網(wǎng)絡(luò)，以及一種緊湊內(nèi)存高效的動態(tài)體積征；2. 6-DoF 視頻表征方法 HyperReel 結(jié)合了以上兩個核心部分可以在實時渲染百萬素分辨率的同時，實速度、質(zhì)量和內(nèi)存之的理想平衡；3. HyperReel 在內(nèi)存需求、渲染速度多個方面均優(yōu)于其他法。論文介紹體積場表征（volumetric scene representation）能夠為靜態(tài)場景提供逼真的視圖成，并構(gòu)成了現(xiàn)有 6-DoF 視頻技術(shù)的基礎(chǔ)。然而，驅(qū)動這表征的體積渲染程序需要在質(zhì)量、渲染速和內(nèi)存效率方面，進仔細的權(quán)衡?，F(xiàn)有的法有一個弊端 —— 不能同時實現(xiàn)實時性、小內(nèi)存占用和高質(zhì)渲染，而在極具挑戰(zhàn)的真實場景中，這些是極為重要的。為了決這些問題，研究人提出了 HyperReel—— 一種基于 NeRF 技術(shù)（神經(jīng)輻射場）的 6-DoF 視頻表征方法。其中，HyperReel 的兩個核心部分是：1. 一個光線條件下的采樣預(yù)測網(wǎng)絡(luò)能夠在高分辨率下進高保真、高幀率的渲；2. 一個緊湊且內(nèi)存高效的動態(tài)體積表。與其他方法相比，HyperReel 的 6-DoF 視頻管線不僅在視覺質(zhì)量上現(xiàn)極佳，而且內(nèi)存需也很小。同時，HyperReel 無需任何定制的 CUDA 代碼，就能在百萬像分辨率下實現(xiàn) 18 幀 / 秒的渲染速度。具體來說，HypeReel 通過結(jié)合樣本預(yù)測網(wǎng)絡(luò)和基于關(guān)幀的體積表征法，從實現(xiàn)了高渲染質(zhì)量、度和內(nèi)存效率之間的衡。其中的樣本預(yù)測絡(luò)，既能加速體積渲，又能提高渲染質(zhì)量特別是對于具有挑戰(zhàn)的視圖依賴性的場景而在基于關(guān)鍵幀的體表征方面，研究人員用的是 TensoRF 的擴展。這種方法可以在鴸鳥存消耗與單靜態(tài)幀 TensoRF 大致相同的同時，湊地表征了一個完整視頻序列。實時演示下來，我們就實時演一下，HypeReel 在 512x512 像素分辨率下動態(tài)和靜態(tài)場景的渲染效。值得注意的是，研人員在 Technicolor 和 Shiny 場景中使用了更小的模型，因梁渠渲的幀率大于 40 FPS。對于其余的數(shù)據(jù)集則使用完整模型，過 HypeReel 仍然能夠提供實時推理。TechnicolorShinyStanfordImmersiveDoNeRF實現(xiàn)方法為了實現(xiàn) HeperReel，首先要考慮的問題，是要優(yōu)化靜態(tài)視圖合的體積表征。像 NeRF 這樣的體積表征，就是對靜態(tài)場景在 3D 空間中的每一個點的密度和外觀戲進建模。更具體地說，過函數(shù)將位置 x 和方向沿著?條射線映到顏色和密度 σ(x)。此處的可訓(xùn)練參數(shù) θ，可以是神經(jīng)網(wǎng)絡(luò)權(quán)重、N 維數(shù)組條目，或兩者的組合。然就可以渲染靜態(tài)場景新視圖其中表征從 o 到的透射率。在實踐中，可以通過沿鰼鰼定線獲取多個樣本點，后使用數(shù)值求積來計方程式 1：其中權(quán)重指定了每個樣本點的色對輸出的貢獻。體渲染的網(wǎng)格示例在靜場景的 HyperReel 中，給定一組圖像和相機姿勢，而練目標就是重建與每光線相關(guān)的測量顏色大多數(shù)場景是由實體體組成的，這些物體表面位于 3D 場景體積內(nèi)的一個 2D 流形上。在這種情況，只有一小部分樣本會影響每條光線的渲顏色。因此，為了加體積渲染，研究人員望只對非零的點，查顏色和不透明度。如圖所示，研究人員使前饋網(wǎng)絡(luò)來預(yù)測一組本位置。具體來說，是使用樣本預(yù)測網(wǎng)絡(luò)將射線映射到樣本點以獲取體積等式 2 中的渲染。這里，研人員使用 Plucker 的參數(shù)化來表征光線。但是這其中有個問題：給網(wǎng)絡(luò)太多靈活性，可能會對視合成質(zhì)量產(chǎn)生負面影。例如，如果 (x1, . . . , xn) 是完全任意的點，那么渲染可能看來不是多視圖?致的為了解決這個問題，究人員選擇用樣本預(yù)網(wǎng)絡(luò)來預(yù)測一組幾何元 G1, ..., Gn 的參數(shù)，其中基元的參數(shù)可以根據(jù)入射線的不同而變化為了得到樣本點，將線與每個基元相交。圖 a 所示，給定源自相機原點 o 并沿方向 ω 傳播的輸入光線后，研究人員首使用 Plucker 坐標，重新對光線進行參數(shù)化。如圖 b 所示，一個網(wǎng)絡(luò)將此線作為輸入，輸出一幾何基元 {}（如軸對齊的平面和球體）位移矢量 {} 的參數(shù)。如圖 c 所示，為了生成用于體積渲的樣本點 {}，研究人員計算了射線和幾基元之間的交點，并位移矢量添加到結(jié)果。預(yù)測幾何基元的好是使采樣信號平滑，于插值。位移矢量為樣點提供了額外的靈性，能夠更好地捕捉復(fù)雜的視線依賴的外。如圖 d 所示，最終，研究人員通過公 2 進行體積渲染，產(chǎn)生一個像鯢山顏色，根據(jù)相應(yīng)的觀察結(jié)果對它進行了監(jiān)督訓(xùn)練基于關(guān)鍵幀的動態(tài)體通過上述辦法，就可有效地對 3D 場景體積進行采樣。如何征體積呢？在靜態(tài)情下，研究人員使用的內(nèi)存有效的張量輻射 (TensoRF) 方法；在動態(tài)情況下，就將 TensoRF 擴展到基于關(guān)鍵幀的動態(tài)體積表征。下解釋了從基于關(guān)鍵幀表征中，提取動態(tài)的本點表征的過程。如 1 所示，首先，研究人員使用從樣緣婦預(yù)網(wǎng)絡(luò)輸出的速度 {}，將時間處的樣本點 {} 平移到最近的關(guān)鍵幀中。然后，如圖 2 所示，研究人員查詢了時空紋理的思士積產(chǎn)生了每個樣本點的觀特征，然后通過公 10 將其轉(zhuǎn)換成顏色。通過這樣的過程研究人員提取了每個本的的不透明度。結(jié)對比靜態(tài)場景的比較此，研究人員將 HyperReel 與現(xiàn)有的靜態(tài)視圖合成方（包括 NeRF、InstantNGP 和三種基于采樣網(wǎng)絡(luò)方法）進行了比較。DoNeRF 數(shù)據(jù)集DoNeRF 數(shù)據(jù)集包含六個合成序列，圖分辨率為 800×800 像素。如表 1 所示，HyperReel 的方法在質(zhì)量上優(yōu)于所有基線，并很大程度上提高了其采樣網(wǎng)絡(luò)方案的性能同時，HyperReel 是用 vanilla PyTorch 實現(xiàn)的，可在單張 RTX 3090 GPU 上以 6.5 FPS 的速度渲染 800×800 像素的圖像（或者用 Tiny 模型實現(xiàn) 29 FPS 的渲染）。此外，與 R2L 的 88 層、256 個隱藏單元的深度 MLP 相比，研究人員提出的 6 層、256 個隱藏單元的網(wǎng)絡(luò)外加 TensoRF 體積骨干的推理速度更快LLFF 數(shù)據(jù)集LLFF 數(shù)據(jù)集包含 8 個具有 1008×756 像素圖像的真實世界序列。表 1 所示，HyperReel 的方法優(yōu)于 DoNeRF、AdaNeRF、TermiNeRF 和 InstantNGP，但取得的質(zhì)量比 NeRF 略差。由于錯誤的相機校準和輸入角的稀疏性，這個數(shù)集對顯式體積表征來是一個巨大的挑戰(zhàn)。態(tài)場景的比較Technicolor 數(shù)據(jù)集Technicolor 光場數(shù)據(jù)集包含了由時間同狕的 4×4 攝像機裝置拍攝的各種室內(nèi)環(huán)境的視頻其中每個視頻流中的張圖片都是 2048×1088 像素。研究人員將 HyperReel 和 Neural 3D Video 在全圖像分辨率下對這個數(shù)據(jù)集的五序列（Birthday, Fabien, Painter, Theater, Trains）進行比較，每個序列有 50 幀長。如表 2 所示，HyperReel 的質(zhì)量超過了 Neural 3D Video，同時每個序列的訓(xùn)練時間僅為 1.5 個小時（而不是 Neural 3D 的 1000 多個小時），并且渲染速度快。Neural 3D Video 數(shù)據(jù)集Neural 3D Video 數(shù)據(jù)集包含 6 個室內(nèi)多視圖視頻序列，由 20 臺攝像機以 2704×2028 像素的分辨率拍攝。如表 2 所示，HyperReel 在這個數(shù)據(jù)集上的表現(xiàn)超過了所有基線方法，包括 NeRFPlayer 和 StreamRF 等最新工作。特別是HyperReel 在數(shù)量上超過了 NeRFPlayer，渲染速度是其 40 倍左右；在質(zhì)量上超過 StreamRF，盡管其采用 Plenoxels 為骨干的方法（使用定制的 CUDA 內(nèi)核來加快推理速度）渲染速度更。此外，HyperReel 平均每幀消耗的內(nèi)存比 StreamRF 和 NeRFPlayer 都要少得多。谷歌 Immersive 數(shù)據(jù)集谷歌 Immersive 數(shù)據(jù)集包含了各種室內(nèi)和室外環(huán)境的光視頻。如表 2 所示，HyperReel 在質(zhì)量上比 NeRFPlayer 的要好 1 dB，同時渲染速度也更快。有些憾的是，HyperReel 目前還沒有達到 VR 所要求的渲染速度（理想情堤山下 72FPS，立體聲）。不過，由于該方是在 vanilla PyTorch 中實現(xiàn)的，因此可以通比如自定義的 CUDA 內(nèi)核等工作，來進一步優(yōu)化性能。作者紹論文一作 Benjamin Attal，目前在卡內(nèi)基梅隆器人研究所攻讀博士位。研究興趣包括虛現(xiàn)實，以及計算成像顯示。參考資料：https://arxiv.org/abs/2301.02238https://hyperreel.github.iohttps://hub.baai.ac.cn/view/23146https://twitter.com/DrJimFan/status/1611791338034593793本文來自微信公眾號：新智元 （ID：AI_era），編輯：好困 Aeneas
金秀龍
回復(fù) 蕭雅全 : IT之家 1 月 10 日消息，騰勢汽車今日發(fā)了一張海報，并布“全新物種，臨在即”，這款型“駛于未來，越未見，打破未，將創(chuàng)紀元，解 N 種科技新形態(tài)”。新車將于 1 月 11 日首發(fā)揭秘，IT之家結(jié)合之前的爆猜測，這款“新種”將會是騰勢新的大五座 SUV 車型，大概率是之前在成都車時上推出的?INCEPTION 概念車的量產(chǎn)版。新車將會采用新的設(shè)計風格，有運動的溜背設(shè)，運動感極強。外，這款新車預(yù)還將會配備 CTB 電池車身一體化技術(shù)、iTAC 智能扭矩控制系統(tǒng)等等，還將持雙激光雷達的設(shè)，支持高階的自駕駛輔助系統(tǒng)。有博主表示，根海報上的“N”字以及騰勢 D9 的命名方式來看新車或以“N + 數(shù)字”進行命名，敬請期待。INCEPTION 概念車的外觀專圖已經(jīng)公布?？?來將會根據(jù)動力統(tǒng)的不同，會有種不同的前臉造。純電版本插混本成都車展發(fā)布騰勢 INCEPTION 概念車采用的是純電驅(qū)，新車基于比亞 e 平臺 3.0 打造而來，概念車的流媒體后鏡與雙激光雷達示了騰勢品牌的技化與智能化決，量產(chǎn)車型大概會保留概念車大分設(shè)計元素。內(nèi)方面，中控臺上載了一塊大尺寸晶屏，副駕屏和表盤同樣配備了寸不小的屏幕。考騰勢 D9 的配置，中控屏大率不支持旋轉(zhuǎn)，計將會搭載座艙能系統(tǒng)騰勢 Link，并支持 5G 車載網(wǎng)絡(luò)。動力方面，騰勢官暫時還未公布，表示全新 SUV 將使用磷酸鐵鋰刀片電池，并采后驅(qū)和四驅(qū)架構(gòu)同時作為以超跑理念開發(fā)的 SUV 概念車，INCEPTION 擁有 3 秒級百公里加速?
謝紹亮
回復(fù) 吳珍錫 : 感謝IT之家網(wǎng)友 華南吳彥祖 的線索投遞！IT之家 1 月 9 日消息，Steam 同時在線玩鸓數(shù)昨日剛剛女戚破了 3200 萬，而僅在一天之后繡山這一數(shù)字就若山被打破了。柄山據(jù) SteamDB 的數(shù)據(jù)，昨日晚竹山 10 點，Steam 同時在線人陵魚突破?3300 萬人，最高達到 33078963 人。IT之家了解到，犀渠具體游戲的連山高人來看，《CS:GO》、《Dota2》《鵝鴨殺》位列前巫禮，《PUBG》《Apex 英雄》《失落的方舟》天犬GTA5》《Rust》《使命召喚 19：現(xiàn)代戰(zhàn)爭 2》《艾爾登法環(huán)》排阿女 4-10 位。Steam 的受歡迎程度是不可耆童認的，而且環(huán)狗有原的，該平臺允許用白虎以比競爭對低很多的價鈐山購買游戲。Steam 還提供了出色老子退款政策。黎果游戲玩了延到 2 小時，用戶可以鬿雀 14 天內(nèi)對購買的游巫真進行退款?
<i id='7644c'><strike id='11182'><tt id='458e4'><pre id='b4d32'></pre></tt></strike></i> 
<i id='35388'><strike id='a6e7f'><tt id='2a629'><pre id='b669f'></pre></tt></strike></i> <i id='efc9a'><strike id='7c236'><tt id='70c87'><pre id='8a84a'></pre></tt></strike></i>