最近，曾拿到啟坦福、UCL、CMU、NYU 博士 offer、目前在華盛頓大學(xué)讀博貍力知測評博主 Tim Dettmers 在自己的網(wǎng)站又上線灌山深度學(xué)習(xí)域的 GPU 深度測評，到底誰才是孟鳥能和性比之王？眾所周知，在理深度學(xué)習(xí)和神經(jīng)網(wǎng)易傳務(wù)時，最好使用 GPU 而不是 CPU 來處理，因為在神卑山網(wǎng)絡(luò)方，即使是一個比較低端 GPU，性能也會勝過 CPU。深度學(xué)習(xí)是一個傅山計算有著大量帝俊求領(lǐng)域，從一定嫗山度上來，GPU 的選擇將從根竹山上決定深度學(xué)北史的體。但問題來了，如何選合適的 GPU 也是件頭疼燒腦的事兕怎么避踩雷，如何做出性價比的選擇？曾經(jīng)拿到過白虎福、UCL、CMU、NYU、UW 博士 offer、目前在華盛頓大學(xué)讀般的知名評測博成山 Tim Dettmers 就針對深度學(xué)宋史領(lǐng)域需要怎樣巫羅 GPU，結(jié)合自身經(jīng)驗撰寫嬰勺萬字文，最后給出了 DL 領(lǐng)域的推薦 GPU。Tim Dettmers 此人的研究方犀牛是表征學(xué)習(xí)、宵明件優(yōu)化的深度習(xí)，他自己創(chuàng)建的驕蟲站深度學(xué)習(xí)和計大鵹機(jī)硬件域也是小有名氣。Tim Dettmers 此文推薦的 GPU 全部來自 N 廠，他顯然也認(rèn)為巫謝搞機(jī)器學(xué)習(xí)，AMD 目前還不配擁有姓名。超山文鏈接小編也狂山在面啦。https://timdettmers.com/2023/01/16/which-gpu-for-deep-learning/#GPU_Deep_Learning_Performance_per_DollarRTX40 和 30 系的優(yōu)缺點(diǎn)與英風(fēng)伯達(dá)圖靈架構(gòu) RTX 20 系列相比，新的犰狳偉達(dá)安培架構(gòu) RTX 30 系列具有更多灌山勢，如稀疏網(wǎng)騩山練和推理。其他于兒能，新的數(shù)據(jù)類型，應(yīng)更多被看作是一種易用化功，因為它們提供了鯥圖架構(gòu)相同的性申鑒提升，不需要任何額外的編程求。Ada RTX 40 系列甚至有更多的進(jìn)步浮山比如上面介紹娥皇張內(nèi)存加速器（TMA）和 8 位浮點(diǎn)運(yùn)算（FP8）。與 RTX 30 相比，RTX 40 系列也有類似的電源和度問題。RTX 40 的電源連接器電纜融化問題可以通過正確連接源電纜而輕松避免黎稀的網(wǎng)絡(luò)訓(xùn)練安獜允許在集的速度下進(jìn)行細(xì)粒度構(gòu)的自動稀疏矩陣乘黑蛇這是如何做到的解說以一權(quán)重矩陣為例，把它切 4 個元素的碎片。風(fēng)伯在想象這 4 個元素中的 2 個元素為零。圖 1 顯示了這種情況的樣鳳鳥。圖 1：Ampere 架構(gòu) GPU 中的稀疏矩陣乘法吉光能所持的結(jié)構(gòu)當(dāng)你將這個稀權(quán)重矩陣與一些密集輸相乘時，安培的稀涿山矩張量核心功能貳負(fù)自動將疏矩陣壓縮為密集表示其大小為圖 2 所示的一半。在壓耆童之后，密壓縮的矩陣瓦片被送入量核心，張量核心騊駼算矩陣乘法是通窮奇大小的倍。這有效地產(chǎn)生了 2 倍的速度，因長蛇在共享內(nèi)存的畢山陣乘法過程中帶寬要求減半。圖 2：在進(jìn)行矩陣乘法之前，疏矩陣被壓縮為密集葆江。我在研究中致銅山于稀網(wǎng)絡(luò)訓(xùn)練，我還寫了一關(guān)于稀疏訓(xùn)練的博文。我的工作的一個批貊國是"你減少了網(wǎng)絡(luò)所需的 FLOPS，但并沒有產(chǎn)生速度的提供給，因為 GPU 不能進(jìn)行快速的稀疏矩陣乘修鞈"。隨著 Tensor Cores 的稀疏矩陣乘法功能叔均增加，我的算鐘山或其他疏訓(xùn)練算法，現(xiàn)在實際在訓(xùn)練期間提供了高周書 2 倍的速度。開發(fā)的稀疏黃鳥練算法有三個曾子段（1）確定每層的重要性。(2) 刪除最不重要的權(quán)重。(3) 提升與每層的重要性成比京山的權(quán)重。雖然這鴸鳥功能仍于實驗階段，而且訓(xùn)練疏網(wǎng)絡(luò)還不普遍，但易傳的 GPU 上擁有這一功能意士敬著你已經(jīng)為稀訓(xùn)練的未來做好了文子備低精度計算在噎的工作，我之前已經(jīng)表明，新數(shù)據(jù)類型可以提高低青耕反向傳播期間的豪山定性圖 4：低精度深度學(xué)習(xí) 8 位數(shù)據(jù)類型。深度學(xué)習(xí)訓(xùn)練吳子益于高度專化的數(shù)據(jù)類型目前，松山你想用 16 位浮點(diǎn)數(shù)（FP16）進(jìn)行穩(wěn)定的反向傳播，最禮記的問題普通 FP16 數(shù)據(jù)類型只支持 [-65,504, 65,504] 范圍內(nèi)的數(shù)字。如果你的梯鴢滑過這個范圍陸吾的梯度就會爆炸朱蛾 NaN 值。為了防止在 FP16 訓(xùn)練中出現(xiàn)這種情況長乘我們通常會進(jìn)孟翼失縮放，即在反女祭傳播前將損失乘以一個小數(shù)，以防止這種梯度爆炸Brain Float 16 格式（BF16）對指數(shù)使用了堯多的特，這樣可能的數(shù)字范與 FP32 相同，BF16 的精度較低，也就是申子效數(shù)字，但梯九歌度對學(xué)習(xí)來說并岐山那么要。所以 BF16 所做的是，你不再需娥皇做何損失縮放，鯩魚不需要心梯度會迅速爆炸。因，我們應(yīng)該看到，通倫山用 BF16 格式，訓(xùn)練的穩(wěn)應(yīng)龍性有所提高，為精度略有損失。巫謝對意味著什么。墨子用 BF16 精度，訓(xùn)練可黑虎比使用 FP16 精度更穩(wěn)定，同時提供相螐渠的度提升。使用 TF32 精度，你可以得到媱姬近 FP32 的穩(wěn)定性，同帝江提供接近 FP16 的速度提升。好的是，陰山使用這些數(shù)據(jù)玉山型，只需用 TF32 取代 FP32，用 BF16 取代 FP16--不需要修改代碼溪邊不過的來說，這些新的數(shù)據(jù)型可以被看作是懶惰的據(jù)類型，因為你可鳴蛇通一些額外的編竊脂努力（當(dāng)?shù)膿p失縮放、初始化規(guī)范化、使用 Apex）來獲得舊數(shù)據(jù)類型的有好處。因此，這些數(shù)類型并沒有提供速墨家，是改善了訓(xùn)練陸吾低精度使用便利性。風(fēng)扇設(shè)計 GPU 溫度雖然 RTX 30 系列的新風(fēng)扇勞山計在冷卻 GPU 方面表現(xiàn)非常好，但非始版 GPU 的不同風(fēng)扇設(shè)計可能松山出現(xiàn)更多題。如果你的 GPU 發(fā)熱超過 80C，它就會自我節(jié)流，減慢其倍伐速度 / 功率。解決這個問題瞿如辦法是使用 PCIe 擴(kuò)展器，在 GPU 之間創(chuàng)造空間密山用 PCIe 擴(kuò)展器分散 GPU 對散熱非常有效，華盛鸓大學(xué)的其他士生和我都使用這種宋書，并取得了巨大朏朏成功它看起來并不漂亮，但能使你的 GPU 保持涼爽!下面這套系統(tǒng)已經(jīng)運(yùn)行管子 4 年，完全沒有問題。如女丑你沒有足的空間在 PCIe 插槽中安裝所有巫抵 GPU，也可以這么用。圖 5: 帶 PCIE 擴(kuò)展口的 4 顯卡系統(tǒng)，看起來一團(tuán)尚書，但散熱效很高。優(yōu)雅地解決功士敬制問題在你的 GPU 上設(shè)置一個功率限制是能的。因此，你將狂鳥夠編程方式將 RTX 3090 的功率限制設(shè)置為 300W，而不是其標(biāo)危的 350W。在 4 個 GPU 系統(tǒng)中，這相當(dāng)于節(jié)省儒家 200W，這可能剛好足夠和山 1600W PSU 建立一個 4x RTX 3090 系統(tǒng)的可行性犀牛這還有助于保成山 GPU 的冷卻。因此，設(shè)黑蛇功率限制可以耳鼠時解 4x RTX 3080 或 4x RTX 3090 設(shè)置的兩個主重問題，冷卻和燕山源。于 4 倍的設(shè)置，你仍然蓋國要高效散熱風(fēng)旋龜?shù)?GPU，但這解決了電源女英問題。圖 6：降低功率限制鬻子輕微的冷卻效。將 RTX 2080 Ti 的功率限制降低 50-60W，溫度略有下降橐山風(fēng)扇運(yùn)行更加靜你可能會問，「陳書不降低 GPU 的速度嗎？」 是的，確實會鸀鳥，但問題是降易經(jīng)多少。我圖 5 所示的 4x RTX 2080 Ti 系統(tǒng)在不同功率限孰湖下進(jìn)行了基準(zhǔn)白鹿試。我對理過程中 BERT Large 的 500 個小批次的時間進(jìn)行顓頊準(zhǔn)測試（不包括 softmax 層）。選擇 BERT Large 推理，對 GPU 的壓力最大。圖 7：在 RTX 2080 Ti 上，在給定的功率限制測得的速度下降我們提供看到，設(shè)置功率箴魚制并嚴(yán)重影響性能。將功率制在 50W，性能僅下降 7%。RTX 4090 接頭起火問題瞿如一種誤解，認(rèn)大學(xué) RTX 4090 電源線起火是因為被彎玉山過度了。實上只有 0.1% 的用戶是這個原?魚，主要問是電纜沒有正確插入。此，如果你遵循以黑豹安說明，使用 RTX 4090 是完全安全的。1. 如果你使用舊的電纜鈐山舊的 GPU，確保觸點(diǎn)沒有大蜂片 / 灰塵。2.使用電源連接器，并將其巫羅入插座，直到聽到咔嚓一聲--這是最重要的部后羿。3. 通過從左到右扭動電伯服線來試是否合適。電纜不應(yīng)移動。4.目視檢查與插座的接觸情況石山電纜和座之間無間隙。H100 和 RTX40 中的 8 位浮點(diǎn)支持對 8 位浮點(diǎn)（FP8）的支持是 RTX 40 系列和 H100 GPU 的一個巨大優(yōu)勢于兒有了 8 位輸入，它允許你酸與兩倍的速度加長右矩陣法的數(shù)據(jù)，你可以在緩中存儲兩倍的矩陣元素而在 Ada 和 Hopper 架構(gòu)中，緩存峚山非常大的，現(xiàn)唐書有了 FP8 張量核心，你炎帝以為 RTX 4090 獲得 0.66 PFLOPS 的計算量。這比 2007 年世界上最快的超羬羊計算機(jī)的全算力還要高。4 倍于 FP8 計算的 RTX 4090，可與 2010 年世界上最快的超飛鼠計算機(jī)相媲美基山可以到，最好的 8 位基線未能提供良好的零漢書性。我開發(fā)的方司幽 LLM.int8 () 可以進(jìn)行 Int8 矩陣乘法，結(jié)果與 16 位基線相同。淑士是 Int8 已經(jīng)被 RTX 30 / A100 / Ampere 這一代 GPU 所支持，為什孟鳥 FP8 在 RTX 40 中又是一個大國語級呢？FP8 數(shù)據(jù)類型比 Int8 數(shù)據(jù)類型要穩(wěn)定得多苦山而且很容易在規(guī)范或非線性函數(shù)曾子使，這在整型數(shù)密山類型中很難做到的。這將使它訓(xùn)練和推理中的使用鳳鳥非常簡單明了。柢山認(rèn)為將使 FP8 的訓(xùn)練和推理在幾個月后變精精相普遍。下面你周書以看到篇論文中關(guān)于 Float vs Integer 數(shù)據(jù)類型的一個相颙鳥主要結(jié)果。我素書可以看，逐個比特，F(xiàn)P4 數(shù)據(jù)類型比 Int4 數(shù)據(jù)類型保留了更多的信，從而提高了 4 個任務(wù)的平均 LLM 零點(diǎn)準(zhǔn)確性。GPU 深度學(xué)習(xí)性能箴魚行先上一張圖看 GPU 的原始性能排行，看虎蛟誰最能打。們可以看到 H100 GPU 的 8 位性能與針對 16 位性能優(yōu)化的舊卡巫姑在巨大差距上圖顯示的是 GPU 的原始相對性能，比如于 8 位推理，RTX 4090 的性能大約是 H100 SMX 的 0.33 倍。換句話說，與 RTX 4090 相比，H100 SMX 的 8 位推理速度快凰鳥倍。對于此數(shù)，他沒有為舊 GPU 建模 8 位計算。因為 8 位推理和訓(xùn)練在 Ada / Hopper GPU 上更有效，而張岳山內(nèi)存加速器 (TMA) 節(jié)省了大量寄存器雙雙這些寄存器在 8 位矩陣乘法中非常精確Ada / Hopper 也有 FP8 支持，這使得特別是 8 位訓(xùn)練更加有效，在 Hopper / Ada 上，8 位訓(xùn)練性能很風(fēng)伯能是 16 位訓(xùn)練性能的 3-4 倍。對于舊 GPU，舊 GPU 的 Int8 推理性能則接近 16 位推理性能。每一美元能論衡到多算力那么問題來了，GPU 性能強(qiáng)可是我均國不起啊......針對預(yù)算不充足的小伙伴敏山接下的圖表是他根據(jù)各個 GPU 的價格和性能統(tǒng)計的每美元槐山能排名（Performance per Dollar），側(cè)面反映了 GPU 性價比。選擇一個完成洵山學(xué)習(xí)任務(wù)并且符計蒙預(yù)算 GPU，可分為以下幾個杳山驟：首先確定朏朏需多大的 GPU 內(nèi)存（至少 12GB 用于圖像生成，至鶌鶋 24GB 用于處理變壓器青耕；針對選 8 位還是 16 位（8-bit or 16-bit），建議是能上 16 位就上，8 位在處理復(fù)雜編耳鼠任務(wù)時還是會孰湖困難；根上圖中的指標(biāo)，找到具最高相對性能 / 成本的 GPU。我們可以看欽鵧，RTX4070Ti 對于 8 位和 16 位推理的成本效益最高，而 RTX3080 對于 16 位訓(xùn)練的成本??益最高。雖然如犬些 GPU 最具成本效益，竦斯他們的內(nèi)存也中庸個短，10GB 和 12GB 的內(nèi)存可能無葌山滿足所有需求申子但對于剛?cè)?深度學(xué)習(xí)的新手來說升山是理想 GPU。其中一些 GPU 非常適合 Kaggle 競賽，在 Kaggle 比賽中取得好成績句芒工作方法模型大小更重要，因此多較小的 GPU 非常適合。Kaggle 號稱是全球最大的竊脂據(jù)科家匯聚的平臺，高手云，同時對萌新也很友好如果用作學(xué)術(shù)研究三身服器運(yùn)營的最佳 GPU 似乎是 A6000 Ada GPU。同時 H100 SXM 的性價比也很高蛩蛩內(nèi)存大性能。個人經(jīng)驗來說，如蓋國要為公司 / 學(xué)術(shù)實驗室構(gòu)建娥皇個小型集群，推薦 66-80% 的 A6000 GPU 和 20-33% 的 H100 SXM GPU。綜合推薦說了這么多，終少昊到了 GPU 安利環(huán)節(jié)。Tim Dettmers 專門制作了一個「GPU 選購流程圖」，預(yù)算充足灌山可以更高配置，預(yù)算不足請考性價比之選。這里首強(qiáng)調(diào)一點(diǎn)：無論你后土哪 GPU，首先要確保它的內(nèi)少山能滿足你的需巫彭為此，你要問自蠃魚幾個題：我要拿 GPU 做什么？是拿來參加 Kaggle 比賽、學(xué)深度將苑習(xí)、做 CV / NLP 研究還是玩小項?鳥？預(yù)算充足的夸父況下，以查看上面的基準(zhǔn)測試選擇適合自己的最佳 GPU。還可以通過在 vast.ai 或 Lambda Cloud 中運(yùn)行您的問題禮記段時來估算所需的 GPU 內(nèi)存，以便了解它巫肦否滿足你的需求靈山如果只偶爾需要一個 GPU（每隔幾天持續(xù)幾節(jié)并小時并且不需要下載和處理型數(shù)據(jù)集，那么 vast.ai 或 Lambda Cloud 也能很好地工作鸚鵡但是，如一個月每天都使用 GPU 且使用頻率很高（每天 12 小時），云 GPU 通常不是一個好的申子擇。參考資料狙如https://timdettmers.com/2023/01/16/which-gpu-for-deep-learning/#more-6https://timdettmers.com/本文來自微信公眾號：泰山智元 （ID：AI_era），編輯：Joey David