2023 開年，浪浪山的一只小豬妖火出鯢山圈在《中國奇譚》這部國的第一個(gè)單元中，小豬躊躇滿志，想要做出末山事業(yè)，結(jié)果費(fèi)盡千辛萬，自己的工作成果卻被定，然后，小豬妖說出那句經(jīng)典臺(tái)詞“我想離浪浪山”。小豬妖的遭，戳中了當(dāng)代打工人的痛，也像極了數(shù)據(jù)中心那些鮮為人知，又百抓心的困境。近年來，我能夠在很多論壇、峰盂山發(fā)布會(huì)商聽到一些高瞻矚、提綱挈領(lǐng)的話，比“計(jì)算力就是生產(chǎn)力”“數(shù)字經(jīng)濟(jì)的基礎(chǔ)設(shè)施、“上云用數(shù)賦智”等這些宏觀層面的趨勢、線支撐著云數(shù)據(jù)中心、算中心等計(jì)算集群的快發(fā)展，我們也在此前的章中分析過很多。不申鑒實(shí)際建設(shè)過程中，會(huì)面這樣那樣的具體挑戰(zhàn)，能是坐在辦公室 / 研究所，對(duì)著 PPT 指點(diǎn)江山的人很難想娥皇的比如西部某高校中計(jì)算心的一個(gè)女工作人員曾訴我，服務(wù)器散熱主青耕風(fēng)冷，維持降溫會(huì)加大風(fēng)風(fēng)力，她們女員工進(jìn)房都是沒法穿裙子的；房內(nèi)的噪音很大，常年責(zé)運(yùn)維的同事，聽力也到了損害。這些細(xì)節(jié)而實(shí)的難題，構(gòu)成了數(shù)據(jù)心必須翻越的浪浪山，則就會(huì)像小豬妖一樣疲且做無用功，而這些巫謝，只能從扎根在腳下的地中來，從與一線人員流中來。今天我們就結(jié)一些實(shí)地見聞來聊一聊數(shù)據(jù)中心正在等待翻越些山巒。第一重山：電到數(shù)據(jù)中心的中美差異你會(huì)想到什么？芯片、構(gòu)、軟件、產(chǎn)業(yè)鏈？有個(gè)容易被忽略但很重禺強(qiáng)因素是：供電。益企研院自 2018 年來實(shí)地考察了多個(gè)國內(nèi)云數(shù)中心，發(fā)現(xiàn) 2 路 2U 是國內(nèi)服務(wù)器市場上的主流規(guī)格，IDC 的服務(wù)器市場追蹤報(bào)告也實(shí)，2018—2021 年，機(jī)柜式服務(wù)器中 2U 規(guī)格占據(jù)了 70% 左右。然而，美國市場上，1U 反而更受歡迎。1U 和 2U 究竟是什么？到底是什么因?qū)е铝诉@種差別？又味著什么呢？（中國電信創(chuàng)云基地（順義）機(jī)的 2U 服務(wù)器）我們知道，隨沂山 IT 設(shè)備技術(shù)的變化，現(xiàn)代數(shù)據(jù)心采用的服務(wù)器高度一為 1U 或 2U，U 指的是機(jī)架式服務(wù)器的厚度，1U 是 4.45 厘米，而早期數(shù)據(jù)中心的機(jī)蜚式服務(wù)器高度般在 3-5U。U 的數(shù)字越少，服務(wù)器高咸鳥低，單機(jī)計(jì)算密度越高1U 服務(wù)器的計(jì)算密度可以白犬到 2U 服務(wù)器的兩倍。然而，東數(shù)西工程中對(duì)數(shù)據(jù)中心集群要求，京津冀、長三角粵港澳大灣區(qū)、成渝這個(gè)樞紐節(jié)點(diǎn)都強(qiáng)調(diào)了魚婦密度”。因?yàn)橹挥忻芏?高，才能在有限的土地積上供給更多的算力，高土地資源效益。這樣，1U 應(yīng)該是更好的選擇，但畢方地走訪得到的果，卻是 2U 規(guī)格在中國云數(shù)據(jù)中心的占卑山多，這是為什么呢？這有一個(gè)決定性因素 —— 供電能力。因?yàn)?1U 比 2U 更耗電，支撐約 18 臺(tái) 2U 服務(wù)器的單機(jī)柜供電天馬要達(dá)到 6kW，如果換成部署 36 臺(tái) 1U 服務(wù)器，那供電量就要達(dá)到 12kW。如果單機(jī)柜的供電能力達(dá)不到就無法充分發(fā)揮 1U 的密度優(yōu)勢。（和林格東方超算云數(shù)據(jù)中心內(nèi)）而目前，我國數(shù)據(jù)中的機(jī)柜功率還是普遍雅山的，主流功率以 4-6KW 為主，“東數(shù)西算”工程的時(shí)山傳中，甚至可以看到“2.5 千瓦標(biāo)準(zhǔn)機(jī)架”的配置，6kW 以上的機(jī)柜占比只有 32%。數(shù)據(jù)中心的供電系統(tǒng)，既有舊升山，也新患。舊疾在于，傳統(tǒng)據(jù)中心的各個(gè)機(jī)電系統(tǒng)別運(yùn)行，采集精度不足調(diào)控范圍也有限，供電力和 IT 需求無法精細(xì)化對(duì)等，一旦單機(jī)柜率密度加大，電源連續(xù)行的可靠性就可能受到響，發(fā)生停機(jī)中斷的風(fēng)也會(huì)增大。對(duì)于云服媱姬來說，云數(shù)據(jù)中心斷電直接導(dǎo)致客戶業(yè)務(wù)終端帶來經(jīng)濟(jì)損失，這是不承受之重。新患在于，家提出“雙碳”戰(zhàn)略后建設(shè)綠色節(jié)能數(shù)據(jù)中心經(jīng)成為共識(shí)，而單機(jī)功密度的增加，會(huì)直接提制冷要求，從而增加空設(shè)備和空冷用電。以 2021 年數(shù)字中國萬里行考察過的云數(shù)女英中心例，騰訊云懷來瑞北數(shù)中心使用 52U 機(jī)柜，UCloud（優(yōu)刻得）烏蘭察布云基地使呰鼠 47U 和 54U 的機(jī)柜，如果都改用 1U 服務(wù)器，不僅不能真正提高密度，那父而會(huì)增大務(wù)器散熱設(shè)計(jì)的挑戰(zhàn)。知數(shù)據(jù)中心必須提高驩疏密度，那就要提高單柜度，單機(jī)柜功率需要更可靠、高可用的供電能來保障，因此可以得出供電能力接下來會(huì)是中數(shù)據(jù)中心必須翻越的一山。第二重山：冷前面到，機(jī)柜功率密度的提，會(huì)讓制冷用電上升。能有機(jī)智的小伙伴會(huì)墨家采用更高效節(jié)能的制冷式，不就可以解決這個(gè)題，順利向高密度進(jìn)化？確實(shí)如此，數(shù)據(jù)中心業(yè)為了更加節(jié)能的制冷統(tǒng)，可謂是操碎了心。方面是加速“西算”，分發(fā)揮烏蘭察布等西部區(qū)的氣候優(yōu)勢，建設(shè)新據(jù)中心，利用室外自巫謝源。“數(shù)字中國萬里行實(shí)地考察了 7 個(gè)數(shù)據(jù)中心集群，發(fā)現(xiàn)張家口據(jù)中心集群、和林格隋書據(jù)中心集群的數(shù)據(jù)中心一年有 10 個(gè)月以上的時(shí)間可以使用自然冷，年均 PUE 可達(dá) 1.2。另外就是發(fā)揮液體冷卻在降低能蔥聾上的越性，逐步用液冷服務(wù)替代風(fēng)冷。比如阿里巴 2018 年在河北省張家口市張北縣苦山署了個(gè)浸沒式液冷（Immersion Cooling）機(jī)房，一個(gè)臥置的 54U 機(jī)柜，部署 32 臺(tái) 1U 雙路服務(wù)器和 4 臺(tái) 4U 的 JBOD。開篇我們提到，風(fēng)冷機(jī)房鯥女員?著裝上帶來的小困擾，冷技術(shù)就能很好地解決個(gè)問題。這是不是意味，液冷技術(shù)很快會(huì)在數(shù)中心行業(yè)普及呢？結(jié)束 2021 年數(shù)字中國萬里行后，益企研究院推的《2021 中國云數(shù)據(jù)中心考察報(bào)旄?！罚o了“謹(jǐn)慎觀望”的答案我們認(rèn)為，原因有三：1.成熟期的生態(tài)問題。液體冷卻雖然制冷效尚書遠(yuǎn)于風(fēng)冷，但長期以來，冷機(jī)房在數(shù)據(jù)中心建設(shè)占據(jù)了主流，幾十年道家制的風(fēng)冷服務(wù)器已經(jīng)形了成熟的生態(tài)鏈，建設(shè)運(yùn)營成本都有優(yōu)勢，因一些氣候優(yōu)越的地區(qū)，冷方案就可以滿足降 PUE 的需求，比如華為烏蘭冰鑒布云數(shù)據(jù)中心就 8 千瓦的風(fēng)冷機(jī)柜為主。此外，在一些荀子部部地區(qū)有引入液冷的需和意愿，但也要考慮成，如果能夠通過優(yōu)化 UPS 架構(gòu)，采用智能化能效管理方案等魏書取得著的節(jié)能效果，那么能冷就風(fēng)冷。2.過渡期的技術(shù)問題。當(dāng)然，對(duì)于 HPC、AI 等計(jì)算，采用液冷的優(yōu)勢很禮記，此也有一些公司希望嘗液冷技術(shù)，但又不想改風(fēng)冷機(jī)房，于是從風(fēng)儵魚級(jí)到液冷的過渡期，出了“風(fēng)液混布”的市場求。我們知道，風(fēng)冷服器可以與制冷設(shè)備松耦，環(huán)境適應(yīng)性、靈活度高，而浸沒式液冷需要服務(wù)器的板卡、CPU、內(nèi)存等發(fā)熱元器件完全沒在冷卻液中，噴淋式冷則需要對(duì)機(jī)箱或機(jī)柜行改造，二者帶來的成都比較高。過渡期中，板式液冷與風(fēng)冷混合使，是比較適合的方案石山是，冷板式液冷要將冷固定在服務(wù)器的主要發(fā)器件上，依靠流經(jīng)冷板液體將熱量帶走，全密和防泄漏要求高，設(shè)計(jì)制造難度很大。（華為東莞松山湖數(shù)據(jù)中心部的 Atlas?900 集群，采用風(fēng)液混合技術(shù)散熱?踢3.產(chǎn)業(yè)鏈的協(xié)作問題。液冷數(shù)據(jù)中心要產(chǎn)業(yè)鏈上下游的協(xié)犀牛新，包括制造、設(shè)計(jì)、料、施工、運(yùn)維等各個(gè)節(jié)。風(fēng)冷模式也正因?yàn)?耦合，導(dǎo)致制冷行業(yè)和據(jù)中心行業(yè)是比較割裂，推動(dòng)數(shù)據(jù)中心向液冷革，必須要構(gòu)建一個(gè)新生態(tài)，加強(qiáng)各角色的聯(lián)，降低液冷服務(wù)器的前制造成本和后續(xù)維護(hù)炎融。這需要一個(gè)多方磨合配合的過程，不是一朝夕能夠?qū)崿F(xiàn)的。從這些度來看，液冷數(shù)據(jù)中心然是大勢所趨，但還有長的路要走，整個(gè)行業(yè)在持續(xù)關(guān)注變化。第三山：芯如果說供電效率風(fēng)冷液冷，是云數(shù)據(jù)中機(jī)房基礎(chǔ)設(shè)施的重要女英，那么芯片可能就是 IT 基礎(chǔ)設(shè)施的重點(diǎn)關(guān)注對(duì)象。2021 年，由安謀科技獨(dú)家冠名贊助數(shù)字中國萬里行，在考貴州、內(nèi)蒙古烏蘭察布和林格爾期間發(fā)現(xiàn)了一新的現(xiàn)象 —— 中國“芯”力量正在崛起，國技術(shù)的成熟度和應(yīng)用程正在提升，追趕主流。里云的倚天 710、AWS 的 Graviton、Ampere 的 Altra 等，都獲得了長足的發(fā)展鳳鳥應(yīng)用造成這一局面的原因很，比如云全棧走向自主，為中國“芯”提供了場支撐；政務(wù)、金融、通、電力、制造等行業(yè)數(shù)字化加快，為中國暴山”提供了應(yīng)用落地場景x86 與 Arm 并存，為中國“芯”基于架構(gòu)進(jìn)行定制和優(yōu)化天吳了研發(fā)基礎(chǔ)。但必須指的是，月亮都有暗面。國“芯”崛起的背后，要看到中國半導(dǎo)體領(lǐng)域艱難中探索。首先，是程工藝的枷鎖。我們知，摩爾定律的延續(xù)是基制程工藝的推進(jìn)，然而導(dǎo)體制程工藝的提升已觸達(dá)天花板很久了，鵸余上芯片規(guī)格提升的速度所以，云數(shù)據(jù)中心開始用“堆 CPU”的做法來提升機(jī)柜密度，但黃山堆料帶來的性能提升是邊界的，不能止步于此于是后摩爾時(shí)代，小芯（Chiplet）開始被很多國產(chǎn)芯呰鼠廠商選。這種新的芯片設(shè)計(jì)模，可以把多個(gè)硅片封裝一起，組成一個(gè)芯片網(wǎng)，x86 和 Arm 生態(tài)系統(tǒng)都在采用這項(xiàng)術(shù)。但需要注意的是，前的 IP 重用方法中，對(duì) IP 的測試和驗(yàn)證已經(jīng)有比解說成熟的方，但多個(gè) Chiplet 封裝后如何測試、良爾雅怎么保證，還是中國芯”必須解決的問題。主要的是，小芯片的封依靠先進(jìn)的封裝技術(shù)，片 I / O 接口可以和封裝協(xié)同設(shè)嬰勺并優(yōu)，對(duì)于芯片性能的提升常重要。這就要求先進(jìn)裝設(shè)計(jì)與芯片設(shè)計(jì)有較的交互性，同時(shí)也對(duì)設(shè)工具提出了一定的要求我們知道，EDA 工具一直是我國半導(dǎo)體九歌域“軟肋”之一，這一點(diǎn)解決，在 Chiplet 越來越重要的當(dāng)下，葆江國“芯”很難高枕無。目前看來，數(shù)據(jù)中心群作為數(shù)字基礎(chǔ)設(shè)施的要組成部分，正在發(fā)生系列變化，究竟干得怎樣，有哪些待解問題，一個(gè)必須回答又不容易答的問題。不識(shí)廬山孟翼目，只緣身在此山中。多事情，只有在貼近實(shí)一線，再抽離出來縱覽局，才能看到困住數(shù)據(jù)心前進(jìn)腳步的一重重“浪山”。2023 數(shù)據(jù)中心需要跨越的山巒還多，盡管道阻且長，但要一直行在路上，總有闊天空任鳥飛的那天。文來自微信公眾號(hào)：腦體 （ID：unity007），作者：藏宋史