Eriaruanne vedelikjahutuse kohta andmekeskuste tööstuses

 

--Singulaarsus on saabunud keset tehisintellekti lainet, kodumaised ja rahvusvahelised liidrid hakkavad purskama

 

I Kasvav kiibi võimsustarve: vedelikjahutus muutub hädavajalikuks

 

1. Vedeljahutus tagab suure võimsusega komponentide normaalse töö

Rohkem kui pooled elektroonikakomponentide tõrgetest on tingitud ülemäärasest temperatuurist, kusjuures temperatuur moodustab 55% riketest. Vastavalt "10-kraadireeglile" kahekordistab iga 10 kraadine temperatuuri tõus toatemperatuurist rikete määra ja lühendab eluiga. GPU tõrgete määr suureneb, mõjutades serveri eluiga. Üksikute kiipide energiatarve kasvab kiiresti, mis toob kaasa suurema soojuse tootmise. Peavoolu protsessorikiipide, nagu CPU-de, võimsus on umbes 200 W, uusimate protsessorite võimsus ületab 350 W ja GPU-de võimsus ületab 1000 W. Õhkjahutusest ei piisa enam suure soojustihedusega elektroonikakomponentide jahutamiseks, samas kui vedelikjahutus pakub palju suuremat soojusvahetuse efektiivsust. Vedelike mahuline soojusmahtuvus on 1000-3500 korda suurem kui õhul ja nende soojusjuhtivus on 20-30 korda suurem, mis annab vedelikjahutusele palju parema jahutusvõime samas ruumis.

 

Vedeljahutus neelab tõhusalt komponentide tekitatud soojuse, pakkudes soojust tekitavatele elementidele täpset jahutust ja hoides CPU tuuma temperatuuri alla 65 kraadi (umbes 25 kraadi madalam kui õhkjahutus). Samuti hoiab see ära olulised temperatuurikõikumised äkiliste kõrgsagedustööde ajal, tagades süsteemi ohutuse ja töökindluse. Vedeljahutus võimaldab isegi kiipidel kiirendada, parandades kiibi jõudlust umbes 10%-30%.

 

▲ Elektroonikakomponentide rikked

 

2. Kodused ja rahvusvahelised kiipjahutuse tehnoloogiad lähevad järk-järgult üle vedelikjahutusele

Vedeljahutus võib maksimeerida kiibi potentsiaali. Näiteks võrdse jõudlusega serverites ületab vedelikjahutusega versioon õhkjahutusega versiooni umbes 10%. GB200 võtab kasutusele uue, tõhusa vedelikjahutusega korpuse arhitektuuri ja NVIDIA tulevased tooted võivad täielikult üle minna õhkjahutiselt vedelikjahutusele. Lisaks NVIDIA-le on ka kodumaiste kiipide, nagu Huawei Ascend, vedelikjahutuse kasutamine oluliselt suurenenud.

 

NVIDIA GB200 NVL72 on mitme sõlmega vedelikjahutusega rack-taseme laiendussüsteem, mis ühendab endas 36 Grace Blackwelli superkiipi, sealhulgas 72 Blackwelli GPU-d ja 36 Grace CPU-d, mis on ühendatud viienda põlvkonna NVLinki kaudu. GB200 NVL72-s kasutatav vedelikjahutustehnoloogia mitte ainult ei paranda arvutustihedust ja vähendab jalajälge, vaid vähendab märkimisväärselt ka süsinikdioksiidi heitkoguseid ja energiatarbimist tänu suure ribalaiusega ja madala latentsusajaga GPU-suhtlusele. Võrreldes traditsiooniliste õhkjahutusega NVIDIA H100 infrastruktuuridega, tagab GB200 25-kordse jõudluse sama energiatarbimise juures, vähendades samal ajal veetarbimist. TrendForce'i andmetel võib esialgne GB200 NVL36 arhitektuur sisaldada nii õhk- kui ka vedelikjahutuslahendusi, kuid kõrgemate jahutusnõuete tõttu eelistab NVL72 vedelikjahutust. GB200 kappisüsteemi vedelikjahutuse tarneahel on jagatud viieks põhikomponendiks: külmplaadid, jahutusvedeliku jaotusseadmed (CDU), kollektorid, kiirlahutajad (QD) ja tagaukse soojusvahetid (RDHx). Võtmesüsteem CDU reguleerib jahutusvedeliku voolu kogu süsteemis, et tagada kapi temperatuuri reguleerimine eelseadistatud TDP vahemikus. NVIDIA AI lahenduste puhul on Vertiv peamine CDU tarnija, samas kui Chicony, Auras, Delta ja CoolIT jätkavad katsetamist ja valideerimist.

 

▲ Vedeljahutus

 

3. Tootjad konkureerivad vedelikjahutusega serverites; Saadetise mahud kasvavad kiiresti

IDC andmetel on Hiina vedelikjahutustööstus alles algusjärgus, kuid riik on juba kaotanud tehnoloogilise lõhe välismaiste kolleegidega. Tegelikult on Hiina asjakohane tööstuskett suuremahuliste kommertsrakenduste valdkonnas esirinnas. 2023. aastal ulatus Hiina vedelikjahutusega serverite turu maht 1,42 miljardi dollarini, kasvades aastaga 48%, tarnetega 161000 ühikuni, mis tähendab 57,3% kasvu. IDC prognoosib Hiina vedelikjahutusega serverite turu aastaseks liitkasvumääraks (CAGR) 45,8% aastatel 2023–2028, kusjuures 2028. aastaks peaks turg ulatuma 10,2 miljardi dollarini.

Peamised serveritootjad laienevad vedelikjahutuse turul agressiivselt. Turuosa poolest olid Inspur, HyperFusion ja NingChang 2023. aastal kolm parimat müüjat, omades ühiselt üle 70% turust.

 

Kuigi turg on suhteliselt kontsentreeritud, vähendavad kiire kasv ja mitmekesine tööstuse nõudlus järk-järgult turuosa erinevusi peamiste tarnijate vahel. Inspur jätkab oma "All in Liquid Cooling" strateegia elluviimist, mille eesmärk on saavutada õhu- ja vedelikjahutuse hinnapariteet. Selle vedelikjahutusega serverid teenindavad kliente sellistes tööstusharudes nagu Internet, rahandus, teenused, tootmine ja kommunaalteenused. Ettevõte on edukalt juurutanud vedelikjahutusega servereid mastaapselt juhtivates Interneti-ettevõtetes ning finants-, haridus- ja teadussektoris, luues uue ülemaailmse võrdlusaluse esimese ventilaatorita täiskülmplaadi serveriga.

 

▲ Vedelikjahutusega serveritootjate turuosa

 

IDC andmetel jäi Interneti-tööstus 2023. aastal Hiina suurimaks vedelikjahutusega serverite ostjaks, moodustades 46,3% turust, eeldades, et nõudlus jätkub. Lisaks kogevad telekommunikatsioonioperaatorid ja valitsusega seotud kasutajad kiiresti nõudlust vedelikjahutusega andmekeskuste järele. Teised tööstusharud, nagu rahandus, teenused, tootmine ja kommunaalteenused, uurivad aktiivselt sobivaid vedelikjahutuslahendusi.

 

 

II Vedeljahutus suurendab temperatuuri reguleerimise väärtust, tööstuse pöördepunkt on silme ees

 

1. Vedeliku jahutuse läbitungimine suureneb serveri võimsuse ja süsinikuneutraalsuse eesmärkidega

Andmekeskused on peamised elektritarbijad, moodustades umbes 2%-3% riigi elektritarbimisest. Andmekeskuste energiatarbimise eeskirjad on järjest rangemad. 2021. aastal jõudis Hiina andmekeskuste elektritarbimine 216,6 miljardi kWh-ni, mis moodustab 2,6% kogu riigi elektritarbimisest, kusjuures süsinikdioksiidi heitkogused on 135 miljonit tonni ehk 1,14% riigi koguheitest. Kahe süsinikueesmärgiga seisavad andmekeskused silmitsi enneolematute energiatarbimise ja jahutusprobleemidega. Pärast ehitamist moodustavad elektrikulud 60%{11}}% traditsiooniliste õhkjahutusega andmekeskuste kogu kasutus- ja hoolduskuludest.

 

PUE (Power Usage Effectiveness) on näitaja, mida kasutatakse andmekeskuste energiatõhususe hindamiseks, mis on andmekeskuse kogutarbimise ja IT-seadmete tarbitud energia suhe. Kui enne 2013. aastat ületas Hiina suurte andmekeskuste keskmine PUE 1,7, siis 2019. aasta lõpuks oli see langenud 1,46-ni. "Uute andmekeskuste arendamise kolmeaastase tegevuskava (2021-2023)" eesmärk on vähendada uute suuremahuliste andmekeskuste PUE 2023. aasta lõpuks alla 1,3 ning külmade ja raskete tingimuste korral on eesmärk alla 1,25. külmad piirkonnad. Eeskirjad „Eastern Data, Western Computing” näevad ette, et Sise-Mongoolia, Gansu, Ningxia ja Guizhou sõlmed vähendavad PUE-d alla 1,2.

 

Andmekeskuste kliimaseadmete energiatarve on võtmetähtsusega PUE vähendamisel mõistlikule tasemele. Kui kliimaseadme energiatarbimine moodustab hinnanguliselt 38%, 26% ja 17,5% kogu energiatarbimisest, on vastavad PUE väärtused vastavalt 1,92, 1,5 ja 1,3.

 

Intelligentsete arvutiserverite võimsustihedus on märkimisväärselt suurenenud, saavutades taseme, mida õhkjahutussüsteemid ei suuda toetada. Varem olid õhkjahutussüsteemid kohandatud suurema soojustihedusega, viies jahutusallika soojusallikale lähemale või sulgedes külmad ja kuumad vahekäigud, mis töötasid alla 12 kW jahutust vajavate kappide puhul. Kuna aga racki tihedus ületab 20 kW, muutuvad need meetodid vähem tõhusaks. Vertiv usub, et ülikõrge tihedusega riiulitega (30 kW või rohkem) rajatiste kasutuselevõtt ei jäta muud valikut, kui kasutada vedelikjahutust. Olenemata sellest, kuidas süsteem on konfigureeritud või optimeeritud, ei suuda õhkjahutus tagada IT-süsteemide töökindluse säilitamiseks vajalikku jahutusvõimsust.

 

Seetõttu on andmekeskuse PUE vähendamiseks ja suure võimsusega kappide jahutusvajaduste rahuldamiseks jahutustehnoloogiad arenenud järgmiselt.

 

• 1. faas (1998-2004):Peamiselt kasutatakse otsepaisutavaid õhkjahutusega süsteeme, sealhulgas kompressorid, aurustid, paisuventiilid ja kondensaatorid, kusjuures külmutusagensid on tavaliselt freoon.
• 2. faas (2005-2009):Peamiselt kasutatavad vesijahutusega süsteemid, sealhulgas jahutid, jahutustornid, veepumbad ja jahutatud vee terminalid.
• 3. faas (2010-2023):Kasutatud aurustav jahutustehnoloogia, mis toodab kuiva õhku kasutades jahedat õhku või vett. See tehnoloogia võib vastavalt vajadustele pakkuda jahutusõhku või vett. Kuna see ei vaja traditsioonilisi kompressoreid, tarbib see vähem energiat ja seda kasutatakse andmekeskustes, mis nõuavad aastaringset jahutust. Kaudne aurustav jahutus, kõige tõhusam lahendus looduslike jahutusallikate kasutamiseks, võib vähendada jahutusenergia tarbimist 30% võrreldes traditsiooniliste jahutusveesüsteemidega.
• 4. faas (2024-praegu):Vedelikjahutustehnoloogia parandab oluliselt põhiseadmete soojuse hajutamist. See vastab paremini suure tihedusega riiulite ja laastude täpsetele jahutusvajadustele ning pakub selliseid eeliseid nagu väiksem energiatarbimine, suurem soojuse hajumine, madalam müratase ja madalam omamise kogukulu (TCO). Vedeljahutus tähendab vedeliku kasutamist jahutuskeskkonnana soojuse vahetamiseks serveris soojust tootvate komponentidega, kandes soojuse ära, et tagada serveri töö ohutus temperatuurivahemikus. See sobib stsenaariumide jaoks, mis nõuavad suuremat arvutusvõimsust, energiatõhusust ja kasutuselevõtu tihedust.

 

2. Külmplaadi vedelikjahutus on väga küps ja laialdaselt kasutatav

Sõltuvalt sellest, kuidas jahutuskeskkond serveriga kokku puutub, võib vedelikjahutuse liigitada kaudseks ja otseseks jahutuseks. Kaudne jahutus hõlmab peamiselt külmplaadi vedelikjahutust, mis jaguneb ühefaasiliseks ja kahefaasiliseks külmplaadi jahutamiseks vastavalt sellele, kas jahutuskeskkonnas toimub faasimuutus. Otsejahutus hõlmab sukel- ja pihustusjahutust, kus vedelik puutub otseselt kokku kiibi või riiuliga, ning jaguneb ühefaasiliseks ja kahefaasiliseks sukeljahutuseks vastavalt sellele, kas jahutuskeskkonnas toimub faasimuutus.

 

Külmplaat-vedelikjahutus on praegu andmekeskuste tööstuses kõige laialdasemalt kasutatav ja selle peamine rakendus vedelikjahutuse tööstuses on suure tihedusega andmetöötluse stsenaariumid. Külmplaadi vedelikjahutus tähendab külmaplaadi paigaldamist otse kiibile soojusvahetuseks, kusjuures pumbaga töötav vedelik ringleb soojuse eemaldamiseks läbi soojusvaheti. Külmplaadi vedelikjahutuse tööpõhimõte hõlmab mikrokanalite jahutusradiaatorite paigaldamist soojusallika peale, soojuse hajutamist läbi nende mikrokanalite voolava vedeliku ja seejärel selle ülekandmist soojusvahetisse, mis hajutab soojust edasi keskkonda.

 

Külmplaat-vedelikjahutus oma küpse tehnoloogia, kulude ja tööstabiilsuse eelistega on praegu andmekeskustes suure jõudlusega andmetöötluse ja tehisintellekti andmetöötluse peamine lahendus. Külmplaadi vedelikjahutuse tulemuseks on tavaliselt PUE 1,2 või alla selle, ulatudes mõnel juhul isegi 1,05-ni. Otsese vedelikjahutuse tehnoloogiad, nagu sukeljahutus, tagavad üldiselt parema jõudluse, kuid neid kasutatakse suuremate tehniliste riskide ja kulude tõttu vähem. Külmplaadi vedelikjahutusel on teiste vedelikjahutustehnoloogiate ees mitmeid eeliseid, sealhulgas lihtne paigaldamine, madal hind, mastaapsus, lihtne hooldus ja lühike ehitusaeg. Näiteks teeb Meixin ettepaneku, et külmplaadi vedelikjahutus võib vähendada arvutusvõimsuse energiatarbimist kuni 30%.

 

Praktikas kasutab 75% ülemaailmsetest andmekeskuste vedelikjahutussüsteemidest külmplaadi vedelikjahutustehnoloogiat ning külmplaadi vedelikjahutusest on saanud ka Hiina tehisintellektikeskuste peavoolulahendus. Eeldatakse, et külmplaadi vedelikjahutus jätkab oma kiiret kasvu. Hiina vedelikjahutusega serverite kasvutempo ületab järgmise viie aasta jooksul 50%, kusjuures turul domineerivad külmplaadi vedelikjahutussüsteemid.

 

3. Vedelikjahutus on tõhusam ja operaatorid propageerivad seda laialdaselt

Praegu on AI-arvutite andmekeskuste ehitamisest tingitud kappide soojustiheduse kiire kasv suurendanud nõudlust vedelikjahutusega lahenduste järele. Vedelikjahutusega serverite turuosa kasvab jätkuvalt, samas kui traditsiooniliste õhkjahutusega serverite osakaal väheneb kiiresti.

 

▲ Vedeljahutuse aastane tulu võrreldes õhkjahutusega

 

2022. aastal võeti ametlikult kasutusele viis Hiina Info- ja Kommunikatsioonitehnoloogia Akadeemia juhitud vedelikjahutustööstuse standardit. Kolm suuremat telekommunikatsioonioperaatorit kavatsevad 2024. aastal katsetada vedelikjahutustehnoloogiat 10% uutest andmekeskuste projektidest, kusjuures 2025. aastaks rakendab enam kui 50% andmekeskuste projektidest vedelikjahutustehnoloogiat. China Telecom on juba kavandanud ja ehitanud intelligentse arvutuskeskuste klastri aastal Shanghai, mis on võimeline toetama triljonite parameetritega suuremahulist mudelikoolitust. Kodumaiste arvutusvõimaluste toel töötav klastris on ühes kogumis 10,000 kaarti, mis teeb sellest esimese riigis toodetud suuremahulise vedelikjahutusega andmetöötlusklastri, mis toetab ühte 10,{{11} } kaarti.

 

Operaatorite tempo vedelikjahutuse edendamisel ületab turu ootusi, mis aitab optimeerida kulusid ja parandada standardeid. Andmekeskuse kapide konkurentsivõime suurendamiseks ja temperatuuri reguleerimisel energiatarbimise vähendamiseks võivad kolmandatest osapooltest andmekeskuste müüjad kiirendada vedelikjahutuse rakendamist, mis toob kaasa vedelikjahutusega andmekeskuste laiema piirkondliku leviku Hiinas. Kuna vedelikjahutuse andmekeskuse tehnoloogia küpseb ja kasutuselevõtukulud vähenevad, uurib rohkem IDC (Interneti andmekeskuse) teenusepakkujaid vedelikjahutuse kasutuselevõttu. Idas näevad kasutajad, kes on juba vedelikjahutusega andmekeskusi rakendanud, suurenenud nõudlust vedelikjahutuslahenduste järele, mis vastavad rangematele energiatarbimise nõuetele, laiendades veelgi vedelikjahutusega andmekeskuste arendamist kesk- ja läänepiirkondades.

 

4. Vedeljahutuse turu kiire kasv

Vedelikjahutuse tööstuse kett hõlmab tootekomponentide ülesvoolu tarnijaid, keskmise voolu vedelikjahutusserveri ja infrastruktuuri pakkujaid ning järgnevaid arvutusvõimsuse kasutajaid. Üleminekusse kuuluvad peamiselt tootekomponentide ja vedelikjahutusseadmete tarnijad, nagu külmplaadid, CDU-d (jahutusvedeliku jaotusseadmed), kiirühendused, solenoidventiilid, sukelvedeliku jahutuspaagid, kollektorid ja jahutusvedeliku tooted. Keskvoolu hulka kuuluvad vedelikjahutuse serverite tootjad, kiibitootjad, aga ka vedelikjahutuse integreerimise rajatised, moodulid ja kapid. Allavoolu hõlmab telekommunikatsioonioperaatoreid, Interneti-ettevõtteid ja kliente sellistes tööstusharudes nagu telekommunikatsioon, internet, valitsus, rahandus, transport ja energeetika.

 

Tööstusahela ülesvooluosas jaguneb külmaplaatide vedelikjahutussüsteemide soojusvahetus kaheks osaks: esmane soojusvahetussüsteem ja sekundaarne soojusvahetussüsteem. Sekundaarne süsteem hangib soojust soojusallikatest nagu serverid otsese/kaudse soojusvahetuse kaudu ja edastab selle primaarsüsteemi. Esmane soojusvahetussüsteem kasutab väljas olevaid jahutusseadmeid, et hajutada soojust väljas, viies lõpule üldise jahutusprotsessi. Need kaks süsteemi vahetavad soojust jahutusvedeliku jaotusseadme (CDU) kaudu.

 

Konkreetsete komponentide rikked: kiirlahutus on pistik-ja pistikupesa komponent, millel on vedeliku väljalülitamise funktsioonid nii pistikul kui ka pistikupesal, mis võimaldab vedelikjahutussüsteemide kiiret plug-and-play-hooldust. Kui pistik ja pistikupesa on ühendatud, voolab vedelik läbi, et varustada vedelikku külmaplaadiga; lahtiühendamisel vedelik seiskub, vältides süsteemist väljapoole lekkimist. Kollektor on seade, mis ühendab CDU külmplaadiga vedelikjahutusserverites, mis on tavaliselt paigaldatud kappi. Selle ülesandeks on jahutusvedeliku ühtlane jaotamine igale külmaplaadile ja kuumutatud jahutusvedeliku kogumine, saates selle ühendatud torustike kaudu tagasi CDU-sse.

 

Jahutusvedeliku jaotusseade (CDU) on moodul, mida kasutatakse soojuse vahetamiseks sekundaarsüsteemi kõrge temperatuuriga jahutusvedeliku ja esmase jahutusallika vahel. See tagab jahutusvedeliku jaotamise ning haldab vedelikjahutusega IT-seadmete temperatuuri, rõhu ja vooluhulga jälgimist. CDU koosneb peamiselt soojusvahetitest/kondensaatoritest, tsirkulatsioonipumpadest, filtritest, jahutusvedeliku mahutitest ja tarvikutest (ventiilid, torustikud, pistikud, andurid jne) ning sellel on sellised funktsioonid nagu soojusvahetus, tsirkulatsioon, jahutusvedeliku puhastamine ja ladustamine.

 

Aastatel 2020–2022 arenes vedelikjahutustehnoloogia kiiresti ja rakendusmudelite valideerimine saavutas märkimisväärset edu, mille tulemusel vähenesid ühikupõhised jahutuskulud. Vastavalt CCID Consultingi andmetele säilitas külmplaadi lähenemisviis üle 90% turuosa, samas kui sukeldus ja pihustusjahutus moodustasid koos umbes 10%. Pärast kolme meetodi kaalutud keskmist oli 1 kW jahutuskulu vedelikjahutusega andmekeskustes 2022. aastal ligikaudu 6500 RMB, kusjuures 2023. aastaks langeb see eeldatavalt 5,000 RMB-ni 1 kW kohta.

 

Hiljuti ennustas Supermicro tegevjuht Charles Liang, et järgmise 12 kuu jooksul kasutab 15% uutest ülemaailmsetest andmekeskustest selle otsejahutustehnoloogiat ning järgmisel aastal jõuab see osakaal 30%-ni, mis on märkimisväärne kasv vaid 1%-lt. viimase 30 aasta jooksul, luues järjekordse olulise hokikepi kasvukõvera. Võrreldes traditsioonilise õhkjahutusega on otsene vedelikjahutus säästlikum ja keskkonnasõbralikum. Eeldades, et Hiina uutes andmekeskustes saavutab vedelikjahutuse läbitungimismäär 2026. aastaks 22%, on vedelikjahutuse turupind 11,1 miljardit RMB.