De slimme CIO: Aflevering 2 – „Vloeistofkoeling: wanneer, waarom en welke?“

Zac Smith: Als je van plan bent om vóór 2030 computers op de markt te brengen, moet je je waarschijnlijk verdiepen in vloeistofkoeling en nagaan waar en hoe dit in je portfolio past. Kun je dit in je datacenters ondersteunen? Wat zijn daar onze beperkingen of mogelijkheden? Want ik denk dat je in 2028 of 2029 wakker zult worden en dat het er dan al is voordat je het weet.

Bradd Busick: U luistert naar „The Savvy CIO: Modernize Wisely” van Park Place Technologies. Ik ben uw presentator, Bradd Busick. Dit is een programma waarin we het hebben over budgettaire druk, de invoering van AI, beveiliging en de kunst om de boel draaiende te houden zonder alles in de soep te laten lopen, en over de mensen die deze problemen elke dag weer aanpakken.

De afgelopen 30 jaar was de belangrijkste regel in de omgang met datacenters heel eenvoudig: houd vloeistoffen uit de buurt van de hardware, punt uit. En de afgelopen drie decennia heeft die regel ook echt heel goed gewerkt. Luchtkoeling werd opgeschaald, racks bleven beheersbaar en niemand hoefde rubberen laarzen aan te trekken als er iets misging. Maar nu hebben we dat kleine dingetje dat AI heet. Het lijkt wel alsof bijna van de ene op de andere dag de voedingseenheid in één enkel rack een meltdown in het hele magazijn kan veroorzaken. Lucht kan de systemen niet snel genoeg koelen, en het warmtebeheer is bijna onmogelijk te beheersen. Dus nu overtreedt de sector de belangrijkste regel. We plaatsen vloeistoffen namelijk vlak naast de chip zelf. Zoals meestal het geval is bij nieuwe technologie, is er niet één juiste manier om het aan te pakken. Maar of je nu kiest voor dompelkoeling, directe chipkoeling, koeling via de achterkant, of op veilig speelt en bij traditionele luchtkoeling blijft, elke optie brengt zijn eigen afwegingen, hoofdbrekers en nieuwe vragen met zich mee. En om eerlijk te zijn: dit is geen probleem voor de komende vijf jaar, het is een probleem van dit moment.

Dus wat je bedrijf ook is, in welke sector je ook actief bent, in welke branche je ook geactiveerd bent, wat je volgende project of implementatie ook is: je moet hier nu al over gaan nadenken, en je moet weten wat vloeistofkoeling eigenlijk is, wat het niet is, en hoe je de slimste beslissing kunt nemen voordat die beslissing voor je wordt genomen. Zac Smith is precies de juiste man om dit gesprek aan te gaan. Hij heeft zijn carrière doorgebracht in de voorhoede van wat er gebeurt wanneer software-ambitie frontaal botst met fysieke infrastructuur. Hij was een pionier op het gebied van plugbare vloeistofkoeling als open standaard, en weet dat het minder gaat om het najagen van trends en meer om het oplossen van een echt, heet en duur probleem. Hij heeft een indrukwekkend technisch en muzikaal cv achter de rug dat hem heeft gebracht waar hij nu is: CEO en medeoprichter van Datum. Welkom bij The Savvy CIO, Zac.

Zac Smith: Bedankt dat je me hebt uitgenodigd, Bradd.

Bradd Busick: Het is fijn om hier bij jullie te zijn. Ik stel het op prijs dat jullie tijd voor me hebben vrijgemaakt. Kijk, je hebt dus een bochtig traject afgelegd dat ertoe heeft geleid dat je een expert op het gebied van vloeistofkoeling bent geworden. Kun je ons het verhaal vertellen dat ervoor heeft gezorgd dat je op dit punt in je carrière bent beland en hoe je op dit moment bent gekomen?

Zac Smith: Ja. Ik denk dat ik, net als de meeste mensen, in de jaren negentig niet naar school ben gegaan om een diploma in cloudcomputing in het datacenter te halen. Eerlijk gezegd was ik net als elk ander kind dat in de jaren tachtig opgroeide: ik was gek op videogames. Ik was er niet erg goed in, maar ik had wel een paar vrienden die er heel goed in waren, dus was ik meestal degene die zich met de hardware bezighield en de pc aanpaste, om uit te zoeken of we hem konden overklokken, dat soort dingen. Een aantal jaren later ging ik naar de muziekschool in New York City. En als 17-jarige die zijn studie zelf wilde bekostigen, begon ik als bijbaantje pc’s te repareren. Dat was dus mijn hele computeropleiding.

Maar kort nadat ik was afgestudeerd – dat was in 2001 – de dotcom-boom in volle gang was, en ik kwam als pas afgestudeerde met een diploma in klassieke contrabas in de arbeidsmarkt terecht en begon uiteindelijk mijn eigen bedrijf in webhosting voor muzikanten. Ik wilde ze online krijgen. En in die tijd ging je eigenlijk gewoon naar het plaatselijke datacenter, er waren veel inbel- en DSL-providers die misschien een paar racks of iets dergelijks hadden, en je zocht uit hoe je een machine kon lenen en wat 1U colo of een gedeelde ruimte of iets dergelijks kon regelen. En voor je het wist, hostte ik een Linux-server, en uiteindelijk ging ik een samenwerking aan met een vriend die veel meer wist van computers en Linux, en we bouwden een van de eerste op Linux gebaseerde cloudcomputingbedrijven op.

En op die weg moest je als het were het datacenter binnenkomen. Ik herinner me de allereerste nog goed: ik zat niet ver van een plek genaamd Telehouse, 25 Broadway in Lower Manhattan, waar we begonnen met het in racks plaatsen van enkele van de allereerste AMD Opteron-chips. En als je er bij was in de vroege jaren 2000, dan was dat de Porsche 911 onder de serverchips, omdat ze 64-bits introduceerden, je er meer geheugen in kon stoppen en ze nogal warm werden. En dat was mijn eerste ervaring met oververhitting in een datacenter, want in die tijd kocht je ruimte in het datacenter per rack, en ze hadden geen enkel idee van hoeveel stroom of koeling er nodig was. Je kreeg gewoon een rack en proptte er alles in wat je maar kon, en tjonge, wat hebben we er veel in gepropt. We zetten er, ik denk dat het 42 DL140 HP-servers met Opterons in waren, en we hebben de boel laat smelten.

Bradd Busick: Dat is ongelooflijk.

Zac Smith: En dat was mijn eerste ervaring met koeling.

Bradd Busick: Dat is ongelooflijk. Ik bedoel, ten eerste: wat een geweldige achtergrond, je kwam ongeveer tegelijkertijd met jou op de markt. Natalie, mag ik even terugblikken op mijn supervaardigheden die ik heb opgedaan met cheatcodes voor Mike Tyson’s Punch-Out 007-373-5963, waarmee je rechtstreeks bij Mike Tyson terechtkomt.

Zac Smith: Natuurlijk.

Bradd Busick: Maar, ik bedoel, je bent een klassiek geschoolde muzikant. Ik bedoel, wat een geweldige, prachtige geest, die waarschijnlijk een groot deel van het werk mogelijk maakt dat je vandaag de dag doet, in een domein dat zoveel mensen niet eens waarderen of waar ze zich niets van aantrekken, totdat het misgaat. En dan is het ineens: „Zac, wat moet ik doen?” Dus, nu we wat meer weten over je achtergrond, laten we het even op een rijtje zetten voor onze luisteraars. Waarom heeft iedereen het op dit moment over vloeistofkoeling, of waarom zou iedereen erover moeten praten?

Zac Smith: Wat we hebben is een enorm opgeschaalde computerwereld die, eerlijk gezegd, voor de meeste mensen gewoon heeft gewerkt, en dat is best verbazingwekkend, maar het heeft er wel toe geleid dat het voor veel mensen een abstract begrip is geworden. We hebben echt goede systeemintegrators gehad, we hebben geweldige datacenters gehad, en het tempo van verandering volgens de wet van Moore, waarbij de rekenkracht elke 18 maanden verdubbelt, en in de afgelopen vijf tot zeven jaar zijn we echt tegen de grenzen van de fysica aangelopen. We maken chips van drie nanometer, een fractie van een menselijke haar, en dat betekende dat we uiteindelijk meer vermogen door de chips moesten sturen, en vervolgens meer chips op de chip moesten plaatsen. Dus chiplet-ontwerp en gewoon meer schakelingen toevoegen. In het begin ging het om het verbeteren van de fysica om meer transistors te kunnen gebruiken. En daarna ging het om het toevoegen van meer lagen door ze op elkaar te stapelen. Dus we bleven deze ontwikkeling in de computerwereld gewoon uitbreiden, uitbreiden.

En toen kwamen de GPU’s, die in feite vectorverwerking met meerdere banen bieden, met duizenden chips op één kaart, waardoor dit tot in het oneindige werd doorgevoerd. Wat vroeger een klein apparaatje was dat je voor je videogame gebruikte, zit nu boordevol processors en geheugen. Omdat we dus meer geheugen op een kleiner oppervlak moesten krijgen en sneller moesten worden, voerden we meer stroom door die geheugenchips. En toen ging het door naar netwerkkaarten. En zo is elk onderdeel van onze fysica gewoon steeds meer stroom gaan verbruiken. En aangezien deze toepassingen rondom AI echt profijt hebben gehaald uit deze nieuwe versnellers, zijn we overgestapt op wat men, denk ik, de wet van Jensen noemt: wat kunnen we doen met de hoeveelheid vermogen die we hebben? Want dat is op dit moment min of meer de beperkende factor. Dus hoeveel intelligentie of hoeveel waarde kun je per watt genereren?

En dat doen we vooral door veel meer transistors en vermogen in te zetten. En in de wereld van datacenters, waar we voortbouwen op ontwerpen van 30 jaar geleden, hoe zorg je ervoor dat een gebouw 20 of 30 jaar meegaat, terwijl computers zich in een cyclus van één tot twee jaar met grote sprongen veranderen? Dit is gewoon een mismatch, en daarom is koeling in het algemeen, ik denk dat we het warmteafvoer kunnen noemen, een groot probleem is geworden in datacenters die eigenlijk niet zijn uitgerust voor de huidige machines die we er in proberen te plaatsen.

Bradd Busick: Dus Zac, ik bedoel, een van de vaardigheden die een slimme CIO van vandaag volgens mij moet hebben, is het vermogen om uiterst complexe concepten en taken uit te leggen aan bestuursleden die misschien geen idee hebben waar ze het over hebben, maar ook in staat zijn om met ingenieurs en partners te praten. En daarom ben ik dol op een aantal vaardigheden die met de LLM-modellen zijn ontstaan, waaronder ELI5. Leg het me uit alsof ik vijf ben. Als we dit voor onze gebruikers zouden moeten uitleggen, wat is dan precies vloeistofkoeling en wat is geen vloeistofkoeling?

Zac Smith: Ik gaf vroeger les op de plaatselijke openbare school over hoe het internet werkt, en de kinderen waren in het begin een beetje in de war omdat ze dachten dat het alleen maar wifi was, dat het hele internet in feite draadloos was. Ze begrepen het toen ze beseften dat vliegtuigen niet altijd wifi hebben, dus hadden ze het door. Maar als we het hebben over koeling en problemen met datacenters: je hebt wel eens op je laptop gezeten, je had je MacBook, die kan best goed omgaan met warmte, maar soms wordt hij wel heet. Je kijkt alle films en doet van alles, en dan wordt hij warm.

In de natuurkunde heb je het volgende probleem: telkens wanneer je iets gebruikt, veroorzaak je een andere reactie, en volgens mijn beperkte begrip leidt het gebruik van een elektron tot warmteontwikkeling. En dat is precies waar we in het datacenter mee te maken hebben: er komt zoveel stroom binnen in deze computers, en die gaan allemaal warmte produceren. Normaal gesproken zouden we een proces toepassen dat luchtkoeling heet, waarbij we met een ventilator koelere lucht rondblazen en proberen de warmere lucht naar buiten te duwen. Maar eerlijk gezegd is lucht een heel, heel slecht medium voor warmte-uitwisseling. En dus moesten we, omdat we zoveel warmte produceren, gaan onderzoeken hoe we die warmte konden opvangen. En het antwoord lijkt precies op je radiator, zoals in je auto.

En dus zijn we in feite gedwongen om op verschillende plaatsen radiatoren en warmtewisselaars te plaatsen. Er zijn allerlei manieren om dit aan te pakken. Je zou een radiator op het dak van het gebouw kunnen plaatsen om dat via je airconditioning op te lossen. Maar je kunt die steeds dichter bij je werklast brengen. En dat is dus min of meer hoe ik erover denk: gewoon deze warmtewisselaar nemen en deze naar verschillende delen van de IT-stack verplaatsen.

Bradd Busick: Dus, met dat mentale model in gedachten, zijn alle soorten vloeistofkoeling gelijk, of zijn er afwegingen?

Zac Smith: Ja. Ik denk dat er zoveel afwegingen zijn, en dat is waarschijnlijk de uitdaging waar de moderne CIO of infrastructuurgebruiker op dit moment mee te maken heeft, omdat je een heleboel keuzes moet maken en er geen perfecte oplossing is. Dus allereerst denk ik dat de overgrote meerderheid van de CIO’s te maken heeft met gemengde omgevingen. Ze hebben niet alleen maar schone ruimtes waar ze een miljard dollar kunnen uitgeven om de nieuwste generatie van alles op te bouwen, om dat dan over twee jaar weer op nieuw te doen. Ze hebben waarschijnlijk te maken met een hele reeks verschillende generaties apparatuur, budgetbeperkingen, bestaande faciliteiten en huurovereenkomsten waar je misschien rekening mee moet houden of die je moet aanpassen, of met co-locatiepartners waarmee je misschien samenwerkt en die hun eigen beperkingen hebben.

Je had het eerder over het eeuwenoude probleem dat je geen water in het datacenter mag brengen. Ik bedoel, er zijn heel veel colocatiefaciliteiten die nog steeds echt niet in staat zijn om na te denken over, nou ja, hoe ga ik dit binnenkrijgen? En zelfs als ze dat wel doen of openstaan voor vloeistofkoeling, ondersteunen ze misschien niet verschillende soorten. En dit heeft ook gevolgen op het gebied van regelgeving en regionale voorschriften, want bij sommige vloeistoffen – we zeggen ‘vloeistof’, we denken aan water, maar dat is niet altijd het geval. Misschien herinner je je het nog van je airconditioning: vroeger gebruikten we CFK’s, en die waren heel efficiënt, maar ze waren slecht voor het milieu. Vervolgens werden ze in bepaalde gebieden verboden, en nu hebben we andere soorten koelmiddelen die je kunt gebruiken, vergelijkbaar met wat er in je radiator zit.

Dat is hetzelfde probleem waar we in het datacenter mee te maken hebben: zijn deze op water gebaseerd? Zo ja, hoeveel water verbruiken ze dan? Zijn het gesloten kringlopen, waarbij ze in zeker zin dat zelfde water kunnen blijven gebruiken, of zijn het geen gesloten kringlopen en moet het water voortdurend verdampen? Misschien heb je eigenlijk te maken met een watertekort, en dat komt in een datacenter heel vaak voor. Of gaat het om een ander soort chemische stof, zoals glycol dat je in een industriële koelkringloop zou kunnen gebruiken, of misschien een ander soort koelmiddel? En dus, denk ik dat er veel keuzes zijn, en daarom vind ik het heel belangrijk om een partner te hebben of om je specifieke situatie te kunnen beoordelen, evenals wat je daar probeert te bereiken en de omgeving waarin je je bevindt.

Bradd Busick: Dat is een uitstekende samenvatting van alle verschillende keuzes die een CIO zou kunnen maken, of waarvan hij in sommige gevallen misschien niet eens beseft dat hij ze maakt.

Zac Smith: Alle problemen.

Bradd Busick: Ja.

Zac Smith: Alle uitdagingen.

Bradd Busick: Ja. Dat is ontzettend complex. Ik bedoel, hoe zou je als CIO eigenlijk kunnen weten welk type vloeistofkoeling je nodig hebt of wat voor jou de juiste keuze is? En welke zakelijke afwegingen maak je wanneer je probeert uit te zoeken welke aanpak het meest logisch is?

Zac Smith: Ik heb een tijdje bij een grote datacenterbeheerder gewerkt, en we werkten met een multi-tenant-model, dus we hadden te maken met een heleboel verschillende klanten, duizenden klanten, die allemaal verschillende behoeften en ontwerpen hadden. Ik denk dat je allereerst moet kijken naar het begrijpen van je workload, wat je probeert te bereiken, want wat een goed scenario zou kunnen zijn voor je AI-fabriek – die specifieke eisen van je leverancier zou kunnen hebben – kan behoorlijk verschillen van je algemene IT- of moderniseringsworkload. Ik denk dus niet dat je dit probleem kunt oplossen zonder na te denken over welke workload en welke technologiestack je vanuit hardware-oogpunt gaat implementeren.

En vervolgens zou ik kijken naar je faciliteiten. Als je op zoek bent naar een nieuwe faciliteit of zelf iets bouwt, heb je misschien wat andere opties en kun je je wat meer laten leiden door je eigen visie op de markt. Maar als je een bestaand datacenter hebt, kun je wel alle mogelijke interessante ideeën bedenken, maar je moet toch met je datacenterpartner gaan praten. En dat zou een van mijn eerste stappen zijn: zeggen: „Hé, welke opties ondersteun je op dit moment?” Ik zou vragen of je een gebouwlus kunt aanleggen, of ze je toestaan een CDU, een koeleenheid, in je rack of kooi te plaatsen. Dit zouden de eerste vragen zijn die ik zou stellen, want dat helpt je bij het overzicht van de opties: kijk ik naar een achterdeur? Kijk ik naar iets dat dicht bij de chips ligt met een CDU? Kijk ik naar volledig gesloten oplossingen of naar onderdompeling? Dat komt daar uiteindelijk op neer. En de geheime vraag die ik ook zou stellen voordat je je in de onderdompelingswereld stort, is gewoon: vloerbelasting.

Bradd Busick: Oké.

Zac Smith: Ik weet dat het klinkt als een saaie vraag, maar het aantal mensen dat zou vragen: „Hé, mag ik dit doen?” En dan zeggen we: „Nee, eigenlijk is het in Japan en daar kunnen ze die vloerbelasting per vierkante meter niet aan.” Breng jezelf dus niet in een situatie waarin je misschien apparatuur hebt ontworpen en aangeschaft die mogelijk erg duur is, terwijl je faciliteit die belasting niet aankan.

Bradd Busick: Dat is echt goed. Die overtuiging die we trouwens allemaal horen, komt van al die CIO’s die net van de weg zijn gereden, omdat ze nog nooit in hun datacenter zijn geweest. Dus ik vind die oproep geweldig: „Hé, kunnen we hier een leverancier inschakelen om te vragen: ‘Hebben we hier wel over nagedacht?’” En ik weet dat het in de gezondheidszorg net is alsof je naar je zorgverlener gaat en zegt: „Hé, ik heb gehoord over dit behandelplan of dit zorgtraject. Wat vind je ervan?” En dat dan daadwerkelijk aan de ordede brengen met je partner, die je daarbij zou moeten kunnen begeleiden. Dus ik vind deze opmerking geweldig.

Laten we het nu misschien eens wat verder uitdiepen. Ik denk dat de leugen die we onszelf altijd hebben wijsgemaakt, is dat vloeistofkoeling alleen bedoeld was voor hyperscalers en Bitcoin-miners. Bedoelde je op dit moment dat iedereen, ongeacht de sector of branche, vloeistofkoeling zou moeten overwegen als een mogelijkheid om zijn bedrijf te runnen, of is het op dit moment nog voorbehouden aan bepaalde niches?

Zac Smith: Ja. Het is best interessant, want als je kijkt naar de dynamiek van de sector en naar de processors en systemen die wereldwijd worden geproduceerd, dan vermoed ik dat 60% of 70% van alle computers ter wereld uiteindelijk bij een hyperscaler terechtkomt. En dus, of je nu ontwerpt voor dezelfde schaal als Amazon of Microsoft, het komt erop neer dat de toeleveringsketen zich richt op waar het volume zit.

Bradd Busick: Ja.

Zac Smith: En dat betekent dat hyperscalers overstappen op vloeistofgekoelde ontwerpen en architecturen met een hoge dichtheid, en dat betekent dat jullie ook die kant op zullen gaan.

Bradd Busick: Ja.

Zac Smith: Je voelt het misschien niet precies op dezelfde manier, maar ik denk niet dat je tegen de trend in kunt gaan, of dat je dat zou willen, omdat je in de meeste gevallen in het optimale deel van de toeleveringsketen wilt inkopen. Er zijn natuurlijk uitzonderingen. Dus ik denk dat, hoewel er altijd luchtgekoelde opties zullen blijven bestaan – en ik denk dat dat nog geruime tijd zo zal blijven – we waarschijnlijk geoptimaliseerde oplossingen zullen hebben die zijn ontworpen voor luchtkoeling, Ik denk dat vloeistofkoeling tot op zekere mate deel zal gaan uitmaken van de omgeving van de meeste mensen, zo niet van iedereen. En dat zal net zo gaan als hoe we allemaal overstappen op servers met een hoog aantal cores, omdat dat eerlijk gezegd de richting is waarin de toeleveringsketen de markt heeft gestuurd met de grote afnemers.

Bradd Busick: Er bestaan dus duidelijk heel wat verschillende meningen over vloeistofkoeling. Hier volgt een toelichting van Chris Carrero, Chief Technology Officer bij Park Place Technologies, over enkele uitdagingen waarmee datacenters te maken krijgen bij de implementatie van vloeistofkoeling.

Chris Carrero: Een van de punten is governance. Een groot deel van die governance ontbreekt nog in de vloeistofkoeling. Er is eigenlijk nog niet veel standaardisatie. Verschillende OEM’s hebben hun eigen producten en verschillende connectoren. Er zijn verschillende systemen die niet onderling compatibel zijn. Maar die standaardisatie moet er absoluut komen.

Er zijn heel wat verschillen tussen traditionele luchtkoeling en vloeistofkoeling; datacenters met luchtkoeling bestaan al 30 jaar en proberen de drie kasten van 10 kW draaiende te houden. Nu hebben we het over kasten van 50, 150 kW en 200 kW. En verderop in de toekomst kijken we naar racks van een half megawatt en één megawatt, met sommige van de dingen waar Nvidia het over heeft. Deze datacenters zijn daar niet voor gebouwd. Ik zou zeggen: de greenfield-ruimte, dus nieuwbouw en nieuwe ontwerpen, daar begint men de verschillende voorzieningen voor vloeistofkoeling te implementeren, terwijl de bestaande datacenters achterblijven en het ontbreken van de nodige onderdelen om deze datacenters op te bouwen is een soort uitdaging waar we op dit moment mee te maken hebben.

Bradd Busick: En dus, Zac, als dit op een gegeven moment voor ons allemaal in deze sector de norm gaat worden, of dat nu is of over drie jaar, hoe ziet die tijdlijn er dan voor jou uit waarin CIO’s dit daadwerkelijk zullen zien uitkomen voor hun transitie? Is het over drie jaar? Is het 2030? Is het volgende maand?

Zac Smith: Ja. Ik vermoed dat de meeste CIO’s in hun datacenter niet langer een vervangingscyclus van vijf tot zeven jaar voor hardware hanteren. Misschien is die cyclus bij hen iets korter dan dat-

Bradd Busick: Ja.

Zac Smith: … met enkele technologische veranderingen. Maar drie jaar is een lange tijd. En daarom denk ik dat als je van plan bent om vóór 2030 computers op de markt te brengen, je je waarschijnlijk moet verdiepen in vloeistofkoeling en moet nagaan waar en hoe dit in je portfolio past. Kun je dit in je datacenters ondersteunen? Hoe zouden we dit aanpakken? Wat zijn onze beperkingen of mogelijkheden op dat gebied? Want ik denk dat je in 2028 of 2029 ineens zult beseffen dat het er al is, voordat je het doorhebt. Dus ik zou het niet negeren. Ik zou alles goed op een rijtje zetten. Misschien kunnen jullie beginnen met een proef of een soort labsysteem om dat samen met een partner te begrijpen.

En begin dan er operationeel grip op te krijgen, want er vinden een heleboel operationele veranderingen plaats wanneer je vloeistof en deze met hoge dichtheid introduceert… Het is niet alleen vloeistof. Je hebt een enorme hoeveelheid rekenkracht, misschien wel een heel systeem. Als je bijvoorbeeld investeert in AI-infrastructuur, kijk je misschien naar de nieuwe Vera Rubins of je Grace Hopper. Deze servers kosten een paar honderdduizend dollar per stuk.

Bradd Busick: Ja. Ja.

Zac Smith: En je kunt daar niet zomaar naar binnen gaan om ze te repareren. Het kan zijn dat een aanzienlijk deel van je IT-infrastructuur buiten gebruik is omdat—

Bradd Busick: Dat klopt.

Zac Smith: … je had een probleem met de vloeistofkoelingskringloop en je hebt daar geen toezicht op gehouden, waarna het systeem van $300.000 doorbrandde en nu zit je zonder garantie.

Bradd Busick: Dat klopt precies.

Zac Smith: Zelfs als je hier een klein beetje mee aan de slag gaat – of het nu gaat om AI of high-performance – moet je gaan nadenken over het opzetten van voorlichtingscampagnes en het lanceren van proefballonnen.

Bradd Busick: Ik vind de educatieve invalshoek hier geweldig. Ik bedoel, er is een hele generatie IT-professionals waarmee we allebei hebben samengewerkt, wier hele carrière was opgebouwd rond luchtgekoelde architectuur, en we zijn gewend aan ventilatoren.

Zac Smith: Ja.

Bradd Busick: Of tijdens een storing dragen mensen een headset en bellen ze vanuit het datacenter om te proberen het systeem weer aan de praat te krijgen, maar ze moesten die headset wel dragen omdat het door de ventilatoren zo luid was.

Zac Smith: Zo luid.

Bradd Busick: Als we onze collega’s die hier meeluisteren door deze veranderingsfase heen moeten helpen, vertel dan eens iets over enkele van die waarschuwende voorbeelden die je hebt gehoord over de implementatie van vloeistofkoeling. Ik bedoel, het ziet er echt geweldig uit. Ik denk dat alle CIO’s die ik ken naar briefingcentra voor leidinggevenden gaan en we gaan naar vakbeurzen en ik praat met mijn partners, en vanuit het perspectief van de leverancier ziet het er geweldig uit, maar je hebt al een beetje gesproken over enkele van die operationele kopzorgen. Geef me eens wat aanwijzingen over waar je naar zou moeten vragen en waar je over na zou moeten denken als je een proefproject met die mogelijkheid wilt starten?

Zac Smith: Nou, ik denk dat we al heel lang hebben geprofiteerd van wat ik zou willen omschrijven als ofwel een zalige onwetendheid, ofwel een scheiding tussen onze hardwarepartner en onze datacenterpartner, waardoor we min of meer konden kopen wat we wilden en het over het algemeen konden plaatsen waar we maar wilden.

Bradd Busick: Ja.

Zac Smith: Oké. Misschien kost het wel iets meer omdat we wat meer power whips hebben. Maar die tijd is voorbij, en je kunt geen hardware ontwerpen en aanschaffen zonder overleg met je datacenter—

Bradd Busick: Dat klopt.

Zac Smith: … of een faciliteitenpartner erbij. En ik denk dat het niet alleen gaat om de vraag of het kan werken, maar ook om de vraag of we de juiste aansluitingen, beschikbaarheid, goedkeuring van de regelgevende instanties en zo hebben; er zijn een paar echte operationele zorgen die je volgens mij een beetje aan de ordedag moet brengen. Nummer één is gewoon observeerbaarheid. Beschik je over de systeemtools om deze extra mechanische infrastructuur te observeren en te monitoren? Dat kan een CDU zijn, dat kan een pomp zijn, dat kan de doorvoer of de temperatuur bij elke server zijn. Dus de statistieken – en ik heb dit gehoord van enkele van onze AI-partners met wie ik heb samengewerkt – die kunnen extreem zijn, waarbij je telemetrie verzamelt-

Bradd Busick: Ja.

Zac Smith: … van de infrastructuur voor vloeistofkoeling meer dan dat je het uit je serverinfrastructuur haalt, tot op zekere hoogte-

Bradd Busick: Ja.

Zac Smith: … want je beheert in feite een mechanische fabriek, of er is ergens iemand.

Bradd Busick: Ja.

Zac Smith: En dus denk ik dat dat een van de punten is: gewoon eens kijken naar je instrumentarium op het gebied van software en IT-beheer, en je afvragen of dat toereikend is of dat je verder moet investeren in de operationele hulpmiddelen die daarbij horen?

En dan is er nog een tweede: ik noem het graag het ‘2:00 uur ’s ochtends’-probleem. En het ‘2:00 uur ’s ochtends-probleem is dat je supercoole server, die productiewerkzaamheden uitvoert, alles loopt op rolletjes, en ik weet niet, er gaat iets kapot. Laten we gewoon zeggen dat het een harde schijf is. Je moet de harde schijf gaan vervangen. Normaal gesproken dien je een supportticket in, je datacenterpartner en je technische team ter plaatse gaan ermee aan de slag, vervangen de schijf, en klaar is Kees.

Bradd Busick: Juist.

Zac Smith: Maar wat als je een hele boel vloeistofleidingen hebt en je ze niet uit het rek kunt halen omdat je niet weet hoe je de vloeistofleiding moet openen? Wat gebeurt er als ik de stekker hiervan eruit trek?

Bradd Busick: Juist.

Zac Smith: Vroeger daalde de data gewoon, maar nu krijg ik te maken met een of ander raar koelmiddel en dat wordt mijn dood, of het gaat...

Bradd Busick: Ja.

Zac Smith: … het datacenter verpesten? Daar ga ik niet op in. En dus, dat is het andere punt waarover we het volgens mij echt moeten hebben: hé, de dag-twee-activiteiten, weten we wel hoe we dit gaan aanpakken? En zullen onze partners ter plaatse – of dat nu een leverancier is die we bellen, een remote-hands-team of ons eigen team – hiervoor worden opgeleid? Want ze zouden kunnen zeggen: „Ik durf hier niet aan. Ik weet niet wat rood en wat blauw is.”

Bradd Busick: 100%. Ja.

Zac Smith: „Moet ik die eruit halen?”

Bradd Busick: Ja.

Zac Smith: Dat is het probleem van 2:00 's ochtends.

Bradd Busick: Nou, het is me zeker niet ontgaan dat het onderwerp van vandaag draait om ‘cool blijven’, en ik denk dat alle luisteraars het ermee eens zullen zijn dat we vandaag een van de coolste figuren uit de branche bij ons hebben gehad. Zac, heel erg bedankt dat je bij ons bent in The Savvy CIO. We stellen je tijd zeer op prijs.

Zac Smith: Het is mij een genoegen.

Bradd Busick: Als we nadenken over deze enorm diverse omgeving, denk ik dat het heel duidelijk was dat de fysieke beperkingen niet langer het probleem vormden, en dat we snel de grenzen overschrijden van wat onze datacenters aankunnen. En daarom moet de moderne CIO vandaag de dag gaan nadenken over het idee dat hun AI-workloads ver boven wat normale koeling daadwerkelijk kan verwerken uitkomen, wat dan weer leidt tot heel interessante gesprekken met je leverancier. Hoe stel je de juiste vragen aan je leverancier, en wat zijn je nieuwe operationele eisen waar je leverancier misschien nog niet aan denkt? De nieuwe, moderne AI-infrastructuur vereist stroomvoorziening en koeling op een andere schaal en van een ander niveau, met een spreekpartner die je kan helpen bij het doorlopen van enkele van de vragen waarvan je, totdat je naar deze aflevering luisterde, misschien niet eens wist dat je ze moest stellen.

Dat was het voor vandaag. Hartelijk dank voor het luisteren. Volg ons zodat je geen aflevering hoeft te missen. Dit was The Savvy CIO, aangeboden door Park Place Technologies. Als je meer wilt weten over Park Place, ga dan naar www.parkplacetechnologies.com. En nu nog een laatste woord van onze gast. Deze show heet dus The Savvy CIO. Zac, wat is de slimste keuze die je tot nu toe in je carrière hebt gemaakt?

Zac Smith: Waarschijnlijk was de slimste keuze die ik ooit heb gemaakt, het stellen van domme vragen aan werkelijk iedereen die ik tegenkwam. Ik denk dat het een van de superkrachten van onze branche is. Er zijn heel veel behulpzame mensen, iedereen deelt graag zijn kennis, en dat heeft me zo vaak geholpen: de domme kerel in de kamer zijn en gewoon nog één vraag stellen.

Bradd Busick: Dat is echt een geweldige opmerking. Je hoeft niet altijd degene te zijn die het antwoord weet. Je moet eigenlijk gewoon degene zijn die het lef heeft om te zeggen: „Ik weet het niet.” Heel hartelijk bedankt daarvoor. Ik ben jullie presentator, Bradd Busick, en zoals altijd: IT hoort niet alleen aan de tafel te zitten. IT is de tafel.

Ervaren cloudontwikkelaar met 25 jaar ervaring. Nadat ik mijn eerste stappen had gezet in de begintijd van Linux-hosting (Voxel), heb ik een start-up opgericht op het gebied van bare-metal-automatisering (Packet) en daarna leiding gegeven aan de digitale infrastructuurdiensten bij Equinix. Momenteel werk ik aan de ontwikkeling van Datum om de volgende 1.000 clouds mogelijk te maken.