Il CIO esperto: Episodio 2 – “Raffreddamento a liquido: quando, perché e quale?”

Zac Smith: Se state pensando di introdurre sul mercato dei computer prima del 2030, probabilmente dovreste cercare di capire come funziona il raffreddamento a liquido e dove e come si inserisce nel vostro portafoglio. È possibile supportarlo nei vostri data center? Quali sono i limiti o le opzioni a disposizione in questo ambito? Perché penso che ve ne renderete conto nel 2028 o nel 2029: arriverà prima che ve ne rendiate conto.

Bradd Busick: State ascoltando “The Savvy CIO: Modernize Wisely” di Park Place Technologies. Sono il vostro conduttore, Bradd Busick. Questo è un programma in cui parliamo di pressioni sul budget, adozione dell’intelligenza artificiale, sicurezza e dell’arte di tenere le luci accese senza mandare tutto all’aria, nonché delle persone che affrontano questi problemi ogni singolo giorno.

Negli ultimi 30 anni, la regola numero uno del galateo dei data center è stata davvero semplice: tenere i liquidi lontani dall’hardware, punto e basta. E negli ultimi tre decenni, quella regola ha funzionato davvero bene. Il raffreddamento ad aria è stato scalato, i rack sono rimasti gestibili e nessuno ha dovuto indossare stivali di gomma se qualcosa andava storto. Ma ora abbiamo questa piccola cosa chiamata IA. Sembra che, quasi da un giorno all’altro, l’unità di alimentazione all’interno di un singolo rack possa causare un collasso in tutto il magazzino. L’aria non riesce a raffreddare i componenti con sufficiente rapidità e la gestione termica è quasi impossibile da controllare. Quindi, ora, il settore sta venendo meno alla regola numero uno. Stiamo infatti mettendo dei liquidi proprio a contatto con il chip stesso. Come spesso accade con le nuove tecnologie, non esiste un unico modo giusto per farlo. Ma che si scelga il raffreddamento per immersione, quello diretto sul chip, quello posteriore o si vada sul sicuro mantenendo il tradizionale raffreddamento ad aria, ogni opzione presenta i propri compromessi, i propri grattacapi e nuove domande. E, a dirla tutta, questo non è un problema per i prossimi cinque anni, è un problema da affrontare subito.

Quindi, qualunque sia la tua attività, qualunque sia il tuo settore, qualunque sia il tuo ambito di riferimento, qualunque sia il tuo prossimo progetto o implementazione, devi iniziare a pensarci fin da ora e devi sapere cos’è effettivamente il raffreddamento a liquido, cosa non è, e come prendere la decisione più saggia prima che sia qualcun altro a decidere al posto vostro. Zac Smith è esattamente la persona giusta per affrontare questo argomento. Ha trascorso la sua carriera all’avanguardia nel campo di ciò che accade quando l’ambizione del software si scontra frontalmente con l’infrastruttura fisica. È stato un pioniere del raffreddamento a liquido modulare come standard aperto e sa bene che non si tratta tanto di inseguire le tendenze, quanto piuttosto di risolvere un problema reale, scottante e costoso. Ha alle spalle un percorso professionale ricco di esperienze nel campo della tecnologia e della musica che lo ha portato dove si trova ora, ovvero a ricoprire il ruolo di CEO e cofondatore di Datum. Benvenuto su The Savvy CIO, Zac.

Zac Smith: Grazie per avermi invitato, Bradd.

Bradd Busick: È un piacere essere qui con te. Ti ringrazio per avermi dedicato un po’ del tuo tempo. Allora, senti, hai percorso un cammino tortuoso che ti ha portato a diventare un esperto di raffreddamento a liquido. Puoi raccontarci la storia che ti ha permesso di arrivare a questo punto della tua carriera e come sei giunto a questo momento?

Zac Smith: Sì. Credo che, come la maggior parte delle persone, negli anni ’90 non abbia frequentato l’università per conseguire una laurea in cloud computing nei data center. Francamente, ero come qualsiasi altro ragazzo cresciuto negli anni ’80: adoravo i videogiochi. Non ero molto bravo a giocarci, ma avevo alcuni amici che erano davvero bravi, quindi di solito finivo per occuparmi dell’hardware e di modificare il PC, cercando di capire se potessimo overcloccarlo, cose del genere. Dopo un po’ di anni, mi sono ritrovato a frequentare una scuola di musica a New York. E, da diciassettenne che cercava di guadagnarsi da vivere durante l’università, ho finito per riparare PC come lavoro secondario. E questo è stato il mio percorso di formazione informatica.

Ma poco dopo la laurea, nel 2001, il boom delle dot-com era in pieno svolgimento, e mi sono ritrovato, appena uscito dall’università con una laurea in contrabbasso classico, a fondare la mia attività di web hosting per musicisti. Volevo portarli online. E all’epoca, bastava semplicemente recarsi al data center locale, c’erano molti provider dial-up e DSL che avevano forse un paio di rack o cose del genere, e si capiva come prendere in prestito una macchina e ottenere un colo 1U o qualcosa di condiviso. E prima che me ne rendessi conto, mi trovai a gestire un server Linux e finìi per collaborare con un amico che ne sapeva molto di più di computer e Linux, e insieme fondammo una delle prime aziende di cloud computing basate su Linux.

E lungo quel percorso, in un certo senso, dovevi entrare nel data center. Ricordo il primo in assoluto: ero seduto non lontano da un luogo chiamato Telehouse, al 25 di Broadway, a Lower Manhattan, dove abbiamo iniziato a installare alcuni dei primissimi chip AMD Opteron. E, se eravate in giro nei primi anni del 2000, quelli erano considerati la Porsche 911 dei chip per server, perché introducevano l’architettura a 64 bit, permettevano di installare più memoria e tendevano a surriscaldarsi. E quella è stata la mia prima esperienza con il surriscaldamento di un data center, perché all’epoca lo spazio nei data center si acquistava a rack, e non si aveva alcuna idea di quanta potenza o raffreddamento servisse. Prendevi semplicemente il rack e ci infilavi tutto quello che potevi, e cavolo, se ne abbiamo infilato! Ci stavamo mettendo, credo fossero 42 server HP DL140 con processori Opteron, e abbiamo fatto fondere il posto.

Bradd Busick: È incredibile.

Zac Smith: E quella è stata la mia prima esperienza con il raffreddamento.

Bradd Busick: È davvero incredibile. Voglio dire, innanzitutto, che percorso fantastico, hai iniziato più o meno nello stesso periodo in cui hai iniziato tu. Natalie, posso fare un tuffo nel passato e parlare delle mie super abilità, affinate grazie ai cheat code di "Mike Tyson’s Punch-Out" (007-373-5963), che ti portano direttamente a Mike Tyson?

Zac Smith: Ovviamente.

Bradd Busick: Ma, voglio dire, tu sei un musicista di formazione classica. Voglio dire, che mente fantastica e meravigliosa, che probabilmente rende possibile gran parte del lavoro che stai facendo oggi in un ambito che tante persone non apprezzano nemmeno o di cui non si curano finché non si rompe. E poi, all’improvviso, è come se dicessero: «Zac, cosa devo fare?» Quindi, voglio dire, ora che sappiamo qualcosa del tuo background, cerchiamo di chiarire le cose per i nostri ascoltatori. Perché tutti parlano, o dovrebbero parlare, di raffreddamento a liquido proprio in questo momento?

Zac Smith: Quello che abbiamo è un mondo informatico davvero su larga scala che, francamente, per la maggior parte delle persone ha semplicemente funzionato, e questo è davvero incredibile, ma ha comportato che per molte persone sia rimasto un concetto astratto. Abbiamo avuto integratori di sistemi davvero validi, abbiamo avuto ottimi data center, e il ritmo di cambiamento dettato dalla Legge di Moore, secondo cui la capacità di calcolo raddoppia ogni 18 mesi, e negli ultimi cinque-sette anni abbiamo davvero raggiunto i limiti della fisica. Stiamo realizzando chip a tre nanometri, frazioni di un capello umano, e ciò ha significato che abbiamo finito per dover fornire più potenza attraverso i chip, e quindi più chip sul chip. Quindi progettazione a chiplet e semplicemente aggiungere più circuiti. All’inizio si trattava di migliorare gli aspetti fisici per poter utilizzare un numero maggiore di transistor. Successivamente, si è passati ad aggiungere più strati impilandoli. Abbiamo quindi continuato a espandere, espandere questo tipo di approccio al calcolo.

E poi sono arrivate le GPU, che sono fondamentalmente un sistema di elaborazione vettoriale a più corsie, con migliaia di chip su una singola scheda, portando quindi questo concetto all’ennesima potenza. Quello che una volta era un piccolo dispositivo che si utilizzava per i videogiochi ora è pieno zeppo di processori e memoria. Quindi, dovendo aumentare la densità e la velocità della memoria, abbiamo iniziato a fornire più potenza a quei chip di memoria. E poi, si è passato alle schede di rete. Di conseguenza, ogni parte della nostra fisica è diventata sempre più dispendiosa in termini di potenza. E poiché queste applicazioni legate all’IA hanno davvero sfruttato al meglio questi nuovi acceleratori, siamo passati a quella che immagino la gente chiami la legge di Jensen, ovvero: cosa possiamo fare con la quantità di potenza di cui disponiamo? Perché questo è in un certo senso il fattore limitante in questo momento. Quindi, quanta intelligenza o quanto valore si può generare per watt?

E lo stiamo facendo soprattutto grazie a un numero molto maggiore di transistor e di potenza. E nel mondo dei data center, dove ci basiamo su progetti vecchi di 30 anni, come si fa a garantire che un edificio duri 20 o 30 anni, quando i computer cambiano a un ritmo vertiginoso con cicli di uno o due anni? Si tratta semplicemente di un disallineamento, ed è per questo che il raffreddamento in generale, immagino si possa definirla "estrazione di calore", è diventato un grave problema nei data center che in realtà non sono attrezzati per le macchine attuali che stiamo cercando di installarvi.

Bradd Busick: Allora, Zac, voglio dire, una delle competenze che, secondo me, un CIO esperto di oggi deve possedere è quella di saper spiegare concetti e compiti estremamente complessi ai membri del consiglio di amministrazione, che potrebbero non sapere di cosa si sta parlando, ma anche essere in grado di dialogare con ingegneri e partner. E quindi, apprezzo molto alcune delle competenze che sono emerse con i modelli LLM, una delle quali è ELI5. Spiegamelo come se avessi cinque anni. Se dovessimo semplificare il concetto per i nostri utenti, cos’è esattamente il raffreddamento a liquido e cosa non lo è?

Zac Smith: Insegnavo in una scuola pubblica locale come funziona Internet, e all’inizio i ragazzi erano un po’ confusi perché pensavano che fosse solo Wi-Fi, che Internet fosse praticamente tutto wireless. Hanno capito che non è così perché gli aerei non hanno sempre il Wi-Fi, quindi hanno capito il concetto. Ma se parliamo di raffreddamento e dei problemi dei data center, avete usato il vostro laptop, avete avuto il vostro MacBook, che è piuttosto bravo a gestire il calore, ma a volte si scalda davvero. Stai guardando tutti quei film e facendo mille cose e il portatile si riscalda.

In fisica, c'è questo problema per cui, ogni volta che si utilizza qualcosa, si genera un'altra azione, e secondo la mia modesta comprensione, quando si utilizza un elettrone, si genera calore. Ed è proprio questo il problema con cui abbiamo a che fare nel data center: c’è così tanta energia che entra in questi computer, e tutto questo genererà calore. Normalmente, utilizzeremmo un processo chiamato raffreddamento ad aria, in cui utilizzeremmo una ventola per far circolare aria più fredda e cercare di espellere l’aria più calda. Ma, francamente, l’aria è un mezzo davvero pessimo per lo scambio termico. E così, ora, dovevamo chiederci, visto che generiamo così tanto calore, come fare per catturarlo? E la risposta assomiglia proprio al radiatore della vostro auto.

E così, in pratica, abbiamo cominciato a dovere installare radiatori e scambiatori di calore in vari punti. Ci sono molti modi diversi per farlo. Si potrebbe utilizzare un radiatore sul tetto dell’edificio per risolvere il problema con il sistema di condizionamento. Ma si può iniziare ad avvicinarlo sempre di più al proprio carico di lavoro. E quindi, questo è più o meno ciò che penso al riguardo: si tratta semplicemente di prendere questo scambiatore di calore e spostarlo in diverse parti dello stack IT.

Bradd Busick: Quindi, tenendo presente quel modello mentale, tutti i tipi di raffreddamento a liquido sono uguali o ci sono dei compromessi?

Zac Smith: Sì. Penso che ci siano tantissimi compromessi, e questa è probabilmente la sfida che il CIO moderno o chi utilizza le infrastrutture deve affrontare in questo momento, perché ci sono tantissime scelte da fare e non ce ne è una perfetta. Quindi, innanzitutto, penso che la stragrande maggioranza dei CIO si trovi a gestire ambienti misti. Non dispongono semplicemente di spazi puliti dove possono andare a spendere un miliardo di dollari e realizzare l’ultima generazione di ogni cosa, per poi, tra due anni, ricominciare da capo. Probabilmente hanno a che fare con un intero insieme di generazioni di sistemi, con vincoli di bilancio, con strutture esistenti e contratti di locazione a cui potrebbe essere necessario pensare o adattare, o partner di co-locazione con cui si potrebbe collaborare e che presentano dei vincoli.

Prima hai accennato al problema annoso di non portare acqua nel data center. Voglio dire, ci sono molte strutture di colocation che ancora non sono davvero in grado di pensare a, beh, come fare per portarla dentro? E anche se lo fanno o sono aperti al raffreddamento a liquido, potrebbero non supportarne di diversi tipi. E questo ha anche implicazioni normative e regionali, perché alcuni dei fluidi – quando parliamo di liquidi pensiamo all’acqua, ma non è sempre così. Forse ne avete un'idea grazie ai vostri condizionatori: un tempo si usavano i CFC, che erano davvero efficienti, ma dannosi per l’ambiente. Successivamente sono stati messi al bando in alcune aree e ora disponiamo di diversi tipi di refrigeranti che è possibile utilizzare, simili a quelli presenti nel radiatore.

È lo stesso problema che stiamo affrontando nel data center: si tratta di sistemi a base d’acqua? Se sì, quanta acqua consumano? Si tratta di circuiti chiusi, in cui è possibile riutilizzare la stessa acqua, oppure sono circuiti aperti e l’acqua deve essere fatta evaporare costantemente? Forse c’è effettivamente una carenza d’acqua, e questa è una situazione molto comune in un data center. Oppure si tratta di un tipo diverso di sostanza chimica, come un glicole che si potrebbe utilizzare in un circuito di raffreddamento industriale, o magari qualche altro tipo di refrigerante? E quindi, penso che ci siano molte opzioni, e quindi ritengo sia davvero importante avere un partner o essere in grado di valutare la propria situazione specifica, gli obiettivi che si stanno cercando di raggiungere e l’ambiente a disposizione.

Bradd Busick: È un'ottima sintesi di tutte le diverse scelte che un CIO potrebbe compiere o, in alcuni casi, di cui potrebbe non essere nemmeno consapevole.

Zac Smith: Tutti i problemi.

Bradd Busick: Sì.

Zac Smith: Tutte le sfide.

Bradd Busick: Sì. È una questione estremamente complessa. Insomma, in qualità di CIO, come si fa a sapere effettivamente di quale tipo di raffreddamento a liquido si ha bisogno o quale sia la soluzione più adatta alle proprie esigenze? E quali sono i compromessi aziendali che devi accettare quando cerchi di capire quale percorso sia il più sensato?

Zac Smith: Ho lavorato per un certo periodo presso un grande operatore di data center; eravamo un’azienda multi-tenant, quindi avevamo a che fare con tantissimi clienti diversi, migliaia di clienti, che avevano tutti esigenze e configurazioni diverse. Penso che la prima cosa da fare sia capire il proprio carico di lavoro e ciò che si sta cercando di ottenere, perché quello che potrebbe essere uno scenario ottimale per la vostra fabbrica di IA, che potrebbe avere requisiti specifici da parte del vostro fornitore, potrebbe essere piuttosto diverso dal vostro carico di lavoro IT generico o di modernizzazione. Quindi non credo che si possa iniziare a risolvere questo problema senza riflettere su quale carico di lavoro e su quale stack tecnologico si intenda implementare dal punto di vista dell’hardware.

E poi, la seconda cosa che farei sarebbe semplicemente dare un’occhiata alle vostre strutture. Se state cercando una nuova struttura o ne state costruendo una voi stessi, potreste avere diverse opzioni a disposizione e potete permettervi di essere un po’ più esigenti riguardo al mercato. Ma se si tratta di una struttura già esistente, si possono immaginare tutte le idee più interessanti, ma bisogna comunque andare a parlarne con il proprio partner per il data center. E questo sarebbe uno dei miei primi passi: chiedere: «Ehi, quali opzioni supportate attualmente?» Chiederei se fornite un circuito di raffreddamento interno all’edificio, se vi permettono di portare una CDU, un’unità di raffreddamento, all’interno del vostro rack o della vostra gabbia. Queste sarebbero le prime domande che porrei, perché ti aiuteranno a orientarti tra le opzioni disponibili: devo considerare una porta posteriore? Devo valutare una soluzione adiacente ai chip con una CDU? Devo optare per una soluzione completamente chiusa o per l’immersione? La questione si concluderà lì. E l’aspetto “segreto” che vorrei anche solo menzionare prima che vi addentriate nel mondo dell’immersione riguarda semplicemente il carico a pavimento.

Bradd Busick: Va bene.

Zac Smith: So che sembra una domanda noiosa, ma sono in tanti a chiedermi: «Ehi, posso farlo?» E noi rispondiamo: «No, in realtà, è in Giappone e lì non possono sopportare un tale carico al metro quadrato». Quindi non mettetevi in una situazione in cui magari avete progettato e acquistato delle attrezzature potenzialmente molto costose, ma la vostra struttura non è in grado di sostenerle.

Bradd Busick: È davvero ottimo. A proposito, quel tono di convinzione che sentiamo tutti è quello dei CIO che sono appena usciti di strada perché l’ultima volta che sono stati nel loro data center è stata… mai. Quindi mi piace molto l’invito: «Senti, possiamo rivolgere la domanda a un partner fornitore e chiedere: “Ci abbiamo pensato?”» E so che nel mondo della sanità è come andare dal proprio medico e dire: «Ehi, ho sentito parlare di questo piano terapeutico o di questo percorso di cura. Cosa ne pensi?” E sollevare effettivamente la questione con il proprio partner, che dovrebbe essere in grado di aiutarti a orientarti. Quindi adoro questa osservazione.

Proviamo magari ad approfondire un po’ di più. Credo che la menzogna che ci siamo sempre raccontati sia che il raffreddamento a liquido fosse destinato solo agli hyperscaler e ai miner di Bitcoin. A questo punto, stavi dicendo che tutti, indipendentemente dal settore o dal campo di attività, dovrebbero considerare il raffreddamento a liquido come una funzionalità per gestire la propria attività, o è ancora una soluzione riservata a determinate nicchie?

Zac Smith: Sì. È piuttosto interessante, perché, se si considerano le dinamiche del settore e si analizzano i processori e i sistemi prodotti in tutto il mondo, direi che il 60% o il 70% dei computer mondiali finisce nelle mani di un hyperscaler. E quindi, che si progetti per la stessa scala di Amazon o Microsoft, il fatto è che la catena di approvvigionamento si sta orientando verso dove si trova il volume.

Bradd Busick: Sì.

Zac Smith: E questo significa che gli hyperscaler si stanno orientando verso soluzioni con raffreddamento a liquido e architetture ad alta densità, e ciò significa che anche voi vi muoverete in quella direzione.

Bradd Busick: Sì.

Zac Smith: Forse non la vedi esattamente allo stesso modo, ma non credo che tu possa andare controcorrente, né che tu voglia farlo, perché nella maggior parte dei casi vuoi posizionarti nel punto ottimale della catena di approvvigionamento. Ovviamente ci sono delle eccezioni. Quindi penso che, sebbene ci saranno sempre opzioni con raffreddamento ad aria – e credo che continuerà ad essere così per un bel po’ di tempo – sospetto che avremo soluzioni ottimizzate progettate per il raffreddamento ad aria, penso che il raffreddamento a liquido entrerà a far parte, in una certa misura, dell’ambiente di lavoro della maggior parte delle persone, se non di tutti. E sarà proprio come quando passiamo tutti a server con un elevato numero di core, perché, francamente, è proprio in quella direzione che la catena di fornitura ha spinto il mercato con i grandi acquirenti.

Bradd Busick: È evidente che ci siano molti punti di vista diversi sul raffreddamento a liquido. Ecco cosa dice Chris Carrero, direttore tecnico di Park Place Technologies, riguardo ad alcune delle sfide che i data center devono affrontare nell’implementazione del raffreddamento a liquido.

Chris Carrero: Uno degli aspetti è la governance. Gran parte di questa governance non esiste ancora nel settore del raffreddamento a liquido. Non c’è davvero molta standardizzazione. I diversi produttori OEM hanno prodotti diversi e connettori diversi. Esistono sistemi diversi che non sono interoperabili tra loro. Ma questa standardizzazione deve assolutamente essere realizzata.

Ci sono molte differenze tra il raffreddamento tradizionale ad aria e quello a liquido; i data center ad aria esistono ormai da 30 anni e cercano di gestire armadi da 10 kW ciascuno. Ora, invece, si parla di armadi da 50, 150 kW e 200 kW. E poi, all’orizzonte, ci aspettano rack da mezzo megawatt e un megawatt, con alcune delle soluzioni di cui parla Nvidia. Questi data center non sono stati progettati per questo. Direi che negli spazi greenfield, ovvero nelle nuove costruzioni e nei nuovi progetti, stanno iniziando a implementare le diverse soluzioni per il raffreddamento a liquido, mentre gli impianti esistenti sono in ritardo e la mancanza dei componenti necessari per realizzare questi data center rappresenta una sorta di sfida nella situazione in cui ci troviamo attualmente.

Bradd Busick: E allora, Zac, se questo dovesse diventare una regola fondamentale per tutti noi in questo settore a un certo punto, che sia adesso o tra tre anni, come immagini il percorso che porterà i CIO a vedere effettivamente concretizzarsi questa transizione? Tre anni? Il 2030? Il mese prossimo?

Zac Smith: Sì. Immagino che la maggior parte dei CIO non segua più un ciclo di rinnovo dell’hardware da cinque a sette anni nei propri data center. Probabilmente i loro cicli sono un po’ più stretti di così...

Bradd Busick: Sì.

Zac Smith: … con alcuni cambiamenti tecnologici. Ma tre anni sono un periodo lungo. Pertanto, ritengo che, se si intende immettere sul mercato dei computer prima del 2030, sarebbe probabilmente opportuno cercare di comprendere il raffreddamento a liquido e valutare dove e come questo si inserisca nel vostro portafoglio. Riuscite a supportarlo nei vostri data center? Come potremmo farlo? Quali sono i nostri limiti o le nostre opzioni in questo ambito? Perché penso che ve ne renderete conto nel 2028 o nel 2029: sarà già qui prima che ve ne rendiate conto. Quindi non lo ignorerei. Metterei tutto in ordine. Magari potreste iniziare con una versione di prova o una sorta di sistema di laboratorio per capirne il funzionamento insieme a un partner.

E poi, inizia a familiarizzarti con la questione dal punto di vista operativo, perché ci sono un sacco di cambiamenti operativi che si verificano quando si introducono liquidi e questi a alta densità… Non si tratta solo di liquidi. Si tratta di una quantità enorme di potenza, forse un intero sistema. Ad esempio, se state investendo in infrastrutture di intelligenza artificiale, potreste trovare i nuovi Vera Rubins o i vostri Grace Hopper. Questi server costano un paio di centinaia di migliaia di dollari l’uno.

Bradd Busick: Sì. Sì.

Zac Smith: E non puoi semplicemente andare lì e sistemarle. Potresti ritrovarti con una parte significativa della tua infrastruttura IT fuori uso perché...

Bradd Busick: Esatto.

Zac Smith: … hai avuto un problema al circuito di raffreddamento a liquido e non l’hai monitorato, e così il sistema da 300.000 dollari è andato in fumo e ora sei nei guai perché la garanzia è scaduta.

Bradd Busick: È esattamente così.

Zac Smith: Anche se si prevede di adottare in parte questa soluzione, che si tratti di intelligenza artificiale o di prestazioni elevate, è necessario iniziare a pensare a iniziative di formazione e a progetti pilota.

Bradd Busick: Mi piace molto l’approccio formativo che si percepisce qui. Voglio dire, c’è un’intera generazione di professionisti IT con cui entrambi abbiamo lavorato, la cui intera carriera si è sviluppata attorno all’architettura con raffreddamento ad aria, e siamo abituati ad avere le ventole.

Zac Smith: Sì.

Bradd Busick: Oppure, durante un periodo di inattività, le persone indossano le cuffie e chiamano dal centro dati per cercare di rimetterlo in funzione, ma hanno dovuto indossare le cuffie perché il rumore delle ventole era davvero assordante.

Zac Smith: Che rumore!

Bradd Busick: Se dobbiamo aiutare i nostri colleghi che ci stanno ascoltando ad affrontare questa curva di cambiamento, parlaci un po’ di alcuni di quegli esempi da non seguire che hai sentito riguardo all’implementazione del raffreddamento a liquido. Insomma, le cose sembrano davvero fantastiche. Penso che tutti i CIO che conosco partecipino a briefing per dirigenti e che andiamo alle fiere di settore, dove parlo con i miei partner, e dal punto di vista dei fornitori sembra fantastico, ma tu hai accennato un po’ ad alcuni di quei problemi operativi. Dammene qualche indicazione su cosa dovresti chiedere e a cosa dovresti pensare se volessi avviare una fase pilota di quella funzionalità?

Zac Smith: Beh, penso che, da molto tempo, abbiamo tratto vantaggio da quella che definirei o una beata incoscienza o una biforcazione tra il nostro partner per l’hardware e il nostro partner per i data center, grazie alla quale potevamo in un certo senso acquistare qualsiasi cosa volessimo e, in generale, collocarla dove preferivamo.

Bradd Busick: Sì.

Zac Smith: Ok. Forse costa un po’ di più perché abbiamo qualche cavo di alimentazione in più. Ma quei tempi sono finiti, e non si può progettare e acquistare hardware senza confrontarsi con il proprio data center-

Bradd Busick: Esatto.

Zac Smith: … o un partner per le strutture che lo affianchi. E penso che non si tratti solo di chiedersi se possa funzionare, se abbiamo i collegamenti giusti, la disponibilità, l’approvazione normativa e così via: ci sono un paio di reali problemi operativi che, a mio parere, bisognerebbe portare alla luce. La prima riguarda proprio l’osservabilità. Si dispone degli strumenti di sistema necessari per osservare e monitorare questa quantità aggiuntiva di infrastruttura meccanica? Potrebbe trattarsi di una CDU, di una pompa, di una portata o della temperatura di ciascun server. Quindi le metriche, e l’ho sentito dire da alcuni dei nostri partner nel campo dell’IA con cui ho lavorato, possono essere estreme, nel senso che si raccolgono dati di telemetria-

Bradd Busick: Sì.

Zac Smith: … dall’infrastruttura di raffreddamento a liquido più di quanto non lo si faccia dall’infrastruttura dei server, in una certa misura-

Bradd Busick: Sì.

Zac Smith: … perché in pratica stai gestendo un impianto meccanico, oppure c’è qualcuno da qualche parte.

Bradd Busick: Sì.

Zac Smith: E quindi, penso che questo sia un aspetto da considerare: valutare il proprio set di strumenti in termini di software e gestione IT, e chiedersi se sarà sufficiente o se sarà necessario investire ulteriormente negli strumenti operativi correlati.

E poi, il secondo sarebbe quello che mi piace chiamare il “problema delle 2:00 del mattino”. E il problema delle 2:00 del mattino è che il tuo server, che è davvero fantastico, sta eseguendo il carico di lavoro di produzione, tutto procede per il meglio e poi, non so, qualcosa si rompe. Diciamo semplicemente che si tratta di un disco rigido. Devi andare a sostituire il disco rigido. Normalmente, apri un piccolo ticket di assistenza, il tuo partner del data center e il tuo team tecnico sul posto interverranno, sostituiranno il disco, ben fatto.

Bradd Busick: Esatto.

Zac Smith: Ma cosa succede se hai un sacco di tubi del liquido e non riesci a tirarli fuori dal rack perché non sai come aprire il tubo del liquido? Cosa succede se lo scolleghio?

Bradd Busick: Esatto.

Zac Smith: Una volta semplicemente i valori scendevano, ma ora mi ritroverò con qualche strano liquido di raffreddamento e mi ucciderà o mi farà-

Bradd Busick: Sì.

Zac Smith: … mandare in rovo il data center? Non ho intenzione di parlarne. E quindi, l’altra cosa che secondo me deve veramente essere discussa è: ehi, le operazioni del secondo giorno, sappiamo come le gestiremo? E i nostri partner sul posto – che potrebbero essere semplicemente un fornitore a cui ci rivolgiamo, un team di assistenza remota o il nostro stesso team – saranno adeguatamente formati? Perché potrebbero dire: “Non posso toccarlo. Non so quale sia il rosso e quale il blu”.

Bradd Busick: Al 100%. Sì.

Zac Smith: «Devo tirare quella lì?»

Bradd Busick: Sì.

Zac Smith: Questo è proprio il problema delle 2:00 del mattino.

Bradd Busick: Beh, non mi sfugge che l’argomento di oggi riguardi il mantenere la calma, e credo che tutti gli ascoltatori siano d’accordo: oggi abbiamo avuto con noi uno dei personaggi più cool del settore. Zac, grazie mille per essere stato con noi a “The Savvy CIO”. Apprezziamo il tempo che ci hai dedicato.

Zac Smith: È un piacere per me.

Bradd Busick: Quando pensiamo a questo spazio estremamente eterogeneo, credo fosse molto chiaro che la fisica non fosse più il problema, e stiamo superando rapidamente ciò che i nostri data center sono in grado di gestire. Pertanto, il CIO moderno di oggi deve iniziare a riflettere sul fatto che i propri carichi di lavoro legati all’intelligenza artificiale stanno superando di gran lunga ciò che un normale sistema di raffreddamento è effettivamente in grado di gestire, il che porta poi a discussioni davvero interessanti con il proprio fornitore. Quali sono le domande giuste da porre al proprio fornitore e quali sono i nuovi requisiti operativi a cui il fornitore potrebbe non aver ancora pensato? La nuova infrastruttura moderna per l’IA richiede alimentazione e raffreddamento su una scala diversa e a un livello diverso, avere un partner di fiducia che possa aiutarti ad affrontare alcune delle domande che, fino a quando non hai ascoltato questo episodio, forse non sapevi nemmeno di dover porre.

Per oggi è tutto. Grazie mille per averci ascoltato. Seguiteci per non perdervi nessuna puntata. Questo è stato “The Savvy CIO”, un programma offerto da Park Place Technologies. Se volete saperne di più su Park Place, visitate il sito www.parkplacetechnologies.com. E ora, un’ultima parola dal nostro ospite. Allora, questo programma si chiama “The Savvy CIO”. Zac, qual è stata la scelta più azzeccata che hai fatto nella tua carriera fino ad oggi?

Zac Smith: Probabilmente la scelta più azzeccata che abbia mai fatto è stata quella di porre domande stupide a chiunque mi capitasse a tiro. Credo che sia uno dei superpoteri del nostro settore. Ci sono tantissime persone disponibili, tutti sono entusiasti di condividere le loro conoscenze, e questo mi è stato di grande aiuto tantissime volte: essere il ragazzo un po’ sprovveduto nella stanza e fare semplicemente ancora una domanda.

Bradd Busick: È davvero un’osservazione fantastica. Non devi sempre essere tu a dare la risposta. In realtà, devi solo essere la persona che ha il coraggio di dire: «Non lo so». Grazie mille per questo. Sono il vostro conduttore, Bradd Busick, e come sempre, l’IT non dovrebbe limitarsi a stare al tavolo. L’IT è il tavolo.

Esperto nel settore del cloud con 25 anni di esperienza. Dopo aver mosso i primi passi agli albori dell’hosting Linux (Voxel), ho fondato una startup specializzata nell’automazione bare metal (Packet) e successivamente ho guidato la divisione dei servizi di infrastruttura digitale presso Equinix. Attualmente sto sviluppando Datum per contribuire alla realizzazione dei prossimi 1.000 cloud.