Le DSI avisé : Épisode 2 – « Refroidissement par liquide : quand, pourquoi et lequel choisir ? »

Zac Smith : Si vous envisagez de commercialiser des ordinateurs avant 2030, vous devriez probablement vous pencher sur le refroidissement par liquide et déterminer où et comment l’intégrer à votre gamme de produits. Pouvez-vous le prendre en charge dans vos centres de données ? Quelles sont nos limites ou nos options à cet égard ? Car je pense que vous allez vous réveiller en 2028 ou 2029 : cette technologie sera là avant même que vous ne vous en rendiez compte.

Bradd Busick : Vous écoutez « The Savvy CIO : Modernize Wisely », une émission de Park Place Technologies. Je suis votre animateur, Bradd Busick. Dans cette émission, nous abordons les contraintes budgétaires, l’adoption de l’IA, la sécurité et l’art de maintenir le système à flot sans tout faire capoter, ainsi que les personnes qui s’attaquent à ces problèmes jour après jour.

Depuis 30 ans, la règle n° 1 en matière d’étiquette dans les centres de données est très simple : ne pas laisser de liquides entrer en contact avec le matériel, point barre. Et au cours de ces trois décennies, cette règle a en effet très bien fonctionné. Le refroidissement par air a été adapté, les baies sont restées gérables, et personne n’a eu à enfiler de bottes en caoutchouc en cas de problème. Mais aujourd’hui, nous avons cette petite chose qu’on appelle l’IA. On a l’impression que, presque du jour au lendemain, le bloc d’alimentation à l’intérieur d’un seul rack pourrait provoquer une panne généralisée dans tout l’entrepôt. L’air ne parvient pas à refroidir les composants assez rapidement, et la gestion thermique est presque impossible à contrôler. Du coup, le secteur enfreint la règle n° 1. Nous plaçons en effet des liquides juste à côté de la puce elle-même. Comme c’est généralement le cas pour les nouvelles technologies, il n’y a pas une seule et unique façon de procéder. Mais que vous optiez pour le refroidissement par immersion, le refroidissement direct de la puce, le refroidissement par la porte arrière, ou que vous jouiez la carte de la sécurité en vous en tenant au refroidissement par air traditionnel, chaque option présente ses propres compromis, ses casse-tête et de nouvelles questions. Et pour être franc, ce n’est pas un problème qui se posera dans cinq ans, c’est un problème d’aujourd’hui.

Ainsi, quel que soit votre secteur d’activité, votre branche, votre domaine de spécialité, ou encore votre prochain projet ou déploiement, vous devez commencer à y réfléchir dès maintenant, et vous devez savoir ce qu’est réellement le refroidissement par liquide, ce qu’il n’est pas, et comment prendre la décision la plus judicieuse avant que cette décision ne soit prise à votre place. Zac Smith est exactement la personne qu’il faut pour aborder ce sujet. Il a passé sa carrière à l’avant-garde de ce qui se passe lorsque l’ambition logicielle se heurte de plein fouet à l’infrastructure physique. Il a été l’un des pionniers du refroidissement par liquide modulable en tant que norme ouverte, et sait qu’il s’agit moins de suivre les tendances que de résoudre un problème réel, brûlant et coûteux. Il possède un parcours technique et musical bien rempli qui l’a conduit là où il se trouve aujourd’hui, à la tête de Datum en tant que PDG et cofondateur. Bienvenue dans The Savvy CIO, Zac.

Zac Smith : Merci de m'avoir invité, Bradd.

Bradd Busick : Je suis ravi d’être avec vous. Je vous remercie de m’accorder un peu de votre temps. Bon, écoutez, vous avez suivi un parcours sinueux qui vous a conduit à devenir un expert en refroidissement par liquide. Pouvez-vous nous raconter le parcours qui vous a permis d’en arriver là dans votre carrière et comment vous en êtes arrivé à ce stade ?

Zac Smith : Oui. Je pense que, comme la plupart des gens, je n’ai pas fait d’études ni obtenu de diplôme en informatique en nuage ou en centres de données dans les années 1990. Franchement, j’étais comme n’importe quel autre gamin qui grandissait dans les années 80 : j’adorais les jeux vidéo. Je n’étais pas très doué pour y jouer, mais j’avais des amis qui étaient très bons, alors je finissais généralement par m’occuper du matériel et de la modification des PC, en essayant de voir si on pouvait les overclocker, ce genre de choses. Quelques années plus tard, je me suis retrouvé à intégrer une école de musique à New York. Et, à 17 ans, pour essayer de financer mes études, je me suis mis à réparer des PC à côté. Voilà donc en quoi consistait toute ma formation en informatique.

Mais peu après avoir obtenu mon diplôme, c'était en 2001, le boom des dot-com battait son plein, et je me suis retrouvé, à la sortie de l’université avec un diplôme en interprétation de contrebasse classique, à lancer ma propre entreprise d’hébergement web pour les musiciens. Mon objectif était de leur permettre d’être présents en ligne. À l’époque, il suffisait en quelque sorte de se rendre au centre de données local, il y avait beaucoup de fournisseurs d’accès par ligne commutée et ADSL qui disposaient peut-être de quelques baies ou quelque chose du genre, et on trouvait le moyen d’emprunter une machine et d’obtenir un espace de colocation 1U ou un espace partagé quelconque. Et avant même de vous en rendre compte, j’hébergeais un serveur Linux, et j’ai fini par m’associer avec un ami qui s’y connaissait beaucoup mieux en informatique et en Linux, et nous avons créé l’une des premières entreprises de cloud computing basées sur Linux.

Et, en chemin, il fallait en quelque sorte pénétrer dans le centre de données. Je me souviens de la tout première fois : j’étais assis non loin d’un endroit appelé Telehouse, au 25 Broadway dans le bas de Manhattan, où nous avons commencé à installer certains des tout premiers processeurs AMD Opteron. Et si vous étiez là au début des années 2000, c’était la Porsche 911 des puces de serveurs, car elles introduisaient le 64 bits, on pouvait y installer plus de mémoire, et elles avaient tendance à chauffer. Et c’est là que j’ai été confronté pour la première fois à un problème de surchauffe dans un centre de données, car à l’époque, on achetait de l’espace dans un centre de données à la baie, et ils n’avaient aucune idée de la puissance ou des besoins en refroidissement nécessaires. On prenait simplement le rack et on y entassait tout ce qu’on pouvait, et croyez-moi, on en a vraiment entassé. On y installait, je crois, 42 serveurs HP DL140 équipés d’Opterons, et on a fait fondre la pièce.

Bradd Busick : C'est incroyable.

Zac Smith : Et c'est là que j'ai découvert pour la première fois le domaine du refroidissement.

Bradd Busick : C'est incroyable. Je veux dire, d'abord, quel parcours génial, tu as fait tes débuts à peu près à la même époque que moi. Natalie, je peux te rappeler mes super compétences, acquises grâce aux codes de triche du jeu « Mike Tyson’s Punch-Out » ? Le code 007-373-5963 te met directement en ligne avec Mike Tyson.

Zac Smith : Évidemment.

Bradd Busick : Mais, enfin, tu es un musicien de formation classique. Je veux dire, quel esprit génial et magnifique, qui rend probablement possible une grande partie du travail que tu fais aujourd’hui dans un domaine que tant de gens n’apprécient même pas ou dont ils ne se soucient pas tant qu’il ne s’effondre pas. Et puis, tout à coup, c’est : « Zac, qu’est-ce que je fais ? » Bon, maintenant que nous en savons un peu plus sur votre parcours, mettons les choses au clair pour nos auditeurs. Pourquoi tout le monde parle-t-il – ou devrait-il parler – du refroidissement par liquide en ce moment ?

Zac Smith : Nous avons là un univers informatique véritablement à grande échelle qui, franchement, a tout simplement fonctionné pour la plupart des gens, ce qui est assez incroyable, mais cela signifie aussi qu’il est devenu une notion abstraite pour beaucoup de personnes. Nous avons pu compter sur d’excellents intégrateurs de systèmes, nous avons eu d’excellents centres de données, et le rythme des changements imposé par la loi de Moore, qui prévoit un doublement de la capacité de calcul tous les 18 mois, a fait que, ces cinq à sept dernières années, nous avons vraiment atteint les limites de la physique. Nous fabriquons des puces à trois nanomètres, soit une fraction de l’épaisseur d’un cheveu humain, ce qui signifie que nous avons fini par devoir faire passer plus de puissance à travers les puces, puis intégrer davantage de puces sur la puce. D’où la conception de « chiplets » et l’ajout de circuits supplémentaires. Au départ, il s’agissait d’améliorer les propriétés physiques pour utiliser davantage de transistors. Puis, il a fallu ajouter davantage de couches en les empilant. Nous avons donc simplement continué à étendre, à étendre encore cette évolution de l’informatique.

Et puis, les GPU ont fait leur apparition : il s’agit essentiellement d’un traitement vectoriel multivoie, avec des milliers de puces sur une seule carte, ce qui a permis de pousser ce concept à l’extrême. Ce qui n’était autrefois qu’un petit appareil que l’on utilisait pour jouer à des jeux vidéo regorge désormais de processeurs et de mémoire. Ainsi, comme nous devions augmenter la densité de mémoire et la vitesse, nous avons fait passer davantage de puissance par ces puces mémoire. Puis, cela s’est étendu aux cartes réseau. Du coup, chaque composante de notre moteur physique est devenue de plus en plus gourmande en énergie. Et comme ces applications liées à l’IA ont vraiment tiré parti de ces nouveaux accélérateurs, nous en sommes arrivés à ce que l’on appelle, je crois, la loi de Jensen, qui consiste à se demander : que pouvons-nous faire avec la quantité d’énergie dont nous disposons ? Car c’est en quelque sorte le facteur limitant à l’heure actuelle. Alors, quelle quantité d’intelligence ou quelle valeur peut-on générer par watt ?

Et nous y parvenons principalement en augmentant considérablement le nombre de transistors et la puissance. Et dans le monde des centres de données, où nous nous appuyons sur des conceptions vieilles de 30 ans, comment faire pour qu’un bâtiment dure 20 ou 30 ans, alors que les ordinateurs évoluent à un rythme effréné, avec des cycles de renouvellement d’un à deux ans ? Il s’agit là d’un simple décalage, et c’est pourquoi le refroidissement en général, je suppose qu’on pourrait l’appeler « extraction de chaleur », est devenu un véritable casse-tête dans les centres de données qui ne sont vraiment pas équipés pour les machines actuelles que nous essayons d’y installer.

Bradd Busick : Alors, Zac, je veux dire, selon moi, l’une des compétences indispensables à un DSI avisé d’aujourd’hui, c’est de savoir expliquer des concepts et des tâches extrêmement complexes à des membres du conseil d’administration qui ne savent peut-être pas de quoi on parle, mais aussi de dialoguer avec les ingénieurs et les partenaires. J’apprécie donc particulièrement certaines des fonctionnalités offertes par les modèles LLM, notamment ELI5. Explique-le-moi comme si j’avais cinq ans. Si nous devions expliquer cela à nos utilisateurs, qu’est-ce que le refroidissement par liquide exactement, et qu’est-ce qui n’en est pas ?

Zac Smith : J’avais l’habitude de donner un cours dans l’école publique locale sur le fonctionnement d’Internet, et les enfants étaient un peu perdus au début parce qu’ils pensaient qu’il s’agissait simplement du Wi-Fi, que tout Internet fonctionnait essentiellement sans fil. Ils ont fini par comprendre, car les avions ne disposent pas toujours du Wi-Fi, et ça leur a permis de faire le lien. Mais si on parle des problèmes de refroidissement et des centres de données, vous avez déjà utilisé votre ordinateur portable, votre MacBook, qui gère assez bien la chaleur, mais il arrive qu’il chauffe parfois. Vous regardez des films, vous faites toutes sortes de choses, et il finit par chauffer.

En physique, il y a ce problème : chaque fois qu’on utilise quelque chose, on va provoquer une autre action, et d’après ce que j’en comprends, quand on utilise un électron, cela va générer de la chaleur. Et c’est exactement ce à quoi nous sommes confrontés dans un centre de données : avec toute cette énergie qui alimente ces ordinateurs, ceux-ci vont tous générer de la chaleur. Normalement, nous recourons à un procédé appelé refroidissement par air, qui consiste à faire tourner un ventilateur pour faire circuler de l’air plus frais et à essayer d’évacuer l’air plus chaud. Mais, franchement, l’air est un très, très mauvais milieu pour l’échange thermique. Nous avons donc dû nous demander, étant donné que nous produisons autant de chaleur, comment la capter ? Et la réponse ressemble tout simplement à votre radiateur, comme dans votre voiture.

Du coup, nous avons en fait commencé à devoir installer des radiateurs et des échangeurs de chaleur à différents endroits. Il existe de nombreuses façons de procéder. On pourrait par exemple utiliser un radiateur sur le toit du bâtiment pour réguler la climatisation. Mais vous pouvez commencer à le rapprocher de plus en plus de votre charge de travail. Et c’est en some sorte ce que j’en pense : il s’agit simplement de prendre cet échangeur de chaleur et de le déplacer vers différentes parties de l’infrastructure informatique.

Bradd Busick : Donc, en gardant ce modèle mental à l'esprit, tous les types de refroidissement par liquide se valent-ils ou y a-t-il des compromis à faire ?

Zac Smith : Oui. Je pense qu’il y a énormément de compromis à faire, et c’est sans doute là le défi auquel sont confrontés aujourd’hui les DSI ou les utilisateurs d’infrastructures : il faut faire face à une multitude de choix, et il n’y en a pas un qui soit parfait. Je pense donc avant tout que la grande majorité des DSI doivent gérer des environnements mixtes. Ils ne disposent pas simplement de salles blanches où ils peuvent dépenser un milliard de dollars pour déployer la dernière génération de tout, avant de devoir tout reconstruire de zéro dans deux ans. Ils doivent probablement composer avec tout un éventail de générations d’équipements, des contraintes budgétaires, ainsi que des installations et des baux existants dont il faut tenir compte ou qu’il faut adapter, ou encore des partenaires de colocation auxquels vous faites peut-être appel et qui ont leurs propres contraintes.

Vous avez évoqué tout à l’heure ce problème récurrent : « ne pas faire entrer d’eau dans le centre de données ». Je veux dire, il existe de nombreux sites de colocation qui ne sont toujours pas vraiment capables de se demander : « comment vais-je faire pour l’introduire ? » Et même si elles le font ou sont ouvertes au refroidissement par liquide, elles peuvent ne pas prendre en charge différents types. Cela a également des implications réglementaires et régionales, car certains de ces fluides — on parle de « liquide », on pense à l’eau, mais ce n’est pas toujours le cas. Vous connaissez peut-être cela pour votre climatisation : on utilisait autrefois des CFC, qui étaient très efficaces, mais nocifs pour l’environnement. Ils ont ensuite été interdits dans certaines régions, et il existe désormais différents types de fluides frigorigènes que l’on peut utiliser, comme dans votre radiateur.

C'est exactement le même problème auquel nous sommes confrontés dans le centre de données : s'agit-il de systèmes à base d'eau ? Si oui, quelle quantité d'eau consomment-ils ? S’agit-il de circuits fermés, ce qui permet en quelque sorte de réutiliser cette même eau, ou bien s’agit-il de circuits ouverts qui nécessitent une évaporation constante ? Peut-être y a-t-il en réalité une pénurie d’eau, ce qui est très courant dans un centre de données. Ou s’agit-il d’un autre type de produit chimique, comme du glycol que l’on utilise dans un circuit de refroidissement industriel, ou peut-être d’un autre type de fluide de refroidissement ? Et donc, je pense qu’il y a beaucoup de choix, et je pense donc qu’il est vraiment important d’avoir un partenaire ou d’être capable d’évaluer votre situation spécifique, ce que vous essayez d’accomplir sur place et l’environnement dont vous disposez.

Bradd Busick : C'est un excellent résumé de tous les choix différents qu'un DSI pourrait faire, ou dont, dans certains cas, il n'a même pas conscience.

Zac Smith : Tous les problèmes.

Bradd Busick : Ouais.

Zac Smith : Tous les défis.

Bradd Busick : Oui. C'est extrêmement complexe. Je veux dire, en tant que DSI, comment pourrait-on réellement savoir de quel type de refroidissement par liquide on a besoin ou ce qui nous convient le mieux ? Et quels sont les compromis commerciaux que vous faites lorsque vous essayez de déterminer quelle voie est la plus judicieuse ?

Zac Smith : J’ai travaillé quelque temps chez un grand opérateur de centres de données ; nous fonctionnions en mode multi-locataires, et nous avions donc affaire à une multitude de clients différents, des milliers de clients, qui avaient tous des besoins et des configurations différents. Je pense que la première chose à faire est de bien comprendre votre charge de travail et ce que vous cherchez à accomplir, car ce qui pourrait constituer un bon scénario pour votre « usine d’IA » – qui pourrait impliquer des exigences spécifiques de la part de votre fournisseur – pourrait être très différent de votre charge de travail informatique générale ou de modernisation. Je ne pense donc pas que vous puissiez commencer à résoudre ce problème sans réfléchir à la charge de travail et à la pile technologique que vous allez mettre en œuvre du point de vue matériel.

Ensuite, la deuxième chose que je ferais serait tout simplement d’examiner vos locaux. Si vous êtes à la recherche de nouveaux locaux ou si vous construisez vous-même, vous disposez peut-être de plusieurs options et vous pouvez vous permettre d’être un peu plus exigeant vis-à-vis du marché. Mais si vous êtes déjà propriétaire d’un site, vous pouvez imaginer toutes les idées les plus intéressantes, mais vous devez tout de même aller en discuter avec votre partenaire de centre de données. Et l’une de mes premières étapes serait de demander : « Bonjour, quelles options proposez-vous actuellement ? » Je demanderais s’ils fournissent une boucle de refroidissement dans le bâtiment, s’ils vous autorisent à installer une CDU (unité de refroidissement) dans votre rack ou votre cage. Ce seraient les premières questions que je poserais, car cela vous aidera à orienter votre choix : faut-il envisager une porte arrière ? Faut-il envisager une solution adjacente aux puces avec une CDU ? Faut-il envisager une solution entièrement fermée ou par immersion ? C’est là que ça va se jouer. Et la question « secrète » que je poserais également avant que vous ne vous lanciez dans l’immersion concerne simplement le chargement au sol.

Bradd Busick : D'accord.

Zac Smith : Je sais que ça peut paraître une question ennuyeuse, mais il y a beaucoup de gens qui me demandent : « Hé, est-ce que je peux faire ça ? » Et on leur répond : « Non, en fait, c’est au Japon et ils ne peuvent pas supporter une charge au sol aussi élevée par mètre carré. » Alors, ne vous mettez pas dans une situation où vous auriez peut-être conçu et acheté du matériel potentiellement très coûteux, alors que vos locaux ne peuvent pas le supporter.

Bradd Busick : C’est vraiment bien. Au fait, ce ton convaincant que nous entendons tous, c’est celui de tous ces DSI qui viennent de sortir de la route, parce que la dernière fois qu’ils se sont rendus dans leur centre de données, c’était… jamais. J’adore donc cette remise en question : « Écoutez, peut-on faire appel à un partenaire fournisseur ici pour lui demander : “Avons-nous réfléchi à cela ?” » Et je sais que dans le monde de la santé, c’est un peu comme aller voir son médecin et lui dire : « Hé, j’ai entendu parler de ce plan de traitement ou de ce parcours de soins. Qu’en pensez-vous ? » Et d’aborder réellement ce sujet avec votre partenaire, qui devrait être en mesure de vous guider. J’adore donc cette remarque.

Allons peut-être un peu plus loin. Je pense que le mensonge que nous nous sommes toujours raconté, c’est que le refroidissement par liquide était réservé aux hyperscalers et aux mineurs de Bitcoin. Vouliez-vous dire, à ce stade, que tout le monde, quel que soit le secteur d’activité ou le domaine, devrait envisager le refroidissement par liquide comme une solution pour faire fonctionner son entreprise, ou s’agit-il pour l’instant d’une technologie réservée à certains créneaux ?

Zac Smith : Oui. C’est assez intéressant, car si l’on examine la dynamique du secteur, notamment en ce qui concerne les processeurs et les systèmes fabriqués dans le monde, je dirais que 60 % ou 70 % des ordinateurs de la planète finissent par être utilisés par un hyperscaler. Et donc, que l’on conçoive des solutions à la même échelle qu’Amazon ou Microsoft, le fait est que la chaîne d’approvisionnement s’oriente vers là où se trouve le volume.

Bradd Busick : Ouais.

Zac Smith : Et cela signifie que les hyperscalers s'orientent vers des conceptions à refroidissement par liquide et des architectures à haute densité, ce qui implique que vous allez vous orienter dans cette direction vous aussi.

Bradd Busick : Ouais.

Zac Smith : Vous ne le ressentez peut-être pas exactement de la même manière, mais je ne pense pas que vous puissiez aller à l’encontre de cette tendance, ni que vous le souhaitiez, car dans la plupart des cas, vous voulez vous positionner au cœur de la chaîne d’approvisionnement. Il y a évidemment des exceptions. Je pense donc que, même s’il y aura toujours des options à refroidissement par air – et je pense que cela durera encore longtemps –, je suppose que nous disposerons de solutions optimisées conçues pour le refroidissement par air, je pense que le refroidissement liquide va s’intégrer, dans une certaine mesure, dans l’environnement de la plupart des gens, sinon de tout le monde. Et cela se passera exactement comme lorsque nous sommes tous passés à des serveurs à grand nombre de cœurs, car c’est franchement là que la chaîne d’approvisionnement a orienté le marché avec les gros acheteurs.

Bradd Busick : Il existe donc manifestement de nombreux points de vue différents sur le refroidissement par liquide. Voici Chris Carrero, directeur technique chez Park Place Technologies, qui nous parle de certains des défis auxquels sont confrontés les centres de données lors de la mise en œuvre du refroidissement par liquide.

Chris Carrero : L’un des enjeux concerne la gouvernance. Une grande partie de cette gouvernance n’existe pas encore dans le domaine du refroidissement par liquide. Il n’y a vraiment pas beaucoup de normalisation. Les différents fabricants proposent des produits et des connecteurs qui leur sont propres. Il existe des systèmes différents qui ne sont pas interopérables entre eux. Mais cette normalisation doit absolument voir le jour.

Il existe de nombreuses différences entre le refroidissement par air traditionnel et le refroidissement par liquide : les centres de données à refroidissement par air existent depuis 30 ans et tentent de faire fonctionner trois armoires de 10 kW. Aujourd’hui, on parle d’armoires de 50, 150 kW, voire 200 kW. Et puis, à l’horizon, on envisage des racks d’un demi-mégawatt, voire d’un mégawatt, avec certaines des innovations dont parle Nvidia. Ces centres de données ne sont pas conçus pour cela. Je dirais que ce sont les sites « greenfield », c'est-à-dire les nouvelles constructions et les nouvelles conceptions, commencent à intégrer les différentes dispositions nécessaires au refroidissement par liquide, tandis que les installations existantes sont à la traîne et ne disposent pas des éléments nécessaires pour mettre en place ces centres de données : c’est en quelque sorte le défi auquel nous sommes confrontés à l’heure actuelle.

Bradd Busick : Et donc, Zac, si cela doit finir par devenir une évidence pour nous tous dans ce domaine à un moment donné, que ce soit maintenant ou dans trois ans, à votre avis, quel sera le délai nécessaire pour que les DSI commencent réellement à voir cela se concrétiser dans le cadre de leur transition ? Est-ce dans trois ans ? Est-ce en 2030 ? Est-ce le mois prochain ?

Zac Smith : Oui. Je pense que la plupart des DSI ne suivent plus un cycle de renouvellement du matériel de cinq à sept ans dans leur centre de données. Leurs délais sont peut-être un peu plus courts que ça…

Bradd Busick : Ouais.

Zac Smith : … avec certaines évolutions technologiques. Mais trois ans, c’est long. Je pense donc que si vous envisagez de commercialiser des ordinateurs avant 2030, vous devriez probablement vous pencher sur le refroidissement par liquide, et déterminer où et comment l’intégrer à votre gamme de produits. Pouvez-vous le prendre en charge dans vos centres de données ? Comment s’y prendrions-nous ? Quelles sont nos limites ou nos options à cet égard ? Car je pense que vous allez vous réveiller en 2028 ou 2029 : cette technologie sera là avant même que vous ne vous en rendiez compte. Je ne l’ignorerais donc pas. Je mettrais tout en place dès maintenant. Vous pourriez peut-être commencer par un essai ou une sorte de système de laboratoire pour comprendre cela avec un partenaire.

Et ensuite, commencez à vous familiariser avec les aspects opérationnels, car l’introduction de liquides et de ces produits à haute densité entraîne toute une série de changements opérationnels… Ce n’est pas seulement une question de liquide. Vous disposez d’une puissance extrême, voire d’un système. Par exemple, si vous investissez dans une infrastructure d’IA, vous pourriez vous intéresser aux nouveaux serveurs Vera Rubins ou Grace Hopper. Ces serveurs coûtent quelques centaines de milliers de dollars pièce.

Bradd Busick : Ouais. Ouais.

Zac Smith : Et on ne peut pas simplement intervenir pour les réparer. Une partie importante de votre infrastructure informatique risque d'être hors service parce que…

Bradd Busick : C'est exact.

Zac Smith : … tu as eu un problème avec le circuit de refroidissement à liquide et tu ne l’as pas surveillé, du coup ça a grillé le système à 300 000 dollars et maintenant tu es dans le pétrin parce que la garantie n’est plus valable.

Bradd Busick : C'est tout à fait vrai.

Zac Smith : Même si vous comptez vous lancer un peu dans ce domaine, que ce soit l'IA ou la haute performance, vous devez commencer à réfléchir à la mise en place de formations et d'initiatives pilotes.

Bradd Busick : J'adore cette approche pédagogique. Je veux dire, il y a toute une génération de professionnels de l'informatique avec lesquels nous avons tous les deux travaillé, et dont toute la carrière s'est construite autour d'une architecture à refroidissement par air ; nous sommes habitués à avoir des ventilateurs.

Zac Smith : Ouais.

Bradd Busick : Ou alors, pendant une panne, les gens portent des casques audio et appellent depuis le centre de données pour essayer de remettre le système en marche, mais ils devaient porter ces casques parce que le bruit des ventilateurs était trop fort.

Zac Smith : C'est tellement bruyant.

Bradd Busick : Si nous devons aider nos collègues qui nous écoutent ici à traverser cette phase de transition, parlez-nous un peu de ces exemples édifiants que vous avez entendus concernant la mise en œuvre du refroidissement par liquide. Je veux dire, tout cela a l’air vraiment génial. Je pense que tous les DSI que je connais se rendent dans des centres de présentation pour cadres supérieurs, que nous allons à des salons professionnels et que je discute avec mes partenaires, et du côté des fournisseurs, tout semble formidable, mais vous avez en quelque sorte évoqué certaines de ces difficultés opérationnelles. Donnez-moi quelques pistes sur les questions à poser et les éléments à prendre en compte si l’on souhaite commencer à tester cette fonctionnalité ?

Zac Smith : Eh bien, je pense que nous avons, depuis longtemps, bénéficié de ce que j’appellerais soit une « ignorance béate », soit une « bifurcation » entre notre partenaire matériel et notre partenaire de centre de données, ce qui nous permettait en quelque sorte d’acheter tout ce que nous voulions et, en général, de l’installer où bon nous semblait.

Bradd Busick : Ouais.

Zac Smith : D’accord. Peut-être que ça coûte un peu plus cher parce qu’on a quelques câbles d’alimentation supplémentaires. Mais cette époque est révolue, et on ne peut plus concevoir ni acheter du matériel sans se concerter avec son centre de données…

Bradd Busick : C'est exact.

Zac Smith : … ou un partenaire d’exploitation en parallèle. Et je pense que la question ne se limite pas à savoir si cela peut fonctionner, si nous disposons des raccordements nécessaires, de la disponibilité, des autorisations réglementaires, etc. Il y a quelques véritables problèmes opérationnels qu’il faut, à mon avis, mettre en évidence. La première concerne tout simplement l’observabilité. Disposez-vous des outils système nécessaires pour observer et surveiller cette infrastructure mécanique supplémentaire ? Il peut s’agir d’une CDU, d’une pompe, d’un débit ou d’une température au niveau de chaque serveur. Donc, les indicateurs — et j’ai entendu cela de la part de certains de nos partenaires en IA avec lesquels j’ai travaillé — peuvent être extrêmes, au point où vous récupérez des données de télémétrie…

Bradd Busick : Ouais.

Zac Smith : … de l’infrastructure de refroidissement liquide plus que de votre infrastructure de serveurs, dans une certaine mesure…

Bradd Busick : Ouais.

Zac Smith : … parce que vous exploitez en gros une usine mécanique, ou bien qu’il y a quelqu’un quelque part.

Bradd Busick : Ouais.

Zac Smith : Et donc, je pense que c’est un aspect important : il s’agit simplement d’examiner votre arsenal d’outils en matière de logiciels et de gestion informatique, et de se demander s’il sera suffisant ou si vous devrez investir davantage dans les outils opérationnels associés.

Et puis, le deuxième, que j'aime appeler « le problème de 2 h du matin », Et le problème de 2 h du matin, c’est que votre serveur super cool, qui exécute la charge de travail de production, tout se passe bien, et je ne sais pas pourquoi, mais quelque chose tombe en panne. Disons simplement que c’est un disque dur. Vous devez aller remplacer ce disque dur. Normalement, vous ouvrez un petit ticket d’assistance, votre partenaire de centre de données ou votre équipe technique sur place va intervenir, remplacer le disque, et le tour est joué.

Bradd Busick : Exactement.

Zac Smith : Mais et si tu as tout un tas de tuyaux de liquide et que tu ne peux pas les retirer du rack parce que tu ne sais pas comment ouvrir le tuyau de liquide ? Que se passe-t-il si je débranche ça ?

Bradd Busick : Exactement.

Zac Smith : Avant, c'était juste que les données baissaient, mais là, je vais me retrouver avec un liquide de refroidissement bizarre et ça va me tuer, ou ça va…

Bradd Busick : Ouais.

Zac Smith : … mettre le centre de données en piteux état ? Je ne vais pas m'aventurer sur ce terrain. Et donc, l'autre point qui, selon moi, mérite vraiment d'être abordé, c'est la suivi des opérations du deuxième jour : savons-nous comment nous allons nous y prendre ? Et nos partenaires sur place – qu’il s’agisse d’un simple fournisseur que nous contactons, d’une équipe d’intervention à distance ou de notre propre équipe – vont-ils être formés ? Car ils pourraient dire : « Je ne peux pas toucher à ça. Je ne sais pas ce qui est rouge ou bleu. »

Bradd Busick : À 100 %. Oui.

Zac Smith : « Est-ce que je le prends, celui-là ? »

Bradd Busick : Ouais.

Zac Smith : C'est le problème de 2 h du matin.

Bradd Busick : Eh bien, je n’ai pas manqué de remarquer que le thème d’aujourd’hui porte sur le fait de rester cool, et je pense que tous les auditeurs seront d’accord pour dire que nous avons reçu aujourd’hui l’un des types les plus cool du milieu. Zac, merci beaucoup de nous avoir rejoints dans « The Savvy CIO ». Nous apprécions le temps que vous nous avez consacré.

Zac Smith : C'est avec plaisir.

Bradd Busick : Lorsque l’on réfléchit à cet univers extrêmement diversifié, il m’a semblé très clair que les contraintes physiques n’étaient plus un obstacle, et que nous dépassons rapidement les capacités de nos centres de données. C’est pourquoi le DSI moderne d’aujourd’hui doit commencer à prendre conscience du fait que ses charges de travail liées à l’IA dépassent de loin ce que le système de refroidissement standard peut réellement supporter, ce qui ouvre alors la voie à des discussions vraiment intéressantes avec votre fournisseur. Comment formuler les bonnes questions à poser à votre fournisseur, et quelles sont vos nouvelles exigences opérationnelles auxquelles votre fournisseur n’a peut-être pas encore pensé ? La nouvelle infrastructure IA moderne nécessite une alimentation électrique et un refroidissement à une échelle et à un niveau différents, disposer d’un partenaire de réflexion capable de vous aider à aborder certaines de ces questions dont, avant d’écouter cet épisode, vous ne saviez peut-être même pas qu’il fallait les poser.

C'est tout pour aujourd'hui. Merci beaucoup de nous avoir écoutés. N'hésitez pas à nous suivre pour ne manquer aucun épisode. Vous écoutiez « The Savvy CIO », une émission présentée par Park Place Technologies. Si vous souhaitez en savoir plus sur Park Place, rendez-vous sur www.parkplacetechnologies.com. Et maintenant, un dernier mot de notre invité. Cette émission s’intitule donc « The Savvy CIO ». Zac, quel est le choix le plus judicieux que vous ayez fait dans votre carrière jusqu’à présent ?

Zac Smith : Le choix le plus judicieux que j’aie jamais fait a sans doute été de poser des questions stupides à absolument toutes les personnes que je croisais. Je pense que c’est l’un des superpouvoirs de notre secteur. Il y a beaucoup de gens prêts à aider, tout le monde est ravi de partager ses connaissances, et cela m’a été utile à de nombreuses reprises : être le « naïf » de la pièce et poser juste une question de plus.

Bradd Busick : C’est vraiment une excellente remarque. On n’a pas toujours besoin d’être celui qui détient la réponse. En fait, il suffit simplement d’être celui qui a le courage de dire « Je ne sais pas ». Merci beaucoup pour cela. Je suis votre animateur, Bradd Busick, et comme toujours, l’informatique ne doit pas se limiter à la table. L’informatique, c’est la table.

Spécialiste chevronné du cloud, fort de 25 ans d’expérience. Après avoir fait mes débuts aux débuts de l’hébergement Linux (Voxel), j’ai fondé une start-up spécialisée dans l’automatisation des serveurs « bare metal » (Packet), puis j’ai dirigé les services d’infrastructure numérique chez Equinix. Je développe aujourd’hui Datum afin de contribuer à la mise en place des 1 000 prochains clouds.