Chris Carreiro, directeur technique, dans l'AI Journal

Chris Carreiro, directeur technique chez Park Place Technologies, intervient dans un article intitulé : «Pourquoi l’IA ne vaut que par la qualité du réseau qui la sous-tend ».

Dans cet article, Chris soutient que la préparation à l’IA est généralement évaluée à l’aune d’un critère erroné : les organisations se concentrent sur le nombre de GPU et la puissance de calcul, alors que l’infrastructure environnante reste à la traîne. Comme l'entraînement et l'inférence s'effectuent à travers une chaîne comprenant le stockage, le réseau, les serveurs et les applications, c'est le maillon le plus faible qui détermine le rythme de l'ensemble du processus. De plus, les clusters de GPU génèrent un trafic serveur-à-serveur intense, bien plus sensible à la latence que les modèles d'utilisation pour lesquels la plupart des réseaux d'entreprise ont été conçus ; ainsi, la congestion d'un seul nœud peut ralentir l'ensemble du cluster.

Le mode de défaillance se caractérise par une dégradation progressive s'étalant sur plusieurs mois plutôt que par une panne visible, et la surveillance classique, appareil par appareil, ne permet pas de la détecter : chaque composant peut indiquer qu'il fonctionne correctement alors que la charge de travail affiche des performances insuffisantes, et les intervalles d'interrogation sont bien trop longs pour permettre de détecter une congestion qui se produit en quelques fractions de seconde.

La recommandation porte sur l'observabilité du réseau : il convient de suivre les chemins de données plutôt que les périphériques, de surveiller les premiers signes de dégradation plutôt que les pannes avérées, et d'utiliser cette visibilité pour une planification des capacités fondée sur des données concrètes, car un ralentissement attribué à la capacité des GPU peut en réalité être dû à un goulot d'étranglement au niveau du réseau.

Vous pouvez lire l'article de Chris dans la revue AI ici ; https://aijourn.com/why-ai-is-only-as-good-as-the-network-behind-it/