CTO Chris Carreiro in het AI Journal

Chris Carreiro, CTO bij Park Place Technologies, komt aan het woord in een artikel met de titel: ‘Waarom AI slechts zo goed is als het netwerk erachter.’

In het artikel stelt Chris dat de AI-gereedheid meestal met de verkeerde maatstaf wordt gemeten: organisaties tellen GPU’s en rekenkracht, terwijl de omliggende infrastructuur achterblijft. Omdat training en inferentie plaatsvinden via een keten van opslag, netwerk, servers en applicaties, bepaalt de zwakste schakel het tempo voor de rest. Bovendien genereren GPU-clusters intensief server-naar-serververkeer dat veel gevoeliger is voor vertraging dan de gebruikersgestuurde patronen waarvoor de meeste bedrijfsnetwerken zijn ontworpen, waardoor congestie op één enkel knooppunt een heel cluster kan vertragen.

De storingswijze bestaat uit een geleidelijke verslechtering in de loop van maanden in plaats van een zichtbare uitval, en met conventionele monitoring per apparaat wordt dit niet opgemerkt: elk onderdeel kan als ‘in orde’ worden gemeld terwijl de werklast ondermaats presteert, en de polling-intervallen zijn veel te traag om congestie te detecteren die zich in fracties van een seconde voordoet.

De aanbeveling is om het netwerk goed in de gaten te houden: volg datapaden in plaats van apparaten, let op vroege tekenen van prestatieverlies in plaats van op complete uitval, en gebruik dat inzicht voor een op feiten gebaseerde capaciteitsplanning, aangezien een vertraging die aan de GPU-capaciteit wordt toegeschreven, in werkelijkheid een knelpunt in het netwerk kan zijn.

Je kunt het artikel van Chris in het tijdschrift AI hier lezen; https://aijourn.com/why-ai-is-only-as-good-as-the-network-behind-it/