Il CTO Chris Carreiro su AI Journal

Chris Carreiro, CTO di Park Place Technologies, è protagonista di un articolo intitolato: «Perché l’intelligenza artificiale è valida solo quanto la rete su cui si basa".

Nell’articolo, Chris sostiene che la preparazione all’IA venga solitamente misurata con un parametro errato: le organizzazioni contano le GPU e la potenza di calcolo, mentre l’infrastruttura circostante rimane indietro. Poiché l’addestramento e l’inferenza si svolgono lungo una catena composta da storage, rete, server e applicazioni, l’anello più debole determina il ritmo di tutto il resto; inoltre, i cluster di GPU generano un intenso traffico da server a server che è molto più sensibile alla latenza rispetto ai modelli di traffico generati dagli utenti per cui sono state progettate la maggior parte delle reti aziendali, pertanto la congestione su un singolo nodo può rallentare l’intero cluster.

La modalità di guasto consiste in un degrado graduale che si protrae per mesi, piuttosto che in un'interruzione visibile, e il monitoraggio convenzionale dispositivo per dispositivo non è in grado di rilevarlo: ogni componente può risultare funzionante mentre il carico di lavoro presenta prestazioni insufficienti, e gli intervalli di polling sono troppo lenti per rilevare la congestione che si verifica in frazioni di secondo.

La raccomandazione è quella di puntare sull'osservabilità della rete: monitorare i percorsi dei dati anziché i dispositivi, individuare i primi segnali di degrado piuttosto che i guasti veri e propri e utilizzare tale visibilità per una pianificazione della capacità basata su dati concreti, poiché un rallentamento attribuito alla capacità della GPU potrebbe in realtà essere un collo di bottiglia nella rete.

Puoi leggere l'articolo di Chris sulla rivista AI qui; https://aijourn.com/why-ai-is-only-as-good-as-the-network-behind-it/