El director técnico Chris Carreiro en AI Journal

Chris Carreiro, director técnico de Park Place Technologies, aparece en un artículo titulado: «Por qué la IA solo es tan buena como la red que la respalda».

En el artículo, Chris sostiene que la preparación para la IA suele medirse con un criterio erróneo: las organizaciones se fijan en el número de GPU y la potencia de cálculo, mientras que la infraestructura circundante se queda rezagada. Dado que el entrenamiento y la inferencia se ejecutan a lo largo de una cadena formada por almacenamiento, red, servidores y aplicaciones, el eslabón más débil marca el ritmo de todo lo demás, y los clústeres de GPU generan un intenso tráfico de servidor a servidor que es mucho más sensible a la latencia que los patrones impulsados por los usuarios para los que se diseñaron la mayoría de las redes empresariales, por lo que la congestión en un solo nodo puede ralentizar todo un clúster.

El modo de fallo consiste en una degradación gradual a lo largo de meses, en lugar de una interrupción visible, y la supervisión convencional, dispositivo por dispositivo, no lo detecta: todos los componentes pueden indicar que funcionan correctamente mientras que la carga de trabajo presenta un rendimiento inferior al esperado, y los intervalos de sondeo son demasiado lentos para detectar la congestión que se produce en fracciones de segundo.

La recomendación es la observabilidad de la red: realizar un seguimiento de las rutas de datos en lugar de los dispositivos, estar atentos a los primeros indicios de deterioro en lugar de a los fallos evidentes, y utilizar esa visibilidad para una planificación de la capacidad basada en datos, ya que una ralentización que se atribuye a la capacidad de la GPU puede deberse en realidad a un cuello de botella en la red.

Puedes leer el artículo de Chris en la revista AI Journal aquí; https://aijourn.com/why-ai-is-only-as-good-as-the-network-behind-it/