O diretor de tecnologia (CTO) Chris Carreiro na revista AI Journal

Chris Carreiro, diretor de tecnologia (CTO) da Park Place Technologies, é destaque em um artigo intitulado: “Por que a IA só é tão boa quanto a rede por trás dela.”

No artigo, Chris argumenta que a preparação para a IA costuma ser medida com o critério errado: as organizações contam GPUs e capacidade de computação, enquanto a infraestrutura ao redor fica para trás. Como o treinamento e a inferência ocorrem em uma cadeia que envolve armazenamento, rede, servidores e aplicativos, o elo mais fraco determina o ritmo de todo o sistema; além disso, os clusters de GPUs geram um tráfego intenso entre servidores, que é muito mais sensível à latência do que os padrões de uso dos usuários para os quais a maioria das redes corporativas foi projetada. Assim, o congestionamento em um único nó pode desacelerar um cluster inteiro.

O modo de falha consiste em uma degradação gradual ao longo de meses, em vez de uma interrupção visível, e o monitoramento convencional, dispositivo por dispositivo, não consegue detectá-la: todos os componentes podem apresentar-se como em bom estado, enquanto a carga de trabalho apresenta baixo desempenho, e os intervalos de sondagem são lentos demais para identificar o congestionamento que ocorre em frações de segundo.

A recomendação é a observabilidade da rede; monitorar os caminhos dos dados em vez dos dispositivos, ficar atento aos primeiros sinais de degradação em vez de falhas definitivas e usar essa visibilidade para um planejamento de capacidade baseado em evidências, já que uma lentidão atribuída à capacidade da GPU pode, na verdade, ser um gargalo na rede.

Você pode ler o artigo de Chris na revista AI aqui; https://aijourn.com/why-ai-is-only-as-good-as-the-network-behind-it/