Comece pelo servidor, reúna todos os aceleradores em uma visualização consolidada e, em seguida, analise detalhadamente cada GPU para verificar a carga, a temperatura, o consumo de energia e o estado de integridade em tempo real.

Os ambientes de IA raramente dependem de um único fornecedor. O Entuity monitora aceleradores da NVIDIA, AMD e Intel, incluindo o Intel Gaudi, em uma única plataforma. Ele detecta automaticamente quais ferramentas de fornecedores um host suporta e monitora um servidor com equipamentos de diferentes fornecedores como se fosse um único dispositivo.

O monitoramento apenas no nível do servidor se limita ao host. O Entuity modela cinco tipos de objetos abaixo do servidor: o dispositivo de GPU, instâncias de GPU, como partições NVIDIA MIG, partições AMD e funções virtuais Intel SR-IOV, instâncias de computação, links de GPU e switches de malha de GPU.

Seus aceleradores não operam isoladamente. O “ Entuity ” os coloca na mesma plataforma e na mesma linha do tempo de incidentes que a rede, os servidores, o armazenamento e a energia dos quais dependem.

Falhas na GPU raramente ocorrem sem aviso prévio. O Entuity monitora os contadores que sinalizam problemas antecipadamente, para que sua equipe possa agir enquanto as cargas de trabalho ainda estão em execução.

Erros de memória costumam ser o primeiro sinal de alerta emitido por uma GPU. O Entuity monitora os contadores de erros ECC corrigidos e não corrigidos em cada GPU, com limites definidos por padrão que são acionados sempre que houver um aumento. Uma placa que deixa de enviar relatórios é sinalizada como ausente, em vez de desaparecer silenciosamente.

Falhas nas conexões são uma das principais causas de inatividade em clusters de GPUs, e é fácil não perceber uma conexão que, embora esteja ativa, esteja apresentando degradação. O Entuity monitora as interconexões que ligam suas GPUs, incluindo NVIDIA NVLink®, AMD xGMI, Intel Xe Link e portas Gaudi. Ele acompanha o status da conexão, a largura de banda e os contadores de erros de CRC, repetição e recuperação.

Visibilidade no nível dos switches da malha da GPU, incluindo o NVIDIA NVSwitch™, que exibe temperatura, largura de banda e contadores de erros fatais e não fatais. Sua equipe identifica sinais precoces de degradação do link e pode tomar medidas proativas, em vez de diagnosticar o problema somente após uma falha.

Os servidores com resfriamento a líquido dependem inteiramente da infraestrutura de resfriamento ao seu redor. O Entuity integra essa infraestrutura à mesma visualização dos recursos de computação que ela protege.

Entuity oferece suporte pronto para uso para resfriamento por imersão e resfriamento líquido direto no chip de fornecedores líderes, incluindo ACCELSIUS™, GRC®, nVent® e ZutaCore®. Ele coleta dados diretamente do controlador de resfriamento, em vez de encaminhá-los pelo sistema de gerenciamento predial.

Monitore o vazão, a velocidade e o feedback da bomba, a temperatura e o diferencial do líquido de refrigeração de alimentação e retorno, bem como a pressão do sistema e do coletor. O “ Entuity ” também monitora o nível do reservatório, a posição e o ponto de ajuste da válvula, a detecção de vazamentos e as temperaturas do rack e do ar.

Quando um alarme de resfriamento e um alerta de temperatura da GPU aparecem na mesma linha do tempo de incidentes, sua equipe vê a causa e a consequência juntas. Ninguém precisa fazer correlações entre sistemas diferentes às 2 da manhã.