Com fome de IA? Novo supercomputador contém 16 chips do tamanho de um prato

Na segunda-feira, a Cerebras Techniques revelou seu supercomputador Andromeda AI de 13,5 milhões de núcleos para aprendizado profundo, relatórios Reuters. De acordo com a Cerebras, o Andromeda oferece mais de 1 exaflop (1 quintilhão de operações por segundo) de poder computacional de IA com meia precisão de 16 bits.

A própria Andrômeda é um aglomerado de 16 Cerebras C-2 computadores interligados. Cada CS-2 contém um Chip do motor Wafer Scale (muitas vezes chamado de “WSE-2”), que é atualmente o maior chip de silício já fabricado, com cerca de 8,5 polegadas quadradas e embalado com 2,6 trilhões de transistores organizados em 850.000 núcleos.

A Cerebras construiu o Andromeda em um information middle em Santa Clara, Califórnia, por US$ 35 milhões. Ele é ajustado para aplicativos como grandes modelos de linguagem e já está em uso para trabalhos acadêmicos e comerciais. “O Andromeda oferece dimensionamento quase perfeito por meio de paralelismo de dados simples em modelos de linguagem grandes da classe GPT, incluindo GPT-3, GPT-J e GPT-NeoX”, escreve Cerebras em um comunicado de imprensa.

A frase “escalonamento quase perfeito” significa que, à medida que o Cerebras adiciona mais unidades de computador CS-2 ao Andromeda, o tempo de treinamento nas redes neurais é reduzido em “proporção quase perfeita”, de acordo com o Cerebras. Normalmente, para escalar um modelo de aprendizado profundo adicionando mais poder de computação usando sistemas baseados em GPU, pode-se ver rendimentos decrescentes à medida que os custos de {hardware} aumentam. Além disso, a Cerebras afirma que seu supercomputador pode executar tarefas que os sistemas baseados em GPU não podem:

O trabalho impossível da GPU foi demonstrado por um dos primeiros usuários do Andromeda, que alcançou um dimensionamento quase perfeito no GPT-J em 2,5 bilhões e 25 bilhões de parâmetros com longos comprimentos de sequência – MSL de 10.240. Os usuários tentaram fazer o mesmo trabalho no Polaris, um cluster Nvidia A100 de 2.000, e as GPUs não conseguiram fazer o trabalho devido às limitações de memória e largura de banda da GPU.”

Ainda não se sabe se essas alegações resistem ao escrutínio externo, mas em uma period em que as empresas costumam treinar modelos de aprendizado profundo em plataformas cada vez maiores aglomerados das GPUs Nvidia, a Cerebras parece estar oferecendo uma abordagem alternativa.

Como o Andromeda se compara a outros supercomputadores? Atualmente, o mais rápido do mundo, Fronteira, reside no Oak Ridge Nationwide Labs e pode executar em 1.103 exaflops em precisão dupla de 64 bits. Esse computador custou US$ 600 milhões para ser construído.

O acesso ao Andromeda já está disponível para uso remoto por vários usuários. Já está sendo utilizado pelo assistente de redação comercial JasperAEu e o Argonne Nationwide Laboratory, e a Universidade de Cambridge para pesquisa.