EaPU e memristores: avanço chinês para tornar a IA muito mais eficiente

Chips a gemer, contadores de electricidade a disparar: investigadores na China anunciam um avanço que pode tornar a inteligência artificial (IA) muito mais poupada em energia.

Hoje, centros de dados dedicados à IA consomem electricidade ao nível de cidades inteiras. Enquanto as grandes tecnológicas continuam a projectar novas salas de servidores, há quem esteja a mexer noutro ponto crítico: a forma fundamental como as redes neuronais calculam e aprendem. Um grupo de investigação chinês apresenta agora uma abordagem que, além de reduzir o consumo, também lida melhor com as imperfeições do hardware moderno.

Porque é que a IA consome tanta energia hoje

Por trás do ChatGPT, dos geradores de imagens e dos assistentes de voz estão redes neuronais gigantes. Regra geral, estas redes correm em supercomputadores com imensos processadores e placas gráficas. Cada ciclo de treino implica milhares de milhões de operações, e os dados são constantemente transportados entre memória e unidades de cálculo.

É precisamente esse vaivém que sai caro em energia. Mesmo que os chips se tornem mais eficientes, a procura cresce ainda mais depressa, porque os modelos continuam a aumentar de dimensão. Analistas já alertam que, nos próximos anos, o consumo eléctrico dos centros de dados poderá subir de forma acentuada devido à IA.

Uma via de fuga passa pelas chamadas arquitecturas in-memory: em vez de ir buscar dados à memória a toda a hora, as contas são feitas no próprio local onde a informação está guardada.

Memristores: calcular directamente na memória

No centro do novo estudo estão os memristores. São componentes electrónicos cujo valor de resistência pode ser alterado de forma duradoura. Simplificando: “lembram-se” de quanta corrente passou antes - daí o nome, que junta “Memory” e “Resistor”.

Em redes neuronais, os memristores podem servir para guardar as forças de ligação, isto é, os pesos. Ao mesmo tempo, graças às suas propriedades físicas, também podem participar directamente nos cálculos. Em teoria, isto poupa muita energia, porque é preciso mover muito menos dados.

O entrave é que os memristores não são perfeitos. Tendem a ter pequenas imprecisões, flutuações e ruído. Para modelos de IA que dependem de valores numéricos exactos, isto é problemático. Até agora, essas incertezas afectavam tanto a qualidade e a estabilidade das redes que o ganho de eficiência, apesar de existir no papel, ficava difícil de aproveitar.

A ideia por trás do EaPU: aceitar erros em vez de os combater

É aqui que entra a nova proposta vinda da China. Os investigadores criaram um método de treino chamado “error‑aware probabilistic update”, abreviado para EaPU. A lógica é pouco habitual: o sistema tolera pequenos erros, em vez de tentar corrigi-los à força.

“A estratégia central do EaPU: só escrever quando um parâmetro tem mesmo de mudar de forma clara - todas as mini‑correcções são eliminadas.”

Na prática, o processo funciona assim:

• Em cada passo de aprendizagem, a rede avalia quanto um peso teria de mudar.
• Alterações minúsculas abaixo de um limiar de tolerância ficam por fazer.
• Em cada passo, apenas uma fracção ínfima dos pesos - menos de 0,1 por cento - é efectivamente escrita.
• O método é probabilístico: a realização de uma actualização depende do tamanho do erro e de componentes aleatórias.

O ponto-chave: escrever num memristor consome bastante mais energia do que ler. Ao tornar a escrita extremamente rara, o algoritmo corta quase por completo o principal “devorador” de energia.

Enorme poupança de energia e maior vida útil

Segundo o grupo, os efeitos são marcantes. Face a métodos anteriores de treino em memristores, a energia necessária para aprender baixa por um factor 50. E a comparação com sistemas clássicos baseados em placas gráficas é ainda mais impressionante:

“De acordo com os cálculos do grupo, um sistema treinado com EaPU consome cerca de um milhão de vezes menos energia do que uma configuração comparável baseada em clusters modernos de GPU.”

Há ainda um segundo benefício: cada operação de escrita desgasta o memristor e reduz a sua durabilidade. Se apenas uma pequena parte das células for escrita regularmente, os componentes aguentam muito mais tempo. O estudo aponta para um aumento da vida útil esperada por um factor 1.000.

De forma inesperada, os investigadores não reportam apenas menos consumo, mas também melhores resultados. A precisão das redes sobe cerca de 60 por cento quando comparada com abordagens anteriores baseadas em memristores. Assim, o desempenho aproxima-se do que se obtém em supercomputadores clássicos.

Primeiros testes: remover ruído e recuperar detalhe em imagens

Para não ficar apenas pelo plano teórico, os cientistas recorreram a uma matriz real de memristores à escala dos nanómetros. Nessa base, treinaram redes neuronais para duas tarefas:

• remover ruído de imagens;
• reconstruir imagens em resolução superior (super‑resolution).

Em ambos os casos, os modelos atingiram resultados comparáveis aos de métodos digitais convencionais - mas com um gasto energético muito menor. A própria equipa sublinha que o hardware ainda era relativamente pouco refinado; na sua leitura, componentes mais modernos e com estrutura mais fina poderão amplificar ainda mais estes efeitos.

Isto pode também alimentar grandes modelos de linguagem?

A pergunta surge naturalmente: será que o EaPU dá para aplicar a grandes modelos de linguagem (LLM), isto é, sistemas na escala do ChatGPT e semelhantes? A resposta do grupo chinês é que é muito provável, embora ainda não o tenham testado.

Os princípios de treino - muitos pesos, muitas correcções pequenas, elevada frequência de escrita - são semelhantes tanto em modelos de imagem como em modelos de linguagem. Nos LLM, a poupança potencial seria enorme, porque entram em jogo milhares de milhões até biliões de parâmetros. Mesmo que apenas uma pequena percentagem precisasse de ser escrita com regularidade, o impacto poderia ser gigantesco.

Os investigadores salientam também que o EaPU não está preso aos memristores. Em teoria, o conceito pode ser transferido para outros componentes, como:

• transístores ferroeléctricos;
• memórias RAM magnetorresistivas (MRAM);
• outras tecnologias de memória neuromórfica.

Desta forma, o EaPU pode funcionar como uma espécie de plano de construção para hardware de IA de baixo consumo, independentemente da geração concreta de chips.

O que memristores e afins significam para quem não é especialista

Para quem não lida diariamente com semicondutores, a forma mais intuitiva de imaginar um memristor é como um regulador analógico com memória. Em vez de apenas “ligado” ou “desligado”, existem muitos níveis intermédios que ficam guardados de forma persistente. Uma rede neuronal precisa precisamente dessas gradações finas para reconhecer padrões.

Num computador tradicional, estes valores são armazenados digitalmente e têm de ser carregados de novo a cada cálculo. Num array de memristores, eles estão directamente numa grelha física por onde passam correntes. Operações matemáticas que, de outra forma, exigiriam milhões de contas individuais podem ocorrer ali num único passo, como processo físico.

É esta combinação - comportamento analógico, função de memória e processamento local - que torna estes componentes tão apelativos, sobretudo numa altura em que estados e empresas procuram formas de não sobrecarregar ainda mais as redes eléctricas.

Oportunidades e questões em aberto para o futuro da IA

Para operadores de grandes centros de dados, um uso prático de EaPU com hardware de memristores poderia representar uma mudança de rumo real. Menos consumo energético não só reduz custos, como também simplifica a criação de novos locais, por exigir menos refrigeração e menos infra-estrutura.

Ao mesmo tempo, há dúvidas por esclarecer: até que ponto um sistema destes se integra bem nos stacks actuais de IA? Que ferramentas de software serão necessárias para que os programadores não tenham de reescrever tudo de raiz? E quão previsíveis serão grandes arrays de memristores ao fim de anos em funcionamento contínuo?

Uma coisa é clara: se os resultados agora divulgados se confirmarem à escala maior, a corrida por hardware de IA mais eficiente pode acelerar bastante. Enquanto uns continuam a apostar em quintas de GPU cada vez maiores, este caminho sugere que um treino mais inteligente - capaz de conviver com imprecisões - pode ter um efeito tão forte quanto o próximo salto em chips.