Algoritmos que usam o sinal de comunicação do cérebro agora podem funcionar em chips neuromórficos analógicos, que imitam de perto nossos cérebros energeticamente eficientes.
Os algoritmos de inteligência artificial mais bem-sucedidos de hoje, as redes neurais artificiais, são vagamente baseados nas intrincadas teias de redes neurais reais em nossos cérebros. Mas, ao contrário de nossos cérebros altamente eficientes, executar esses algoritmos em computadores consome quantidades chocantes de energia: os modelos maiores consomem quase tanta energia quanto cinco carros ao longo de suas vidas.
Entre na computação neuromórfica, uma correspondência mais próxima aos princípios de design e à física de nossos cérebros que podem se tornar o futuro de economia de energia da IA. Em vez de transportar dados por longas distâncias entre uma unidade central de processamento e chips de memória, os designs neuromórficos imitam a arquitetura da massa gelatinosa em nossas cabeças, com unidades de computação (neurônios) colocadas próximas à memória (armazenadas nas sinapses que conectam os neurônios). . Para torná-los ainda mais parecidos com o cérebro, os pesquisadores combinam chips neuromórficos com computação analógica, que pode processar sinais contínuos, assim como neurônios reais. Os chips resultantes são muito diferentes da arquitetura atual e do modo de computação de computadores somente digitais que dependem do processamento de sinal binário de 0s e 1s.
Com o cérebro como guia, os chips neuromórficos prometem um dia demolir o consumo de energia de tarefas de computação com muitos dados, como a IA. Infelizmente, os algoritmos de IA não funcionaram bem com as versões analógicas desses chips por causa de um problema conhecido como incompatibilidade de dispositivos: no chip, pequenos componentes dentro dos neurônios analógicos são incompatíveis em tamanho devido ao processo de fabricação. Como os chips individuais não são sofisticados o suficiente para executar os procedimentos de treinamento mais recentes, os algoritmos devem primeiro ser treinados digitalmente em computadores. Mas então, quando os algoritmos são transferidos para o chip, seu desempenho cai quando encontram a incompatibilidade no hardware analógico.
Agora, um artigo publicado no mês passado no Proceedings of the National Academy of Sciences finalmente revelou uma maneira de contornar esse problema. Uma equipe de pesquisadores liderada por Friedemann Zenke no Instituto Friedrich Miescher de Pesquisa Biomédica e Johannes Schemmel na Universidade de Heidelberg mostrou que um algoritmo de IA conhecido como rede neural spiking – que usa o sinal de comunicação distinto do cérebro, conhecido como pico – poderia trabalhe com o chip para aprender a compensar a incompatibilidade do dispositivo. O artigo é um passo significativo em direção à computação neuromórfica analógica com IA.
“O incrível é que funcionou tão bem”, disse Sander Bohte, especialista em redes neurais do CWI, o instituto nacional de pesquisa em matemática e ciência da computação da Holanda. “É uma grande conquista e provavelmente um modelo para mais com sistemas neuromórficos analógicos.”
A importância da computação analógica para a computação baseada no cérebro é sutil. A computação digital pode representar efetivamente um aspecto binário do sinal de pico do cérebro, um impulso elétrico que dispara através de um neurônio como um raio. Tal como acontece com um sinal digital binário, ou o pico é enviado ou não. Mas os picos são enviados ao longo do tempo continuamente – é um sinal analógico – e como nossos neurônios decidem enviar um pico em primeiro lugar também é contínuo, com base em uma voltagem dentro da célula que muda ao longo do tempo. (Quando a voltagem atinge um limite específico em comparação com a voltagem fora da célula, o neurônio envia um pico.)
“No analógico está a beleza das computações centrais do cérebro. Emular esse aspecto-chave do cérebro é um dos principais impulsionadores da computação neuromórfica”, disse Charlotte Frenkel, pesquisadora de engenharia neuromórfica da Universidade de Zurique e da ETH Zurich.
Em 2011, um grupo de pesquisadores da Universidade de Heidelberg começou a desenvolver um chip neuromórfico com aspectos analógicos e digitais para modelar de perto o cérebro para experimentos de neurociência. Agora liderada por Schemmel, a equipe revelou a versão mais recente do chip, apelidado de BrainScaleS-2. Cada neurônio analógico no chip imita as correntes de entrada e saída de uma célula cerebral e as mudanças de voltagem.
“Você realmente tem um sistema dinâmico que está trocando informações continuamente”, disse Schemmel. E como os materiais têm propriedades elétricas diferentes, o chip transfere informações 1.000 vezes mais rápido que nossos cérebros.
Mas como as propriedades dos neurônios analógicos variam muito ligeiramente ? o problema da incompatibilidade do dispositivo ? as voltagens e os níveis de corrente também variam entre os neurônios. Os algoritmos não conseguem lidar com isso, pois foram treinados em computadores com neurônios digitais perfeitamente idênticos e, de repente, seu desempenho no chip despenca.
O novo trabalho mostra um caminho a seguir. Ao incluir o chip no processo de treinamento, os autores mostraram que as redes neurais poderiam aprender a corrigir as tensões variáveis no chip BrainScaleS-2. “Esta configuração de treinamento é uma das primeiras provas convincentes de que a variabilidade pode não apenas ser compensada, mas também provavelmente explorada”, disse Frenkel.
Para lidar com a incompatibilidade de dispositivos, a equipe combinou uma abordagem que permite que o chip converse com o computador com um novo método de aprendizado chamado gradientes substitutos, co-desenvolvido por Zenke especificamente para redes neurais de pico. Ele funciona alterando as conexões entre os neurônios para minimizar quantos erros uma rede neural comete em uma tarefa. (Isso é semelhante ao método usado por redes neurais sem picos, chamado de backpropagation.)
Efetivamente, o método do gradiente substituto foi capaz de corrigir as imperfeições do chip durante o treinamento no computador. Primeiro, a rede neural spiking executa uma tarefa simples usando as tensões variáveis dos neurônios analógicos no chip, enviando gravações das tensões de volta ao computador. Lá, o algoritmo aprende automaticamente como alterar melhor as conexões entre seus neurônios para ainda funcionar bem com os neurônios analógicos, atualizando-os continuamente no chip enquanto aprende. Então, quando o treinamento estiver completo, a rede neural spiking executa a tarefa no chip. Os pesquisadores relatam que sua rede atingiu o mesmo nível de precisão em uma tarefa de fala e visão que as principais redes neurais que executam a tarefa em computadores. Em outras palavras, o algoritmo aprendeu exatamente quais mudanças precisaria fazer para superar o problema de incompatibilidade de dispositivos.
“O desempenho que eles conseguiram para resolver um problema real com este sistema é uma grande conquista”, disse Thomas Nowotny, neurocientista computacional da Universidade de Sussex. E, como esperado, eles o fazem com uma eficiência energética impressionante; os autores dizem que a execução de seu algoritmo no chip consumiu cerca de 1.000 vezes menos energia do que um processador padrão exigiria.
No entanto, Frenkel ressalta que, embora o consumo de energia seja uma boa notícia até agora, os chips neuromórficos ainda precisarão se provar contra o hardware que foi otimizado para tarefas semelhantes de reconhecimento de fala e visão, em vez de processadores padrão. E Nowotny adverte que a abordagem pode ter problemas para escalar grandes tarefas práticas, uma vez que ainda exige o transporte de dados entre o computador e o chip.
O objetivo de longo prazo é fazer com que as redes neurais sejam treinadas e executadas em chips neuromórficos do início ao fim, sem a necessidade de um computador. Mas isso exigiria a construção de uma nova geração de chips, o que leva anos, disse Nowotny.
Por enquanto, a equipe de Zenke e Schemmel está feliz em mostrar que algoritmos de redes neurais de pico podem lidar com as variações minúsculas entre neurônios analógicos em hardware neuromórfico. “Você pode contar com 60 ou 70 anos de experiência e histórico de software para computação digital”, disse Schemmel. “Para essa computação analógica, temos que fazer tudo sozinhos.”
Publicado em 18/02/2022 13h53
Artigo original:
Estudo original: