Especialistas em inteligência artificial (IA) da Universidade de Massachusetts Amherst e do Baylor College of Medicine relatam que abordaram com sucesso o que chamam de “grande obstáculo de longa data para aumentar as capacidades de IA”, inspirando-se em um mecanismo conhecido de memória do cérebro humano como “replay”.
O primeiro autor e pesquisador de pós-doutorado Gido van de Ven e o investigador principal Andreas Tolias em Baylor, com Hava Siegelmann em UMass Amherst, escrevem na Nature Communications que desenvolveram um novo método para proteger – “surpreendentemente eficiente” – redes neurais profundas do “esquecimento catastrófico ; ” ao aprender novas lições, as redes esquecem o que aprenderam antes.
Siegelmann e colegas apontam que as redes neurais profundas são os principais motores por trás dos avanços recentes da IA, mas o progresso é impedido por esse esquecimento.
Eles escrevem: “Uma solução seria armazenar exemplos encontrados anteriormente e revisitá-los ao aprender algo novo. Embora tal ‘repetição’ ou ‘ensaio’ resolva o esquecimento catastrófico”, acrescentam, “O retreinamento constante em todas as tarefas aprendidas anteriormente é altamente ineficiente e a quantidade de dados que teria de ser armazenada torna-se rapidamente incontrolável. ”
Ao contrário das redes neurais de IA, os humanos são capazes de acumular informações continuamente ao longo da vida, com base nas lições anteriores. Um mecanismo importante no cérebro que se acredita proteger as memórias contra o esquecimento é a repetição dos padrões de atividade neuronal que representam essas memórias, explicam eles.
Siegelmann diz que o principal insight da equipe está em “reconhecer que o replay no cérebro não armazena dados”. Em vez disso, “o cérebro gera representações de memórias em um nível alto e mais abstrato, sem necessidade de gerar memórias detalhadas”. Inspirados por isso, ela e seus colegas criaram um replay semelhante a um cérebro artificial, no qual nenhum dado é armazenado. Em vez disso, como o cérebro, a rede gera representações de alto nível do que viu antes.
O “replay cerebral gerativo abstrato” provou ser extremamente eficiente, e a equipe mostrou que repetir apenas algumas representações geradas é suficiente para lembrar memórias mais antigas enquanto aprende novas. A reprodução generativa não apenas evita o esquecimento catastrófico e fornece um caminho novo e mais simplificado para o aprendizado do sistema, como permite que o sistema generalize o aprendizado de uma situação para outra, afirmam.
Por exemplo, “se nossa rede com reprodução generativa primeiro aprender a separar gatos de cachorros e, em seguida, separar ursos de raposas, também distinguirá gatos de raposas sem ser especificamente treinado para isso. E, notavelmente, quanto mais o sistema aprende, melhor aprenderá novas tarefas “, diz van de Ven.
Ele e seus colegas escrevem: “Propomos uma nova variante de reprodução inspirada no cérebro, na qual representações internas ou ocultas são reproduzidas, geradas pelas próprias conexões de feedback moduladas por contexto da rede. Nosso método alcança um desempenho de ponta em desafiar benchmarks de aprendizagem contínua sem armazenar dados, e fornece um novo modelo para repetição de nível abstrato no cérebro. ”
Van de Ven diz: “Nosso método faz várias previsões interessantes sobre como o replay pode contribuir para a consolidação da memória no cérebro. Já estamos realizando um experimento para testar algumas dessas previsões.”
Publicado em 19/09/2020 13h19
Artigo original:
Estudo original:
Achou importante? Compartilhe!
Assine nossa newsletter e fique informado sobre Astrofísica, Biofísica, Geofísica e outras áreas. Preencha seu e-mail no espaço abaixo e clique em “OK”: