Nos últimos anos, os modelos de inteligência artificial da linguagem tornaram-se muito bons em certas tarefas. Mais notavelmente, eles se destacam em prever a próxima palavra em uma série de texto; Esta tecnologia ajuda os mecanismos de busca e os aplicativos de mensagens de texto a prever a próxima palavra que você vai digitar.
A geração mais recente de modelos de linguagem preditiva também parece aprender algo sobre o significado subjacente da linguagem. Esses modelos não podem apenas prever a palavra que vem em seguida, mas também realizam tarefas que parecem exigir algum grau de compreensão genuína, como responder a perguntas, resumo de documentos e conclusão de histórias.
Tais modelos foram projetados para otimizar o desempenho para a função específica de prever o texto, sem tentar imitar qualquer coisa sobre como o cérebro humano realiza essa tarefa ou entende a linguagem. Mas um novo estudo do MIT neurocientistas sugere que a função subjacente desses modelos se assemelha à função dos centros de processamento de linguagem no cérebro humano.
Os modelos de computador que executam bem em outros tipos de tarefas de idioma não mostram essa semelhança com o cérebro humano, oferecendo evidências de que o cérebro humano pode usar a previsão de última palavra para impulsionar o processamento de linguagem.
“Quanto melhor o modelo é prever a próxima palavra, mais de perto se encaixa no cérebro humano”, diz Nancy Kanwisher, o Professor de Neurociência cognitiva A. Rosenblith de Walter A., membro do Instituto McGovern da MIT para a pesquisa cerebral e o centro de cérebro, Mentes e máquinas (CBMM) e autor do novo estudo. “É incrível que os modelos se encaixem tão bem, e isso sugere muito indiretamente que talvez o que o sistema de linguagem humana esteja fazendo é prever o que vai acontecer a seguir.”
Joshua Tenbaum, professor de ciência cognitiva computacional no MIT e membro do Laboratório de Inteligência Artificial do CBMM e da MIT (CSAIL); e Evelina Fedorenko, o Professor de Neurociência de Carreira de Frederick A. e Carole A. e Carole J. Middleton e membro do Instituto McGovern, são os altos autores do estudo, que aparecem esta semana no processo da Academia Nacional de Ciências. Martin Schrimpf, um estudante de pós-graduação em MIT que trabalha no CBMM, é o primeiro autor do papel.
Fazendo previsões
Os novos modelos de previsão de última geração de alto desempenho pertencem a uma classe de modelos chamados redes neurais profundas. Essas redes contêm “nós” computacionais que formam conexões de força variada e camadas que passam informações entre as maneiras prescritas.
Ao longo da última década, os cientistas usaram redes neurais profundas para criar modelos de visão que podem reconhecer objetos, bem como o mesmo cérebro. A pesquisa no MIT também mostrou que a função subjacente dos modelos de reconhecimento de objetos visuais corresponde à organização do Primate Visual Cortex, mesmo que os modelos de computador não fossem especificamente projetados para imitar o cérebro.
No novo estudo, a equipe do MIT usou uma abordagem semelhante para comparar centros de processamento de idiomas no cérebro humano com modelos de processamento de linguagem. Os pesquisadores analisaram 43 modelos de linguagem diferentes, incluindo vários que são otimizados para a previsão da próxima palavra. Estes incluem um modelo chamado GPT-3 (transformador generativo pré-treinado 3), que, dado um prompt, pode gerar texto semelhante ao que um humano produziria. Outros modelos foram projetados para realizar tarefas de idiomas diferentes, como preencher um espaço em branco em uma frase.
Como cada modelo foi apresentado com uma série de palavras, os pesquisadores mediram a atividade dos nós que compõem a rede. Eles então compararam esses padrões à atividade no cérebro humano, medidos em assuntos que executam três tarefas de linguagem: ouvir histórias, ler frases uma de cada vez, e ler frases em que uma palavra é revelada por vez. Esses conjuntos de dados humanos incluíram dados de ressonância magnética funcional (FMRI) e medições eletrocorticópicas intracranianas feitas em pessoas submetidas a cirurgia cerebral para a epilepsia.
Eles descobriram que os melhores modelos de previsão de última palavra tinham padrões de atividade que se assemelham muito os vistos no cérebro humano. A atividade naqueles mesmos modelos também foi altamente correlacionada com medidas de medidas comportamentais humanas, como como as pessoas rápidas conseguiram ler o texto.
“Descobrimos que os modelos que prevêem as respostas neurais também tendem a prever melhor as respostas de comportamento humano, sob a forma de tempos de leitura. E então ambos são explicados pelo desempenho do modelo na previsão da próxima palavra. Este triângulo realmente conecta tudo juntos”, diz Schrprimpf.
Jogador desafiante
Uma das principais características computacionais dos modelos preditivos, como o GPT-3, é um elemento conhecido como um transformador preditivo unidirecional. Esse tipo de transformador é capaz de fazer previsões do que vai vir em seguida, com base em seqüências anteriores. Uma característica significativa deste transformador é que ele pode fazer previsões baseadas em um contexto anteriormente anterior (centenas de palavras), não apenas as últimas palavras.
Os cientistas não encontraram nenhum circuito cerebral ou mecanismos de aprendizagem que correspondam a esse tipo de processamento, diz Tenenbaum. No entanto, as novas descobertas são consistentes com hipóteses que foram anteriormente propostas que a previsão é uma das principais funções do processamento de linguagem, diz ele.
“Um dos desafios do processamento de linguagem é o aspecto em tempo real”, diz ele. “A linguagem entra, e você tem que acompanhar isso e ser capaz de entender isso em tempo real.”
Os pesquisadores agora planejam construir variantes desses modelos de processamento de linguagem para ver como pequenas mudanças em sua arquitetura afetam seu desempenho e sua capacidade de ajustar dados neurais humanos.
“Para mim, este resultado foi um trocador de jogos”, diz Fedorenko. “É totalmente transformando meu programa de pesquisa, porque eu não teria previsto que, na minha vida, chegaríamos a esses modelos computacionalmente explícitos que capturavam o suficiente sobre o cérebro para que possamos realmente alavancá-los para entender como funciona o cérebro.”
Os pesquisadores também planejam combinar esses modelos de linguagem de alto desempenho com alguns modelos de computador, o laboratório de Tenenbaum já foi desenvolvido que pode realizar outros tipos de tarefas, como construir representações perceptivas do mundo físico.
“Se somos capazes de entender o que esses modelos de linguagem fazem e como eles podem se conectar a modelos que fazem coisas que são mais como perceber e pensar, então isso pode nos dar mais modelos integrativos de como as coisas funcionam no cérebro”, diz Tenenbaum . “Isso pode nos levar a melhores modelos de inteligência artificiais, além de nos dar melhores modelos de como mais do cérebro funciona e como a inteligência geral surge, do que tivemos no passado”.
Outros autores do papel são idan em branco Ph.D. ’16 e estudantes de pós-graduação Greta Tuckute, Carina Kauf e Eghbal Hossini.
Publicado em 26/10/2021 10h33
Artigo original:
Estudo original: