Construído com base em avanços recentes em machine learning, o modelo prevê quão bem os indivíduos produzirão e compreenderão frases.
Os cientistas cognitivos há muito procuram entender o que torna algumas frases mais difíceis de compreender do que outras. Qualquer relato de compreensão da linguagem, acreditam os pesquisadores, se beneficiaria com as dificuldades de compreensão.
Nos últimos anos, pesquisadores desenvolveram com sucesso dois modelos que explicam dois tipos significativos de dificuldade na compreensão e produção de sentenças. Embora esses modelos prevejam com sucesso padrões específicos de dificuldades de compreensão, suas previsões são limitadas e não correspondem totalmente aos resultados de experimentos comportamentais. Além disso, até recentemente os pesquisadores não conseguiam integrar esses dois modelos em um relato coerente.
Um novo estudo conduzido por pesquisadores do Departamento de Cérebro e Ciências Cognitivas (BCS) do MIT agora fornece uma conta unificada para dificuldades na compreensão da linguagem. Com base nos avanços recentes no machine learning, os pesquisadores desenvolveram um modelo que prevê melhor a facilidade, ou a falta dela, com a qual os indivíduos produzem e compreendem frases. Eles publicaram recentemente suas descobertas no Proceedings of the National Academy of Sciences.
Os autores seniores do artigo são os professores da BCS, Roger Levy e Edward (Ted) Gibson. O principal autor é o ex-aluno visitante de Levy e Gibson, Michael Hahn, agora professor da Saarland University. O segundo autor é Richard Futrell, outro ex-aluno de Levy e Gibson que agora é professor na Universidade da Califórnia em Irvine.
“Esta não é apenas uma versão ampliada das contas existentes para dificuldades de compreensão”, diz Gibson; “oferecemos uma nova abordagem teórica subjacente que permite melhores previsões.”
Os pesquisadores se basearam nos dois modelos existentes para criar uma explicação teórica unificada da dificuldade de compreensão. Cada um desses modelos mais antigos identifica um culpado distinto pela compreensão frustrada: dificuldade na expectativa e dificuldade na recuperação da memória. Sentimos dificuldade em esperar quando uma frase não nos permite antecipar facilmente suas próximas palavras. Sentimos dificuldade na recuperação da memória quando temos dificuldade em rastrear uma frase com uma estrutura complexa de cláusulas embutidas, como: “O fato de o médico que o advogado desconfiava ter incomodado o paciente foi surpreendente”.
Em 2020, Futrell desenvolveu pela primeira vez uma teoria unificando esses dois modelos. Ele argumentou que os limites na memória não afetam apenas a recuperação em sentenças com cláusulas embutidas, mas prejudicam toda a compreensão da linguagem; nossas limitações de memória não nos permitem representar perfeitamente contextos de frases durante a compreensão da linguagem em geral.
Assim, de acordo com esse modelo unificado, as restrições de memória podem criar uma nova fonte de dificuldade na antecipação. Podemos ter dificuldade em antecipar uma próxima palavra em uma frase, mesmo que a palavra seja facilmente previsível a partir do contexto – caso o próprio contexto da frase seja difícil de manter na memória. Considere, por exemplo, uma frase que começa com as palavras “Bob jogou o lixo…”, podemos facilmente antecipar a palavra final – “fora”. Mas se o contexto da frase que precede a palavra final for mais complexo, surgem dificuldades na expectativa: “Bob jogou fora o lixo velho que estava na cozinha há vários dias”.
Os pesquisadores quantificam a dificuldade de compreensão medindo o tempo que os leitores levam para responder a diferentes tarefas de compreensão. Quanto maior o tempo de resposta, mais difícil será a compreensão de uma determinada frase. Os resultados de experimentos anteriores mostraram que a conta unificada de Futrell previa melhor as dificuldades de compreensão dos leitores do que os dois modelos mais antigos. Mas seu modelo não identificou quais partes da frase tendemos a esquecer – e como exatamente essa falha na recuperação da memória ofusca a compreensão.
O novo estudo de Hahn preenche essas lacunas. No novo artigo, os cientistas cognitivos do MIT se juntaram a Futrell para propor um modelo aumentado baseado em uma nova estrutura teórica coerente. O novo modelo identifica e corrige elementos ausentes na conta unificada de Futrell e fornece novas previsões ajustadas que correspondem melhor aos resultados de experimentos empíricos.
Como no modelo original de Futrell, os pesquisadores partem da ideia de que nossa mente, devido a limitações de memória, não representa perfeitamente as sentenças que encontramos. Mas a isso eles acrescentam o princípio teórico da eficiência cognitiva. Eles propõem que a mente tende a empregar seus recursos limitados de memória de forma a otimizar sua capacidade de prever com precisão novas entradas de palavras em frases.
Essa noção leva a várias previsões empíricas. De acordo com uma previsão importante, os leitores compensam suas representações de memória imperfeitas confiando em seu conhecimento das co-ocorrências estatísticas de palavras para reconstruir implicitamente as sentenças que lêem em suas mentes. Frases que incluem palavras e frases mais raras são, portanto, mais difíceis de lembrar perfeitamente, tornando mais difícil prever as próximas palavras. Como resultado, essas frases são geralmente mais difíceis de compreender.
Para avaliar se essa previsão corresponde ao nosso comportamento linguístico, os pesquisadores utilizaram o GPT-2, uma ferramenta de linguagem natural de IA baseada na modelagem de redes neurais. Essa ferramenta de machine learning, divulgada pela primeira vez em 2019, permitiu que os pesquisadores testassem o modelo em dados de texto em larga escala de uma maneira que não era possível antes. Mas a poderosa capacidade de modelagem de linguagem do GPT-2 também criou um problema: ao contrário dos humanos, a memória imaculada do GPT-2 representa perfeitamente todas as palavras, mesmo em textos muito longos e complexos que ele processa. Para caracterizar com mais precisão a compreensão da linguagem humana, os pesquisadores adicionaram um componente que simula limitações humanas nos recursos de memória – como no modelo original de Futrell – e usaram técnicas de machine learning para otimizar como esses recursos são usados – como em seu novo modelo proposto. O modelo resultante preserva a capacidade do GPT-2 de prever palavras com precisão na maior parte do tempo, mas mostra falhas semelhantes às humanas em casos de sentenças com raras combinações de palavras e frases.
“Esta é uma ilustração maravilhosa de como as ferramentas modernas de machine learning podem ajudar a desenvolver a teoria cognitiva e nossa compreensão de como a mente funciona”, diz Gibson. “Não poderíamos ter conduzido esta pesquisa aqui mesmo alguns anos atrás.”
Os pesquisadores alimentaram o modelo de machine learning com um conjunto de frases com cláusulas complexas incorporadas, como: “O relato de que o médico de quem o advogado desconfiava irritou o paciente foi surpreendente”. Os pesquisadores então pegaram essas sentenças e substituíram seus substantivos de abertura – “relatório” no exemplo acima – por outros substantivos, cada um com sua própria probabilidade de ocorrer com uma cláusula seguinte ou não. Alguns substantivos tornaram as sentenças nas quais foram encaixados mais fáceis para o programa de IA “compreender”. Por exemplo, o modelo foi capaz de prever com mais precisão como essas sentenças terminam quando começam com a frase comum “O fato de que” do que quando começam com a frase mais rara “O relatório que”.
Os pesquisadores então decidiram corroborar os resultados baseados em IA conduzindo experimentos com participantes que liam frases semelhantes. Seus tempos de resposta às tarefas de compreensão foram semelhantes aos das previsões do modelo. “Quando as frases começam com as palavras ‘relatar isso’, as pessoas tendem a se lembrar da frase de maneira distorcida”, diz Gibson. O fraseado raro restringiu ainda mais sua memória e, como resultado, restringiu sua compreensão.
Esses resultados demonstram que o novo modelo supera os modelos existentes na previsão de como os humanos processam a linguagem.
Outra vantagem que o modelo demonstra é sua capacidade de oferecer previsões variadas de idioma para idioma. “Modelos anteriores sabiam explicar por que certas estruturas de linguagem, como sentenças com cláusulas incorporadas, podem ser geralmente mais difíceis de trabalhar dentro das restrições de memória, mas nosso novo modelo pode explicar por que as mesmas restrições se comportam de maneira diferente em idiomas diferentes”, diz Levy. “Sentenças com cláusulas embutidas no centro, por exemplo, parecem ser mais fáceis para falantes nativos de alemão do que para falantes nativos de inglês, já que falantes de alemão estão acostumados a ler sentenças onde cláusulas subordinadas empurram o verbo para o final da frase.”
De acordo com Levy, mais pesquisas sobre o modelo são necessárias para identificar causas de representação imprecisa de sentenças além de cláusulas incorporadas. “Existem outros tipos de ‘confusões’ que precisamos testar.” Simultaneamente, acrescenta Hahn, “o modelo pode prever outras ‘confusões’ nas quais ninguém sequer pensou. Agora estamos tentando encontrá-las e ver se elas afetam a compreensão humana conforme previsto”.
Outra questão para estudos futuros é se o novo modelo levará a um repensar de uma longa linha de pesquisa focada nas dificuldades de integração de sentenças: “Muitos pesquisadores enfatizaram dificuldades relacionadas ao processo em que reconstruímos estruturas de linguagem em nossas mentes”, diz Levy. “O novo modelo possivelmente mostra que a dificuldade não está no processo de reconstrução mental dessas sentenças, mas em manter a representação mental uma vez que elas já estão construídas. Uma grande questão é se essas são ou não duas coisas separadas.”
De uma forma ou de outra, acrescenta Gibson, “esse tipo de trabalho marca o futuro da pesquisa sobre essas questões”.
Publicado em 14/01/2023 13h09
Artigo original: