doi.org/10.48550/arXiv.2309.10814
Credibilidade: 889
#Machine Learning
Pesquisadores desenvolveram uma técnica chamada programas incorporados em linguagem natural (NLEPs) que melhora o desempenho de grandes modelos de linguagem gerando programas Python para resolver tarefas complexas.
Este método não só aumenta a precisão e a eficiência, mas também aumenta a transparência, pois os usuários podem ver e modificar diretamente o código gerado.
Os NLEPs permitem que modelos grandes como o GPT-4 resolvam uma gama mais ampla de tarefas com maior precisão e podem melhorar potencialmente a privacidade dos dados e o desempenho de modelos menores sem um extenso treinamento.
Melhorando as capacidades de raciocínio de grandes modelos de linguagem Modelos de grande linguagem, como aqueles que alimentam o ChatGPT, mostraram um desempenho impressionante em tarefas como redigir resumos jurídicos, analisar o sentimento de avaliações de clientes ou traduzir documentos para diferentes idiomas.
Esses modelos de machine learning normalmente usam apenas linguagem natural para processar informações e responder a consultas, o que pode dificultar a execução de tarefas que exigem raciocínio numérico ou simbólico.
Por exemplo, um modelo de linguagem grande pode ser capaz de memorizar e recitar uma lista de presidentes recentes dos EUA e seus aniversários, mas esse mesmo modelo pode falhar se for feita a pergunta Quais presidentes dos EUA eleitos depois de 1950 nasceram numa quarta-feira”- (A resposta é Jimmy Carter.) Aprimorando as capacidades do modelo por meio de NLEPs Pesquisadores do MIT e de outros lugares propuseram uma nova técnica que permite que grandes modelos de linguagem resolvam tarefas de linguagem natural, matemática e análise de dados e raciocínio simbólico por meio da geração de programas.
Sua abordagem, chamada de programas incorporados em linguagem natural (NLEPs), envolve solicitar que um modelo de linguagem crie e execute um programa Python para resolver a consulta de um usuário e, em seguida, produza a solução como linguagem natural.
Maior precisão e transparência Eles descobriram que os NLEPs permitiam que grandes modelos de linguagem alcançassem maior precisão em uma ampla gama de tarefas de raciocínio.
A abordagem também é generalizável, o que significa que um prompt NLEP pode ser reutilizado para diversas tarefas.
Os NLEPs também melhoram a transparência, uma vez que um usuário pode verificar o programa para ver exatamente como o modelo raciocinou sobre a consulta e corrigir o programa se o modelo der uma resposta errada.
Queremos que a IA execute raciocínios complexos de forma transparente e confiável.
Ainda há um longo caminho a percorrer, mas mostramos que combinar as capacidades de programação e linguagem natural em grandes modelos de linguagem é um primeiro passo potencial muito bom em direção a um futuro onde as pessoas possam compreender plenamente e confiar no que está acontecendo dentro de seu modelo de IA,- diz Hongyin Luo PhD ’22, pós-doutorado do MIT e co-autor principal de um artigo sobre NLEPs.
Luo é acompanhado no artigo pelos co-autores principais Tianhua Zhang, estudante de pós-graduação da Universidade Chinesa de Hong Kong; e Jiaxin Ge, estudante de graduação na Universidade de Pequim; Yoon Kim, professor assistente do Departamento de Engenharia Elétrica e Ciência da Computação do MIT e membro do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL); autor sênior James Glass, cientista pesquisador sênior e chefe do Spoken Language Systems Group no CSAIL; e outros.
A pesquisa será apresentada na Conferência Anual do Capítulo Norte-Americano da Association for Computational Linguistics.
Design e mecanismo operacional do NLEP Muitos modelos populares de linguagem grande funcionam prevendo a próxima palavra, ou token, com base em alguma entrada de linguagem natural.
Embora modelos como o GPT-4 possam ser usados para escrever programas, eles incorporam esses programas em linguagem natural, o que pode levar a erros no raciocínio ou nos resultados do programa.
Com os NLEP, os investigadores do MIT adotaram a abordagem oposta.
Eles solicitam que o modelo gere um programa passo a passo inteiramente em código Python e, em seguida, incorpore a linguagem natural necessária dentro do programa.
Um NLEP é um modelo de resolução de problemas com quatro etapas.
Primeiro, o modelo chama os pacotes ou funções necessários para resolver a tarefa.
O segundo passo envolve a importação de representações em linguagem natural do conhecimento que a tarefa exige (como uma lista dos aniversários dos presidentes dos EUA).
Para a etapa três, o modelo implementa uma função que calcula a resposta.
E para a etapa final, o modelo gera o resultado como uma linha de linguagem natural com visualização automática dos dados, se necessário.
É como uma calculadora digital que sempre fornece o resultado correto do cálculo, desde que o programa esteja correto”, diz Luo.
O usuário pode facilmente investigar o programa e corrigir quaisquer erros no código diretamente, em vez de precisar executar novamente o modelo inteiro para solucionar problemas.
A abordagem também oferece maior eficiência do que alguns outros métodos.
Se um usuário tiver muitas perguntas semelhantes, ele poderá gerar um programa principal e, em seguida, substituir determinadas variáveis sem precisar executar o modelo repetidamente.
Para fazer com que o modelo gere um NLEP, os pesquisadores fornecem instruções gerais para escrever um programa Python, fornecem dois exemplos de NLEP (um com matemática e outro com linguagem natural) e uma pergunta de teste.
Normalmente, quando as pessoas fazem esse tipo de prompt de poucas tentativas, elas ainda precisam criar prompts para cada tarefa.
Descobrimos que podemos ter um prompt para muitas tarefas porque não é um prompt que ensina os LLMs a resolver um problema, mas um prompt que ensina os LLMs a resolver muitos problemas escrevendo um programa,- diz Luo.
Ter modelos de linguagem raciocinando com código abre muitas oportunidades para uso de ferramentas, validação de saída, compreensão mais estruturada dos recursos e modo de pensar do modelo e muito mais, – diz Leonid Karlinsky, cientista principal do MIT-IBM Watson AI Lab.
No Magic Here- Os NLEPs alcançaram mais de 90 por cento de precisão ao solicitar ao GPT-4 que resolvesse uma série de tarefas de raciocínio simbólico, como rastrear objetos embaralhados ou jogar um jogo de 24, bem como tarefas de seguimento de instruções e classificação de texto.
Os pesquisadores descobriram que os NLEPs exibiram uma precisão 30% maior do que os métodos de solicitação específicos de tarefas.
O método também mostrou melhorias em relação aos LLMs de código aberto.
Além de aumentar a precisão de grandes modelos linguísticos, os NLEP também poderiam melhorar a privacidade dos dados.
Como os programas NLEP são executados localmente, os dados confidenciais do usuário não precisam ser enviados a uma empresa como a OpenAI ou o Google para serem processados por um modelo.
Além disso, os NLEPs podem permitir que modelos de linguagem pequena tenham melhor desempenho sem a necessidade de retreinar um modelo para uma determinada tarefa, o que pode ser um processo dispendioso.
Não há mágica aqui.
Não temos um modelo de linguagem mais caro ou sofisticado.
Tudo o que fazemos é usar a geração de programas em vez da geração de linguagem natural, e podemos fazer com que seu desempenho seja significativamente melhor”, diz Luo.
No entanto, um NLEP depende da capacidade de geração de programas do modelo, portanto a técnica não funciona tão bem para modelos menores que foram treinados em conjuntos de dados limitados.
No futuro, os pesquisadores planejam estudar métodos que possam fazer com que modelos de linguagem menores gerem NLEPs mais eficazes.
Além disso, pretendem investigar o impacto das variações imediatas nos NLEP para aumentar a robustez dos processos de raciocínio do modelo.
Publicado em 04/07/2024 23h22
Artigo original:
Estudo original: