Os cientistas treinaram um sistema de IA para pensar antes de falar com uma técnica chamada QuietSTaR. O monólogo interno melhorou o raciocínio do bom senso e dobrou o desempenho em matemática.
Dar aos sistemas de inteligência artificial (IA) um “monólogo interno? torna-os consideravelmente melhores no raciocínio, mostram novas pesquisas.
O método treina os sistemas de IA para pensar antes de responder às solicitações, assim como muitas pessoas consideram o que devemos dizer a seguir antes de falar.
Isto é diferente da forma como os cientistas treinaram os principais chatbots de IA, como o ChatGPT, que não “pensam? sobre o que escrevem nem antecipam diferentes possibilidades para os próximos passos de uma conversa.
Apelidado de “Quiet-STaR”, o novo método instrui um sistema de IA gerando muitas lógicas internas em paralelo antes de responder a um prompt de conversação.
Quando a IA responde aos prompts, ela gera uma mistura dessas previsões com e sem justificativa, imprimindo a melhor resposta – que pode ser verificada por um participante humano dependendo da natureza da pergunta.
Finalmente, aprende descartando raciocínios que se revelaram incorretos.
Na verdade, o método de treinamento dá aos agentes de IA a capacidade de antecipar conversas futuras e aprender com as que estão em andamento.
Os pesquisadores aplicaram o algoritmo Quiet-STaR ao Mistral 7B, um modelo de linguagem grande (LLM) de código aberto, e publicaram os resultados em março 14 para o banco de dados de pré-impressão arXiv. (O artigo ainda não foi revisado por pares) A versão do Mistral 7B treinada pelo Quiet-STaR obteve 47,2% em um teste de raciocínio contra 36,3% antes de qualquer treinamento.
Ele ainda foi reprovado em um teste de matemática escolar, obtendo uma pontuação de 10,9%.
Mas isso foi quase o dobro da pontuação inicial de 5,9% na versão vanilla.
Modelos como ChatGPT e Gemini são construídos a partir de redes neurais – coleções de algoritmos de machine learning organizados de forma a imitar a estrutura e os padrões de aprendizagem do cérebro humano.
No entanto, os sistemas construídos usando essa arquitetura são péssimos no raciocínio ou contextualização de bom senso – e os chatbots de IA não têm “compreensão? genuína.
As tentativas anteriores de melhorar as capacidades de raciocínio dos LLMs foram altamente específicas de domínio e não puderam ser aplicadas a diferentes tipos de modelos de IA.
O algoritmo de raciocínio autodidata (STaR), que os pesquisadores usaram como base para seu trabalho, é um exemplo de tal algoritmo de treinamento – mas é impedido por essas limitações.
Os cientistas que desenvolveram o Quiet-STaR o nomearam assim porque os princípios do STaR podem ser aplicados silenciosamente em segundo plano e geralmente em vários tipos diferentes de LLM, independentemente dos dados de treinamento originais.
Agora eles querem investigar como técnicas como a deles podem reduzir a lacuna entre os sistemas de IA baseados em redes neurais e as capacidades de raciocínio humano.
Publicado em 29/03/2024 17h24
Artigo original: