A maioria das pessoas não conseguia distinguir o ChatGPT de um respondedor humano, sugerindo que o famoso teste de Turing foi aprovado pela primeira vez.
Estamos interagindo com a inteligência artificial (IA) online não apenas mais do que nunca – mas mais do que imaginamos – então os pesquisadores pediram às pessoas que conversassem com quatro agentes, incluindo um humano e três tipos diferentes de modelos de IA, para ver se eles poderiam dizer o diferença.
O “teste de Turing”, proposto pela primeira vez como “o jogo de imitação” pelo cientista da computação Alan Turing em 1950, avalia se a capacidade de uma máquina de mostrar inteligência é indistinguível da de um ser humano.
Para que uma máquina passe no teste de Turing, ela deve ser capaz de falar com alguém e enganá-lo fazendo-o pensar que é humano.
Os cientistas decidiram replicar este teste pedindo a 500 pessoas que falassem com quatro entrevistados, incluindo um humano e o programa de IA da década de 1960 ELIZA, bem como GPT-3.5 e GPT-4, a IA que alimenta o ChatGPT.
As conversas duraram cinco minutos – após os quais os participantes tiveram que dizer se acreditavam que estavam falando com um ser humano ou com uma IA.
No estudo, publicado em 9 de maio no servidor arXiv pré-impresso, os cientistas descobriram que os participantes julgaram o GPT-4 como humano 54% das vezes, ELIZA, um sistema pré-programado com respostas, mas sem grande modelo de linguagem (LLM ) ou arquitetura de rede neural, foi considerado humano apenas 22% das vezes.
O GPT-3.5 obteve pontuação de 50%, enquanto o participante humano obteve pontuação de 67%.
“As máquinas podem confabular, misturando justificativas plausíveis ex-post-fato para as coisas, como os humanos fazem”, disse Nell Watson, pesquisadora de IA do Instituto de Engenheiros Elétricos e Eletrônicos (IEEE), à WordsSideKick.com.
“Eles podem estar sujeitos a preconceitos cognitivos, enganados e manipulados, e estão se tornando cada vez mais enganosos.
Todos esses elementos significam que fraquezas e peculiaridades humanas estão sendo expressas em sistemas de IA, o que os torna mais humanos do que abordagens anteriores que tinham pouco mais do que uma lista de respostas prontas.”
O estudo – que se baseia em décadas de tentativas para que os agentes de IA passassem no teste de Turing – ecoou preocupações comuns de que os sistemas de IA considerados humanos terão “consequências sociais e económicas generalizadas”.
Os cientistas também argumentaram que há críticas válidas ao teste de Turing ser demasiado simplista na sua abordagem, dizendo que “fatores estilísticos e socioemocionais desempenham um papel maior na aprovação no teste de Turing do que as noções tradicionais de inteligência”.
Isso sugere que estamos procurando no lugar errado a inteligência da máquina.
“O intelecto bruto só vai até certo ponto.
O que realmente importa é ser suficientemente inteligente para compreender uma situação, as habilidades dos outros e ter empatia para conectar esses elementos.
As capacidades são apenas uma pequena parte do valor da IA – sua capacidade de compreender o valores, preferências e limites dos outros também são essenciais.
São essas qualidades que permitirão que a IA sirva como um concierge fiel e confiável para nossas vidas.” Watson acrescentou que o estudo representou um desafio para a futura interação homem-máquina e que ficaremos cada vez mais paranóicos sobre a verdadeira natureza das interações, especialmente em questões delicadas.
Ela acrescentou que o estudo destaca como a IA mudou durante a era GPT.
“O ELIZA estava limitado a respostas prontas, o que limitava enormemente as suas capacidades.
Poderia enganar alguém durante cinco minutos, mas rapidamente as limitações se tornariam claras”, disse ela.
“Os modelos linguísticos são infinitamente flexíveis, capazes de sintetizar respostas a uma ampla gama de tópicos, falar em línguas ou socioletos específicos e retratar-se com personalidade e valores orientados para o caráter.
É um enorme passo em frente em relação a algo programado manualmente por um ser humano, não importa quão inteligente e cuidadosamente.”
Publicado em 15/06/2024 22h53
Artigo original: