O ChatGPT – uma ferramenta de inteligência artificial que pode escrever redações, poemas e e-mails sobre qualquer assunto com o clique de um cursor – enviou ondas de choque em todo o mundo da educação quando foi lançado no final do ano passado. Agora, seus criadores criaram um novo programa que pode ajudar a capturar alunos que usam o bot de IA para trapacear.
Mas, em vez de acalmar os medos dos professores, a nova ferramenta de detecção tem sido uma decepção nos mundos da tecnologia e da educação. Criada pela empresa OpenAI, com sede em San Francisco, a plataforma identifica o texto escrito por IA com precisão apenas um quarto das vezes – e fornece um falso positivo para quase 1 em cada 10 envios. Mesmo uma ferramenta de detecção diferente criada por um estudante universitário de Princeton funciona um pouco melhor.
Alguns especialistas temem que o programa de detecção da empresa possa levar a acusações equivocadas de plágio aos alunos.
“Estou surpreso que a OpenAI lançaria esta ferramenta com seu nível de desempenho atual”, disse Victor Lee, líder do corpo docente de AI + Education no Stanford Accelerator for Learning. “Se for adotado muito rapidamente, pode ser muito arriscado e prejudicial para os alunos”.
Após o lançamento do chatbot no final do ano passado, os distritos escolares de todo o país reagiram com alarme. Com a capacidade de produzir conteúdo em segundos, o ChatGPT foi visto por muitos como o melhor código de trapaça para os alunos – e, alguns acreditavam, o prego no caixão para a escrita original. Os alunos começaram a entregar tarefas escritas por IA; as empresas começaram a integrar o ChatGPT em seus protocolos de direitos autorais. E dentro de semanas, seu uso foi proibido em escolas de Nova York, Los Angeles e Seattle.
Algumas das maiores empresas de tecnologia do mundo lutaram para alcançá-las. Na semana passada, a Microsoft revelou que estava integrando a tecnologia do ChatGPT em seu mecanismo de busca Bing. O Google seguiu com sua própria versão, chamada Bard.
“Vai mudar tudo”, disse Jake Carr, um professor de inglês em Chico, no início deste mês.
Ao desenvolver uma ferramenta para distinguir entre texto escrito por humanos e escrito por IA, os criadores do ChatGPT, OpenAI com sede em San Francisco, esperam impedir o envolvimento do bot com campanhas automatizadas de desinformação, trapaça nas escolas e outros tipos de fraude infundida por IA.
“Estamos disponibilizando este classificador publicamente para obter feedback sobre se ferramentas imperfeitas como esta são úteis”, disse a OpenAI em uma postagem recente no blog. “Nosso trabalho na detecção de texto gerado por IA continuará e esperamos compartilhar métodos aprimorados no futuro”.
Mas o classificador de texto da empresa está atrasado para o jogo. No início de janeiro, o estudante de Princeton, Edward Tian, construiu o GPTZero, uma ferramenta com o slogan “os humanos merecem a verdade”.
Ao comparar os mesmos dois ensaios escritos pelo ChatGPT sobre o classificador de texto da OpenAI e o GPTZero de Tian – três parágrafos sobre os perigos do plágio – o classificador de texto disse que o texto foi “possivelmente gerado por IA”, enquanto o GPTZero disse que “provavelmente foi escrito inteiramente pela IA.”
Além disso, o “classificador de texto AI” não é particularmente confiável. De acordo com a empresa, a ferramenta identificou texto escrito por computador em 26% de suas avaliações, enquanto rotulou incorretamente texto escrito por humanos como IA em 9% das vezes. A detecção é particularmente ruim com texto menor que 1.000 caracteres. Ainda assim, a OpenAI disse que seu classificador de texto é mais preciso do que outras ferramentas que tentam analisar texto.
Lee disse que aprecia a franqueza da empresa sobre as limitações de seu classificador, mas ainda tem preocupações.
“Eu me preocupo que muitas pessoas ouçam que existe uma ferramenta que detecta coisas sem olhar para as letras miúdas sobre seu desempenho”.
Publicado em 21/02/2023 13h02
Artigo original: