O bot de conversação AI ChatGPT está tendo um momento, prometendo transformar as maneiras pelas quais produzimos texto escrito, pesquisamos na web e nos educamos.
A última conquista do ChatGPT? Quase passando no US Medical Licensing Exam (USMLE).
Estamos falando aqui de um exame conhecido por sua dificuldade, que normalmente requer cerca de 300 a 400 horas de preparação para ser concluído e que abrange desde conceitos básicos de ciências até bioética.
O USMLE é na verdade três exames em um, e a competência com que o ChatGPT é capaz de responder às suas perguntas mostra que esses bots de IA podem um dia ser úteis para treinamento médico e até para fazer certos tipos de diagnósticos.
“O ChatGPT teve um desempenho próximo ou igual ao limite de aprovação para todos os três exames sem nenhum treinamento ou reforço especializado”, escrevem os pesquisadores em seu artigo publicado. “Além disso, o ChatGPT demonstrou um alto nível de concordância e percepção em suas explicações.”
ChatGPT é um tipo de inteligência artificial conhecida como modelo de linguagem grande ou LLM. Esses LLMs são especificamente voltados para respostas escritas e, por meio de grandes quantidades de texto de amostra e alguns algoritmos inteligentes, eles são capazes de fazer previsões sobre quais palavras devem ser combinadas em uma frase, como o irmão mais velho da função de previsão de texto do seu telefone.
Isso é uma espécie de simplificação, mas você entendeu: o ChatGPT na verdade não ‘sabe’ nada, mas ao analisar uma grande quantidade de material online, ele pode construir frases plausíveis sobre praticamente qualquer tópico.
‘Som plausível’ é a chave, no entanto. Dependendo da probabilidade de várias frases, a IA pode parecer estranhamente inteligente ou chegar às conclusões mais ridículas.
Pesquisadores da startup Ansible Health o testaram usando exemplos de perguntas do USMLE, tendo verificado que as respostas não estavam disponíveis no Google – então eles sabiam que o ChatGPT estaria gerando novas respostas com base nos dados em que foi treinado.
Colocado à prova, o ChatGPT pontuou entre 52,4 por cento e 75 por cento nos três exames (a nota de aprovação é geralmente de cerca de 60 por cento). Em 88,9% de suas respostas, produziu pelo menos um insight significativo – descrito como algo “novo, não óbvio e clinicamente válido” pelos pesquisadores.
“Alcançar a nota de aprovação para este exame especializado notoriamente difícil, e fazê-lo sem qualquer reforço humano, marca um marco notável na maturação clínica da IA”, disseram os autores do estudo em um comunicado à imprensa.
O ChatGPT também provou ser impressionantemente consistente em suas respostas e foi capaz de fornecer raciocínio por trás de cada resposta. Ele também superou a taxa de precisão de 50,3% do PubMedGPT, um bot treinado especificamente em literatura médica.
Vale lembrar que as informações sobre as quais o ChatGPT foi treinado incluirão imprecisões: se você perguntar ao próprio bot, ele admitirá que é necessário mais trabalho para melhorar a confiabilidade dos LLMs. Não vai substituir os profissionais médicos em nenhum momento no futuro previsível.
No entanto, o potencial para analisar o conhecimento online é claramente enorme, especialmente porque esses bots de IA continuam melhorando nos próximos anos. Em vez de substituir os humanos na profissão médica, eles poderiam se tornar assistentes vitais para eles.
“Esses resultados sugerem que grandes modelos de linguagem podem ter o potencial de auxiliar na educação médica e, potencialmente, na tomada de decisões clínicas”, escrevem os pesquisadores.
Publicado em 13/02/2023 05h21
Artigo original: