Nos últimos anos, as ferramentas de inteligência artificial (IA), particularmente as redes neurais profundas, alcançaram resultados notáveis em uma série de tarefas. No entanto, estudos recentes descobriram que essas técnicas computacionais têm uma série de limitações. Em um artigo recente publicado na Nature Machine Intelligence, pesquisadores das universidades de Tübingen e Toronto exploraram e discutiram um problema conhecido como “aprendizado por atalho” que parece sustentar muitas das deficiências das redes neurais profundas identificadas nos últimos anos.
“Decidi começar a trabalhar neste projeto durante uma viagem relacionada à ciência nos EUA, junto com Claudio Michaelis, um querido colega e amigo meu”, disse Robert Geirhos, um dos pesquisadores que realizaram o estudo, ao TechXplore. “Primeiro participamos de uma conferência de aprendizagem profunda, depois visitamos um laboratório de pesquisa animal e, finalmente, uma conferência de visão humana. De forma surpreendente, notamos o mesmo padrão em ambientes muito diferentes: ‘aprendizado por atalho’ ou ‘trapaça’, parecia ser uma característica comum à inteligência artificial e biológica. ”
Geirhos e Michaelis acreditavam que o aprendizado por atalho, o fenômeno que observaram, poderia explicar a discrepância entre o excelente desempenho e as falhas icônicas de muitas redes neurais profundas. Para investigar mais a fundo essa ideia, eles se uniram a outros colegas, incluindo Jörn-Henrik Jacobsen, Richard Zemel, Wieland Brendel, Matthias Bethge e Felix Wichmann.
Cada um dos pesquisadores contribuiu para o estudo de maneiras únicas, alinhadas com seus campos de especialização, que variavam da neurociência ao aprendizado de máquina e psicofísica. O artigo inclui exemplos de aprendizagem por atalho e trapaça em máquinas e animais – por exemplo, falhas específicas de redes neurais profundas, bem como casos em que ratos ‘trapacearam’ em experimentos e estudantes trapacearam em exames.
“Esperamos que nossa perspectiva forneça uma boa introdução ao problema e incentive a adoção de métodos de teste mais fortes e apropriados para evitar trapacear antes de atribuir habilidades de alto nível às máquinas”, disse Geirhos. “Dado que o artigo é uma perspectiva, construímos muitos artigos fantásticos de uma ampla gama de autores, cada um contribuindo com sua peça para o quebra-cabeça. Para mim, um precursor importante foi o projeto que apresentei nas conferências ICLR e VSS, descobrir um viés de textura em redes neurais – um exemplo de aprendizado por atalho. ”
O termo aprendizagem por atalho descreve o processo pelo qual as máquinas tentam identificar a solução mais simples ou um ‘atalho’ para resolver um determinado problema. Por exemplo, uma rede neural profunda pode perceber que um determinado remendo de textura ou parte de um objeto (por exemplo, um pneu de carro) é normalmente suficiente para prever a presença de um carro em uma imagem e, assim, começar a prever a presença de um carro nas imagens, mesmo quando incluem apenas pneus de carro.
“O aprendizado por atalho significa essencialmente que as redes neurais adoram trapacear”, disse Geirhos. “À primeira vista, a IA muitas vezes parece funcionar de maneira excelente – por exemplo, pode reconhecer se uma imagem contém animais, por exemplo, ovelhas. Somente após uma inspeção mais detalhada, é descoberto que a rede neural trapaceou e apenas olhou para o fundo.”
Um exemplo de trapaça de rede neural é uma situação em que categoriza uma paisagem verde vazia como ‘ovelha’ simplesmente porque processou imagens em que ovelhas estavam em frente a uma paisagem natural, embora falhando em reconhecer uma ovelha real quando é em um ambiente incomum (por exemplo, na praia). Este é um dos muitos exemplos que Geirhos e seus colegas mencionam em seu artigo.
Embora este seja um exemplo direto de aprendizagem por atalho, geralmente esses padrões de trapaça são muito mais sutis. Eles podem ser tão sutis que os pesquisadores às vezes se esforçam para identificar a estratégia de trapaça que uma rede neural artificial está adotando e podem simplesmente estar cientes de que não está resolvendo uma tarefa da maneira que esperavam.
“Esse padrão de trapaça tem paralelos na vida cotidiana, por exemplo, quando os alunos se preparam para as provas e só aprendem os fatos de cor, sem desenvolver uma verdadeira compreensão do problema”, disse Geirhos. “Infelizmente, no campo da IA, a aprendizagem por atalho não só leva a um desempenho enganosamente bom, mas, em certas circunstâncias, também à discriminação, por exemplo, quando uma IA prefere propor empregos a homens porque as posições anteriores já foram preenchidas principalmente por homens . ”
O artigo define, descreve e explora o conceito de aprendizagem por atalho, ao mesmo tempo em que explica como isso pode afetar o desempenho de redes neurais profundas e faz analogias com comportamentos observados em humanos e outros animais. Seu trabalho poderia inspirar outras equipes de pesquisa a examinar as deficiências das redes neurais profundas com mais detalhes, talvez ajudando no desenvolvimento de soluções que os impedem de trapacear. Geirhos e alguns de seus colegas estão agora desenvolvendo métodos de teste mais fortes para examinar as limitações de modelos baseados em redes neurais profundas existentes e emergentes.
“Encorajamos nossos colegas a desenvolver e aplicar em conjunto procedimentos de teste mais fortes: desde que não se tenha examinado se um algoritmo pode lidar com imagens inesperadas, como uma vaca na praia, a trapaça deve ser considerada pelo menos uma possibilidade séria”, Geirhos disse. “Nem tudo que reluz é ouro: só porque a IA é relatada como atingindo pontuações altas em um benchmark não significa que a IA também resolveu o problema com que realmente nos importamos; às vezes, a IA apenas encontra um atalho. Felizmente, porém, os métodos atuais de inteligência artificial não são de forma alguma estúpidos, apenas preguiçosos demais: se desafiados o suficiente, eles podem aprender relacionamentos altamente complexos – mas se eles descobriram um atalho simples, eles seriam os últimos a reclamar disso. “
Publicado em 24/12/2020 13h25
Artigo original:
Estudo original: