Uma equipe do Computer Vision Center (CVC) e da Universidade de Barcelona publicou os resultados de um estudo que avalia a precisão e o preconceito no gênero e na cor da pele de algoritmos de reconhecimento automático de rosto testados com dados do mundo real. Embora as principais soluções excedam 99,9% de precisão, os pesquisadores detectaram alguns grupos que apresentam taxas mais altas de falso positivo ou falso negativo.
O reconhecimento facial tem sido usado rotineiramente por organizações privadas e governamentais em todo o mundo. O reconhecimento automático de rosto pode ser usado para fins legítimos e benéficos (por exemplo, para melhorar a segurança), mas ao mesmo tempo seu poder e onipresença aumentam um potencial impacto negativo que métodos injustos podem ter na sociedade (por exemplo, discriminação contra minorias étnicas). Uma condição necessária, embora não suficiente, para uma implantação legítima de algoritmos de reconhecimento de rosto é a precisão igual para todos os grupos demográficos.
Com este propósito em mente, pesquisadores do Grupo de Análise de Comportamento e Recuperação da Pose Humana do Computer Vision Center (CVC) – Universidade de Barcelona (UB), liderados por Sergio Escalera, organizaram um desafio no âmbito da Conferência Europeia de Visão Computacional (ECCV) 2020. Os resultados, publicados recentemente na revista Computer Vision ? ECCV 2020 Workshops, avaliaram a precisão dos algoritmos enviados pelos participantes na tarefa de verificação facial na presença de outros atributos de confusão.
“[O estudo] atraiu 151 participantes, que fizeram mais de 1.800 inscrições no total, superando nossas expectativas quanto ao número de participantes e inscrições”, explica Sergio Escalera, também membro do Instituto de Matemática da UB.
Os participantes usaram um conjunto de dados de imagem não balanceada, que simula um cenário do mundo real onde os modelos baseados em IA devem ser treinados e avaliados em dados desequilibrados (consideravelmente mais homens brancos do que mulheres escuras). No total, eles trabalharam com 152.917 imagens de 6.139 identidades.
As imagens foram anotadas para dois atributos protegidos: gênero e cor da pele; e cinco atributos legítimos: faixa etária (0-34, 35-64, 65+), postura da cabeça (frontal, outra), fonte da imagem (imagem estática, quadro de vídeo), uso de óculos e tamanho de caixa delimitadora.
Os resultados obtidos foram muito promissores. As melhores soluções vencedoras excederam 99,9% de precisão, enquanto alcançavam pontuações muito baixas nas métricas de viés propostas, “o que pode ser considerado um passo em direção ao desenvolvimento de métodos de reconhecimento facial mais justos”, disse Julio CS Jacques Jr., pesquisador do CVC e do Universidade Aberta da Catalunha.
A análise das 10 melhores equipes mostrou taxas mais altas de falso positivo para mulheres com tom de pele escuro e para amostras em que ambos os indivíduos usam óculos. Em contraste, houve maiores taxas de falsos negativos para homens com tom de pele claro e para amostras em que ambos os indivíduos tinham 35 anos ou menos. Além disso, constatou-se que, no conjunto de dados, indivíduos com menos de 35 anos usam óculos com menos frequência do que indivíduos mais velhos, resultando em uma combinação de efeitos desses atributos. “Isso não foi uma surpresa, já que o conjunto de dados adotado não foi balanceado em relação aos diferentes atributos demográficos. No entanto, mostra que a precisão geral não é suficiente quando o objetivo é construir métodos justos de reconhecimento de rostos, e que trabalhos futuros sobre o tema devem levar levar em consideração a precisão e a mitigação de viés “, concluiu Julio CS Jacques Jr.
Publicado em 21/01/2021 02h48
Artigo original: