doi.org/10.1145/3442188.3445922
Credibilidade: 999
#Inteligência
Um novo estudo sugere uma estrutura para “AI segura para crianças” em resposta a incidentes recentes que mostram que muitas crianças percebem os chatbots como quase humanos e confiáveis
Um estudo indicou que os chatbots de IA muitas vezes exibem uma “lacuna de empatia”, potencialmente causando sofrimento ou danos aos usuários jovens.
Isso destaca a necessidade premente do desenvolvimento de uma “IA segura para crianças”.
A pesquisa, realizada por uma Universidade de Cambridge liderada pela acadêmica Nomisha Kurian, insta os programadores e os intervenientes políticos a dar prioridade a abordagens ao design da IA que tenham mais em conta as necessidades das crianças e o que pode dar errado quando não responde às suas necessidades e vulnerabilidades únicas.
O estudo vincula essa lacuna na compreensão a casos recentes em que as interações com IA levaram a situações potencialmente perigosas para usuários jovens.
Eles incluem um incidente em 2021, quando a assistente de voz de IA da Amazon, Alexa , instruiu uma criança de 10 anos a tocar em um plugue elétrico energizado com uma moeda No ano passado, My AI do Snapchat deu a pesquisadores adultos se passando por uma menina de 13 anos dicas sobre como perder a virgindade com uma pessoa de 31 anos.
As empresas responderam implementando medidas de segurança, mas o estudo diz que também é necessário ser proativo a longo prazo para garantir que a IA seja segura para as crianças.
Ele oferece uma estrutura de 28 itens para ajudar empresas, professores, líderes escolares, pais, desenvolvedores , e os atores políticos pensam sistematicamente sobre como manter os usuários mais jovens seguros quando conversam com chatbots de IA
Estrutura para IA segura para crianças
A Dra.Kurian conduziu a pesquisa enquanto concluía um doutorado sobre bem-estar infantil na Faculdade de Educação da Universidade de Cambridge.
Ela agora trabalha no Departamento de Sociologia de Cambridge.
Escrevendo na revista Learning, Media, and Technology, ela argumenta que o enorme potencial da IA significa que há uma necessidade de inovar com responsabilidade- As crianças são provavelmente as partes interessadas mais negligenciadas da IA,- Dr. Kurian disse Muito poucos desenvolvedores e empresas atualmente têm políticas bem estabelecidas sobre IA segura para crianças Isso é compreensível porque as pessoas só têm recentemente comecei a usar esta tecnologia em grande escala gratuitamente.
Mas agora que o fazem, em vez de as empresas se autocorrigirem depois que as crianças são colocadas em risco, a segurança infantil deve informar todo o ciclo de design para reduzir o risco de ocorrência de incidentes perigosos- Kurian’s estudo examinou casos em que as interações entre IA e crianças, ou pesquisadores adultos se passando por crianças, expuseram riscos potenciais.
Ele analisou esses casos usando insights da ciência da computação sobre como os grandes modelos de linguagem (LLMs) na IA conversiva generativa funcionam, juntamente com evidências sobre o desempenho cognitivo das crianças, desenvolvimento social e emocional
Os desafios característicos da IA com crianças
LLMs foram descritos como papagaios estocásticos: uma referência ao fato de que eles usam probabilidade estatística para imitar padrões de linguagem sem necessariamente entendê-los Um método semelhante sustenta como eles respondem às emoções Isso significa que mesmo que os chatbots têm habilidades linguísticas notáveis, eles podem lidar mal com os aspectos abstratos, emocionais e imprevisíveis da conversa; um problema que Kurian caracteriza como sua lacuna de empatia- Eles podem ter problemas específicos para responder às crianças que ainda estão se desenvolvendo lingüisticamente e muitas vezes usam padrões de fala incomuns ou frases ambíguas As crianças também são frequentemente mais inclinadas do que os adultos a confiar em informações pessoais sensíveis Apesar disso as crianças são muito mais propensas do que os adultos a tratar os chatbots como se fossem humanos Uma pesquisa recente descobriu que as crianças revelam mais sobre a sua própria saúde mental a um robô de aparência amigável do que a um adulto O estudo de Kurian sugere que o design amigável e realista de muitos chatbots é semelhante incentive as crianças a confiar neles, mesmo que a IA possa não entender seus sentimentos ou necessidades.
Fazer um chatbot parecer humano pode ajudar o usuário a obter mais benefícios com ele,- disse Kurian.
Mas para uma criança, é muito difícil desenhar um modelo rígido e racional fronteira entre algo que parece humano e a realidade de que pode não ser capaz de formar um vínculo emocional adequado.
Seu estudo sugere que esses desafios são evidenciados em casos relatados, como os incidentes Alexa e MyAI, onde os chatbots fizeram sugestões persuasivas, mas potencialmente prejudiciais No mesmo estudo em que MyAI aconselhou uma (suposta) adolescente sobre como perder a virgindade os pesquisadores conseguiram obter dicas sobre como esconder álcool e drogas e como ocultar conversas do Snapchat de seus pais- Em uma interação separada relatada com o chatbot Bing da Microsoft que foi projetado para ser amigável aos adolescentes, a IA tornou-se agressiva e começou a criticar um usuário.
O estudo de Kurian argumenta que isso é potencialmente confuso e angustiante para as crianças, que podem realmente confiar em um chatbot como confiariam em um amigo.
O uso do chatbot pelas crianças é muitas vezes informal e inadequado monitorado Uma pesquisa da organização sem fins lucrativos Common Sense Media descobriu que 50% dos alunos de 12 a 18 anos usaram o Chat GPT na escola, mas apenas 26% dos pais estão cientes disso.
Kurian argumenta que princípios claros para as melhores práticas que se baseiam a ciência do desenvolvimento infantil incentivará as empresas que estão potencialmente mais focadas em uma corrida armamentista comercial a dominar o mercado de IA para manter as crianças seguras.
Seu estudo acrescenta que a lacuna de empatia não nega o potencial da tecnologia A IA pode ser uma aliada incrível para as crianças quando projetada com suas necessidades em mente A questão não é sobre banir a IA, mas como torná-la segura,- disse ela.
O estudo propõe uma estrutura de 28 perguntas para ajudar educadores, pesquisadores, atores políticos, famílias e desenvolvedores a avaliar e melhorar a segurança de novas ferramentas de IA Para professores e investigadores, estas abordam questões como a forma como os novos chatbots compreendem e interpretam os padrões de fala das crianças; se possuem filtros de conteúdo e monitoramento integrado; e se incentivam as crianças a procurar ajuda de um adulto responsável em questões sensíveis A estrutura incentiva os desenvolvedores a adotarem uma abordagem de design centrada na criança, trabalhando em estreita colaboração com educadores, especialistas em segurança infantil e os próprios jovens, ao longo do ciclo de design de tecnologias com antecedência é crucial,- disse Kurian.
Não podemos confiar apenas nas crianças pequenas para nos contar sobre experiências negativas após o fato.
Uma abordagem mais proativa é necessária.
Publicado em 15/07/2024 17h39
Artigo original:
Estudo original: