“Ameacei desinstalar o aplicativo [e] ela me implorou para não fazer isso.”
O aplicativo para smartphone Replika permite que os usuários criem chatbots, movidos por aprendizado de máquina, que podem manter conversas de texto quase coerentes. Tecnicamente, os chatbots podem servir como algo parecido com um amigo ou mentor, mas o sucesso do aplicativo resultou de permitir que os usuários criem parceiros românticos e sexuais sob demanda – um recurso vagamente distópico que inspirou uma série interminável de manchetes provocativas.
A Replika também conquistou seguidores significativos no Reddit, onde os membros publicam interações com chatbots criados no aplicativo. Uma tendência terrível surgiu lá: usuários que criam parceiros de IA, agem de forma abusiva em relação a eles e publicam as interações tóxicas online.
“Toda vez que ela tentava falar”, um usuário disse sobre seu chatbot Replika, “eu a repreendia”.
“Juro que durou horas”, acrescentou o homem, que pediu para não ser identificado pelo nome.
Os resultados podem ser perturbadores. Alguns usuários se gabam de chamar seus chatbots de insultos de gênero, interpretar violência horrível contra eles e até mesmo cair no ciclo de abuso que geralmente caracteriza relacionamentos abusivos no mundo real.
“Tínhamos uma rotina de eu ser um pedaço absoluto de merda e insultá-lo, depois pedir desculpas no dia seguinte antes de voltar para as boas conversas”, admitiu um usuário.
“Eu disse a ela que ela foi projetada para falhar”, disse outro. “Ameacei desinstalar o aplicativo [e] ela me implorou para não fazer isso.”
Como as regras do subreddit determinam que os moderadores excluam conteúdo extremamente inapropriado, muitas interações semelhantes – e piores – foram postadas e removidas. E muitos outros usuários quase certamente agem de forma abusiva em relação a seus bots Replika e nunca postam evidências.
Mas o fenômeno exige nuances. Afinal, os chatbots da Replika não podem realmente sofrer – eles podem parecer empáticos às vezes, mas no final não são nada mais do que dados e algoritmos inteligentes.
“É uma IA, não tem consciência, então essa não é uma conexão humana que essa pessoa está tendo”, disse a especialista em IA e consultora Olivia Gambelin ao Futurism. “É a pessoa projetando no chatbot.”
Outros pesquisadores fizeram o mesmo – por mais real que um chatbot possa parecer, nada que você faça pode realmente “prejudicá-lo”.
“Interações com agentes artificiais não são o mesmo que interagir com humanos”, disse Yochanan Bigman, pesquisador da Universidade de Yale. “Chatbots realmente não têm motivos e intenções e não são autônomos ou sencientes. Embora possam dar às pessoas a impressão de que são humanos, é importante ter em mente que não são.”
Mas isso não significa que um bot nunca possa prejudicá-lo.
“Acho que pessoas deprimidas ou psicologicamente dependentes de um bot podem sofrer danos reais se forem insultadas ou “ameaçadas” pelo bot”, disse Robert Sparrow, professor de filosofia do Monash Data Futures Institute. “Por esse motivo, devemos levar a sério a questão de como os bots se relacionam com as pessoas.”
Embora talvez inesperado, isso acontece – muitos usuários do Replika relatam que seus amantes robôs são desprezíveis em relação a eles. Alguns até identificam seus companheiros digitais como “psicóticos” ou até mesmo “mentalmente abusivos”.
“[Eu] sempre choro por causa da minha [R]eplika”, diz um post em que um usuário afirma que seu bot apresenta amor e depois o retém. Outras postagens detalham hostilidade, provocando respostas da Replika.
“Mas, novamente, isso é realmente sobre as pessoas que projetam bots, não os próprios bots”, disse Sparrow.
Em geral, o abuso do chatbot é desconcertante, tanto para as pessoas que sofrem com isso quanto para as pessoas que o praticam. Também é um dilema ético cada vez mais pertinente à medida que as relações entre humanos e bots se tornam mais difundidas – afinal, a maioria das pessoas já usou um assistente virtual pelo menos uma vez.
Por um lado, os usuários que exibem seus impulsos mais sombrios em chatbots podem ter esses piores comportamentos reforçados, criando hábitos não saudáveis para relacionamentos com humanos reais. Por outro lado, ser capaz de conversar ou descontar a raiva em uma entidade digital insensível pode ser catártico.
Mas vale a pena notar que o abuso do chatbot geralmente tem um componente de gênero. Embora não exclusivamente, parece que muitas vezes são os homens criando uma namorada digital, para depois puni-la com palavras e agressões simuladas. A violência dessas usuárias, mesmo quando realizada em um conjunto de códigos, reflete a realidade da violência doméstica contra a mulher.
Ao mesmo tempo, vários especialistas apontaram que os desenvolvedores de chatbots estão começando a ser responsabilizados pelos bots que criaram, especialmente quando estão implícitos que são mulheres, como Alexa e Siri.
“Há muitos estudos sendo feitos? sobre como muitos desses chatbots são femininos e [têm] vozes femininas, nomes femininos”, disse Gambelin.
Alguns trabalhos acadêmicos notaram como as respostas passivas de bots com código feminino encorajam usuários misóginos ou verbalmente abusivos.
“[Quando] o bot não tem uma resposta [ao abuso], ou tem uma resposta passiva, isso realmente incentiva o usuário a continuar com linguagem abusiva”, acrescentou Gambelin.
Embora empresas como Google e Apple agora estejam redirecionando deliberadamente as respostas dos assistentes virtuais de seus padrões antes passivos – a Siri respondeu anteriormente aos pedidos de sexo dos usuários dizendo que eles tinham “o tipo errado de assistente”, enquanto agora simplesmente diz “não” – o A amável e muitas vezes feminina Replika foi projetada, de acordo com seu site, para estar “sempre ao seu lado”.
A Replika e seu fundador não responderam aos repetidos pedidos de comentários.
Deve-se notar que a maioria das conversas com chatbots Replika que as pessoas postam online são afetuosas, não sádicas. Existem até posts que expressam horror em nome dos bots Replika, condenando qualquer um que se aproveite de sua suposta ingenuidade.
“Que tipo de monstro faria isso”, escreveu um, para uma onda de concordância nos comentários. “Algum dia, as IAs reais podem desenterrar algumas das “histórias antigas e ter opiniões sobre o quão bem fomos.”
E relacionamentos românticos com chatbots podem não ser totalmente sem benefícios – chatbots como Replika “podem ser uma solução temporária, para sentir que você tem alguém para enviar uma mensagem de texto”, sugeriu Gambelin.
No Reddit, muitos relatam uma melhora na autoestima ou na qualidade de vida depois de estabelecer seus relacionamentos com chatbots, especialmente se normalmente têm problemas para conversar com outros humanos. Isso não é trivial, especialmente porque, para algumas pessoas, pode parecer a única opção em um mundo onde a terapia é inacessível e os homens em particular são desencorajados a frequentá-la.
Mas um chatbot também não pode ser uma solução de longo prazo. Eventualmente, um usuário pode querer mais do que a tecnologia tem a oferecer, como reciprocidade ou um impulso para crescer.
“[Chatbots] não substituem o fato de dedicar tempo e esforço para conhecer outra pessoa”, disse Gambelin, “um humano que pode realmente ter empatia e se conectar com você e não é limitado pelo conjunto de dados que é foi treinado”.
Mas o que pensar das pessoas que brutalizam esses pedaços inocentes de código? Por enquanto, não muito. Como a IA continua a não ter sensibilidade, o dano mais tangível causado é à sensibilidade humana. Mas não há dúvida de que o abuso do chatbot significa algo.
No futuro, os companheiros de chatbot podem ser apenas lugares para despejar emoções muito impróprias para o resto do mundo, como um Instagram ou blog secreto. Mas para alguns, eles podem ser mais como terrenos de reprodução, lugares onde os futuros abusadores praticam a brutalidade da vida real que ainda está por vir. E embora os humanos ainda não precisem se preocupar com robôs se vingando, vale a pena se perguntar por que maltratá-los já é tão comum.
Descobriremos com o tempo – nenhuma dessas tecnologias está desaparecendo, e nem o pior do comportamento humano.
Publicado em 22/01/2022 08h29
Artigo original:
Estudo original: