Máquinas autônomas capazes de força letal são cada vez mais prevalentes na guerra moderna, apesar das inúmeras preocupações éticas. Há algo que possamos fazer para deter o avanço dos robôs assassinos?
O vídeo é austero. Dois homens ameaçadores estão ao lado de uma van branca em um campo, segurando controles remotos. Eles abrem as portas traseiras da van e o som de zumbidos de quadricópteros drones crescendos. Eles ligam um interruptor e os drones saem em enxame como morcegos de uma caverna. Em alguns segundos, cortamos para uma sala de aula da faculdade. Os robôs assassinos invadem as janelas e aberturas. Os alunos gritam de terror, presos lá dentro, enquanto os drones atacam com força mortal. A lição que o filme Slaughterbots está tentando transmitir é clara: pequenos robôs assassinos estão aqui ou a um pequeno avanço tecnológico de distância. Terroristas podem facilmente implantá-los. E as defesas existentes são fracas ou inexistentes.
Alguns especialistas militares argumentaram que Slaughterbots – que foi feito pelo Future of Life Institute, uma organização que pesquisa ameaças existenciais à humanidade – sensacionalizou um problema sério, alimentando o medo onde uma reflexão calma era necessária. Mas quando se trata do futuro da guerra, a linha entre a ficção científica e os fatos industriais costuma ser confusa. A Força Aérea dos Estados Unidos previu um futuro no qual “as equipes do Swat enviarão insetos mecânicos equipados com câmeras de vídeo para se infiltrar dentro de um prédio durante um confronto com reféns”. Um “microssistemas colaborativos” já lançou o Octoroach, um “robô extremamente pequeno com uma câmera e um transmissor de rádio que pode cobrir até 100 metros no solo”. É apenas uma das muitas armas “biomiméticas”, ou imitações da natureza, que estão no horizonte.
Quem sabe quantas outras criaturas nocivas são agora modelos para teóricos militares de vanguarda. Um romance recente de PW Singer e August Cole, ambientado em um futuro próximo no qual os Estados Unidos estão em guerra com a China e a Rússia, apresentou uma visão caleidoscópica de drones autônomos, lasers e satélites sequestrados. O livro não pode ser considerado uma fantasia técnico-militar: inclui centenas de notas de rodapé que documentam o desenvolvimento de cada peça de hardware e software que descreve.
Os avanços na modelagem de máquinas de matar robóticas não são menos perturbadores. Uma história de ficção científica russa dos anos 60, Crabs on the Island, descreveu uma espécie de Hunger Games for AIs, em que robôs lutavam entre si por recursos. Os perdedores seriam descartados e os vencedores apareceriam, até que alguns evoluíssem para se tornarem as melhores máquinas de matar. Quando um importante cientista da computação mencionou um cenário semelhante ao da Agência de Projetos de Pesquisa Avançada de Defesa (Darpa) dos Estados Unidos, chamando-o de “Robô Jurassic Park”, um líder disse que era “viável”. Não é preciso muita reflexão para perceber que tal experimento tem o potencial de ficar totalmente fora de controle. A despesa é o principal impedimento para uma grande potência fazer experiências com tais máquinas potencialmente destrutivas. A modelagem de software pode eliminar até mesmo essa barreira, permitindo simulações virtuais testadas em batalha para inspirar futuros investimentos militares.
No passado, os Estados-nação se uniram para proibir novas armas particularmente horríveis ou aterrorizantes. Em meados do século 20, as convenções internacionais baniram as armas biológicas e químicas. A comunidade das nações também proibiu o uso da tecnologia de laser cegante. Uma rede robusta de ONGs exortou com sucesso a ONU a convocar os estados membros para concordar com uma proibição semelhante de robôs assassinos e outras armas que podem agir por conta própria, sem controle humano direto, para destruir um alvo (também conhecido como sistemas de armas autônomas letais , ou Leis). E embora tenha havido debate sobre a definição de tal tecnologia, todos nós podemos imaginar alguns tipos de armas particularmente aterrorizantes que todos os estados deveriam concordar em nunca fabricar ou implantar. Um drone que gradualmente esquentasse soldados inimigos até a morte violaria as convenções internacionais contra a tortura; as armas sônicas projetadas para destruir a audição ou o equilíbrio de um inimigo devem merecer tratamento semelhante. Um país que projetou e usou tais armas deve ser exilado da comunidade internacional.
Em resumo, provavelmente podemos concordar que o ostracismo – e punições mais severas – também é merecido para os designers e usuários de robôs assassinos. A própria ideia de uma máquina solta para o abate é assustadora. E, no entanto, alguns dos maiores militares do mundo parecem estar rastejando para desenvolver tais armas, perseguindo uma lógica de dissuasão: eles temem ser esmagados pela IA dos rivais se não puderem desencadear uma força igualmente potente. A chave para resolver uma corrida armamentista tão intratável pode estar menos em tratados globais do que em um repensar preventivo sobre para que a IA marcial pode ser usada. À medida que a “guerra volta para casa”, a implantação de força militar em países como os Estados Unidos e a China é um forte aviso aos seus cidadãos: quaisquer tecnologias de controle e destruição que você permitir que seu governo compre para uso no exterior agora podem ser usadas contra você no futuro.
Robôs assassinos são tão horríveis quanto armas biológicas? Não necessariamente, argumenta alguns teóricos militares estabelecidos e cientistas da computação. De acordo com Michael Schmitt, do US Naval War College, robôs militares podem policiar os céus para garantir que uma matança como a matança de curdos e árabes por Saddam Hussein não aconteça novamente. Ronald Arkin, do Instituto de Tecnologia da Geórgia, acredita que os sistemas de armas autônomos podem “reduzir a desumanidade do homem ao homem por meio da tecnologia”, uma vez que um robô não estará sujeito a ataques humanos demais de raiva, sadismo ou crueldade. Ele propôs tirar os humanos do ciclo de decisões sobre alvos, ao mesmo tempo que codifica as restrições éticas em robôs. Arkin também desenvolveu uma classificação de alvos para proteger locais como hospitais e escolas.
Em teoria, uma preferência por violência controlada por máquina em vez de violência humana imprevisível pode parecer razoável. Os massacres que acontecem durante a guerra muitas vezes parecem estar enraizados em emoções irracionais. No entanto, muitas vezes reservamos nossa mais profunda condenação não para a violência cometida no calor da paixão, mas para o assassino premeditado que friamente planejou seu ataque. A história da guerra oferece muitos exemplos de massacres planejados com mais cuidado. E certamente qualquer sistema de armas robóticas provavelmente será projetado com algum tipo de recurso de cancelamento, que seria controlado por operadores humanos, sujeito a todas as paixões humanas normais e irracionalidade.
Qualquer tentativa de codificar a lei e a ética em robôs assassinos levanta enormes dificuldades práticas. O professor de ciência da computação Noel Sharkey argumentou que é impossível programar um guerreiro robô com reações à infinita gama de situações que podem surgir no calor de um conflito. Como um carro autônomo desamparado pela neve interferindo em seus sensores, um sistema de armas autônomo na névoa da guerra é perigoso.
A maioria dos soldados testemunharia que a experiência cotidiana da guerra consiste em longos períodos de tédio pontuados por feitiços terríveis de desordem repentinos. Padronizar relatos de tais incidentes, a fim de orientar armas robóticas, pode ser impossível. O aprendizado de máquina funcionou melhor onde há um grande conjunto de dados com exemplos claramente compreendidos de bom e mau, certo e errado. Por exemplo, as empresas de cartão de crédito aprimoraram os mecanismos de detecção de fraude com análises constantes de centenas de milhões de transações, onde falsos negativos e falsos positivos são facilmente rotulados com quase 100% de precisão. Seria possível “datafy” as experiências de soldados no Iraque, decidindo se atirar em inimigos ambíguos? Mesmo se fosse, quão relevante seria esse conjunto de dados para ocupações de, digamos, Sudão ou Iêmen (duas das muitas nações com algum tipo de presença militar dos EUA)?
Dadas essas dificuldades, é difícil evitar a conclusão de que a ideia de máquinas de matar robóticas éticas é irreal e muito provável de sustentar fantasias perigosas de guerras de botões e massacres sem culpa.
O Direito Internacional Humanitário, que governa os conflitos armados, apresenta ainda mais desafios para os desenvolvedores de armas autônomas. Um princípio ético fundamental da guerra é o da discriminação: exigir que os atacantes façam distinção entre combatentes e civis. Mas a guerra de guerrilha ou insurgente se tornou cada vez mais comum nas últimas décadas, e os combatentes em tais situações raramente usam uniformes, tornando mais difícil distingui-los dos civis. Dadas as dificuldades que os soldados humanos enfrentam a esse respeito, é fácil ver o risco ainda maior representado pelos sistemas de armas robóticas.
Os defensores de tais armas insistem que os poderes de discriminação das máquinas estão apenas melhorando. Mesmo que seja assim, é um grande salto lógico presumir que os comandantes usarão esses avanços tecnológicos para desenvolver princípios justos de discriminação no barulho e na confusão da guerra. Como escreveu o pensador francês Grégoire Chamayou, a categoria de “combatente” (um alvo legítimo) já tendeu a “diluir-se de modo a se estender a qualquer forma de filiação, colaboração ou presumida simpatia por algum militante organização “.
O princípio de distinguir entre combatentes e civis é apenas uma das muitas leis internacionais que regem a guerra. Há também a regra de que as operações militares devem ser “proporcionais” – um equilíbrio deve ser alcançado entre o dano potencial a civis e a vantagem militar que pode resultar da ação. A Força Aérea dos Estados Unidos descreveu a questão da proporcionalidade como “uma determinação inerentemente subjetiva que será resolvida caso a caso”. Não importa o quão bem a tecnologia monitore, detecte e neutralize ameaças, não há evidências de que ela possa se envolver no tipo de raciocínio sutil e flexível essencial para a aplicação de leis ou normas até mesmo ligeiramente ambíguas.
Mesmo se assumíssemos que os avanços tecnológicos poderiam reduzir o uso da força letal na guerra, isso sempre seria uma coisa boa? Ao examinar a crescente influência dos princípios dos direitos humanos sobre os conflitos, o historiador Samuel Moyn observa um paradoxo: a guerra tornou-se ao mesmo tempo “mais humana e mais difícil de acabar”. Para os invasores, os robôs poupam os políticos da preocupação de baixas, alimentando a oposição em casa. Um punho de ferro na luva de veludo de tecnologia avançada, os drones podem exercer vigilância apenas o suficiente para pacificar os ocupados, evitando o tipo de derramamento de sangue devastador que provocaria uma revolução ou intervenção internacional.
Nessa visão robotizada de “dominação humana”, a guerra pareceria cada vez mais com uma ação policial extraterritorial. Os inimigos seriam substituídos por suspeitos sujeitos a detenção mecanizada em vez de uso de força letal. Por mais salvador que possa ser, sugere Moyn, o enorme diferencial de poder no cerne das ocupações tecnologizadas não é um fundamento adequado para uma ordem internacional legítima.
Chamayou também é cético. Em seu livro perspicaz Drone Theory, ele lembra os leitores da matança de 10.000 sudaneses em 1898 por uma força anglo-egípcia armada com metralhadoras, que sofreu apenas 48 baixas. Chamayou chama o drone de “a arma da violência pós-colonial amnésica”. Ele também lança dúvidas sobre se os avanços na robótica realmente resultariam no tipo de precisão que os fãs de robôs assassinos prometem. Os civis são rotineiramente mortos por drones militares pilotados por humanos. Remover essa possibilidade pode envolver um futuro igualmente sombrio no qual os sistemas de computação conduzem uma vigilância tão intensa sobre as populações em questão que podem avaliar a ameaça representada por cada pessoa dentro deles (e liquidá-los ou poupá-los de acordo).
Os defensores dos drones dizem que a arma é a chave para uma guerra mais discriminadora e humana. Mas para Chamayou, “ao descartar a possibilidade de combate, o drone destrói a própria possibilidade de qualquer diferenciação clara entre combatentes e não combatentes”. A afirmação de Chamayou pode parecer uma hipérbole, mas considere a situação no Iêmen ou no interior do Paquistão: existe realmente alguma resistência séria que os “militantes” possam sustentar contra uma corrente de centenas ou milhares de veículos aéreos não tripulados patrulhando seus céus? Tal ambiente controlado equivale a uma perturbadora fusão de guerra e policiamento, sem as restrições e salvaguardas que foram estabelecidas para, pelo menos, tentar tornar esses campos responsáveis.
Como os líderes globais devem responder à perspectiva dessas novas tecnologias de armas perigosas? Uma opção é tentar unir-se para banir completamente certos métodos de matar. Para entender se esses acordos internacionais de controle de armas poderiam funcionar ou não, vale a pena olhar para o passado. A mina terrestre antipessoal, projetada para matar ou mutilar qualquer um que pisasse ou se aproximasse dela, foi uma das primeiras armas automatizadas. Ele aterrorizou os combatentes na Primeira Guerra Mundial. Baratas e fáceis de distribuir, as minas continuaram a ser usadas em conflitos menores em todo o mundo. Em 1994, os soldados colocaram 100 milhões de minas terrestres em 62 países.
As minas continuaram a devastar e intimidar as populações por anos após o fim das hostilidades. As vítimas de minas geralmente perdiam pelo menos uma perna, às vezes duas, e sofriam lacerações colaterais, infecções e traumas. Em 1994, 1 em 236 cambojanos havia perdido pelo menos um membro com a detonação de minas.
Em meados dos anos 90, havia um consenso internacional crescente de que as minas terrestres deveriam ser proibidas. A Campanha Internacional para Banir as Minas Terrestres pressionou governos em todo o mundo para condená-los. A mina terrestre não é tão mortal quanto muitas outras armas, mas ao contrário de outras aplicações de força, ela pode mutilar e matar não-combatentes muito depois do fim da batalha. Em 1997, quando a campanha para banir as minas terrestres ganhou o Prêmio Nobel da Paz, dezenas de países assinaram um tratado internacional, com força vinculante, prometendo não fabricar, armazenar ou implantar tais minas.
Os EUA objetaram e até hoje não assinaram a convenção de armas anti-minas terrestres. No momento das negociações, os negociadores dos Estados Unidos e do Reino Unido insistiram que a solução real para o problema das minas terrestres era garantir que as futuras minas fossem desligadas automaticamente após um período fixo de tempo, ou tivessem alguma capacidade de controle remoto. Isso significaria que um dispositivo poderia ser desligado remotamente assim que as hostilidades cessassem. Ele poderia, é claro, ser ligado novamente também.
O solucionismo tecnológico dos EUA encontrou poucos apoiadores. Em 1998, dezenas de países assinaram o tratado de proibição de minas. Mais países aderiram a cada ano de 1998 a 2010, incluindo grandes potências como a China. Enquanto o governo Obama deu alguns passos importantes para limitar as minas, o secretário de defesa de Trump os reverteu. Essa reviravolta é apenas uma faceta de um nacionalismo belicoso que provavelmente acelerará a automação da guerra.
Em vez de proibir robôs assassinos, o establishment militar dos EUA prefere regulamentação. As preocupações com o mau funcionamento, falhas ou outras consequências não intencionais do armamento automatizado deram origem a um discurso medido de reforma em torno da robótica militar. Por exemplo, o PW Singer da New America Foundation permitiria que um robô fizesse “uso autônomo apenas de armas não letais”. Portanto, um drone autônomo poderia patrulhar um deserto e, digamos, atordoar um combatente ou envolvê-lo em uma rede, mas a “decisão de matar” seria deixada apenas para os humanos. Sob esta regra, mesmo se o combatente tentasse destruir o drone, o drone não poderia destruí-lo.
Essas regras ajudariam na transição da guerra para a manutenção da paz e, finalmente, para uma forma de policiamento. O tempo entre as decisões de captura e morte pode permitir o devido processo necessário para avaliar a culpa e definir uma punição. Singer também enfatiza a importância da responsabilização, argumentando que “se um programador fizer explodir uma aldeia inteira por engano, ele deve ser processado criminalmente”.
Enquanto alguns teóricos militares querem codificar robôs com ética algorítmica, Singer sabiamente se baseia em nossa experiência de séculos com pessoas reguladoras. Para garantir a responsabilidade pela implantação de “algoritmos de guerra”, os militares precisariam garantir que robôs e agentes algorítmicos sejam rastreáveis e identificados com seus criadores. No contexto doméstico, os estudiosos propuseram uma “placa de licença para drones”, para vincular qualquer ação imprudente ou negligente ao proprietário ou controlador do drone. Faz sentido que uma regra semelhante – algo como “Um robô deve sempre indicar a identidade de seu criador, controlador ou proprietário” – deva servir como uma regra fundamental de guerra, e sua violação punível com sanções severas.
No entanto, quão provável é, realmente, que programadores de robôs assassinos sejam realmente punidos? Em 2015, os militares dos EUA bombardearam um hospital no Afeganistão, matando 22 pessoas. No momento em que o bombardeio estava ocorrendo, a equipe do hospital ligou freneticamente para seus contatos nas Forças Armadas dos Estados Unidos, implorando que parasse. Seres humanos têm sido diretamente responsáveis por ataques de drones em hospitais, escolas, festas de casamento e outros alvos inadequados, sem consequências proporcionais. A “névoa da guerra” desculpa todo tipo de negligência. Não parece provável que os sistemas jurídicos domésticos ou internacionais imponham mais responsabilidade aos programadores que causam carnificinas semelhantes.
cada um sempre foi um grande negócio, e uma corrida armamentista de IA promete lucros para os conhecedores de tecnologia e politicamente bem conectados. O aconselhamento contra corridas armamentistas pode parecer totalmente irreal. Afinal, as nações estão despejando recursos maciços em aplicações militares de IA, e muitos cidadãos não sabem ou não se importam. No entanto, essa atitude quiescente pode mudar com o tempo, à medida que o uso doméstico de vigilância de IA aumenta, e essa tecnologia é cada vez mais identificada com aparatos obscuros de controle, em vez de poderes locais democraticamente responsáveis.
A IA militar e de vigilância não é usada apenas, ou mesmo principalmente, em inimigos estrangeiros. Ele foi reaproveitado para identificar e lutar contra os inimigos internos. Embora nada parecido com os ataques de 11 de setembro tenha surgido ao longo de quase duas décadas nos Estados Unidos, as forças de segurança interna silenciosamente viraram ferramentas antiterror contra criminosos, fraudes de seguros e até mesmo manifestantes. Na China, o governo exagerou a ameaça de “terrorismo muçulmano” para reunir uma porcentagem considerável de seus uigures em campos de reeducação e intimidar outros com inspeções telefônicas constantes e perfis de risco. Ninguém deveria se surpreender se algum equipamento chinês alimentasse um aparato de inteligência doméstico dos EUA, enquanto grandes empresas de tecnologia dos EUA são cooptadas pelo governo chinês para projetos de vigilância paralelos.
O avanço do uso da IA nas forças armadas, polícia, prisões e serviços de segurança é menos uma rivalidade entre grandes potências do que um projeto global lucrativo por elites corporativas e governamentais para manter o controle sobre populações inquietas em casa e no exterior. Uma vez implantados em batalhas e ocupações remotas, os métodos militares tendem a encontrar um caminho de volta ao front doméstico. Eles são primeiro implantados contra minorias impopulares ou relativamente impotentes e, em seguida, se espalham para outros grupos. Oficiais do Departamento de Segurança Interna dos EUA presentearam os departamentos de polícia locais com tanques e armaduras. Os xerifes ficarão ainda mais entusiasmados com a avaliação de ameaças e direcionamento por IA. Mas é importante lembrar que existem muitas maneiras de resolver os problemas sociais. Nem todos exigem vigilância constante juntamente com a ameaça mecanizada da força.
Na verdade, essa pode ser a forma menos eficaz de garantir a segurança, tanto nacional quanto internacionalmente. Os drones permitiram aos EUA manter uma presença em várias zonas ocupadas por muito mais tempo do que um exército teria persistido. A presença constante de um vigilante robótico, capaz de alertar os soldados sobre qualquer comportamento ameaçador, é uma forma de opressão. As forças de defesa americanas podem insistir que as ameaças de partes do Iraque e do Paquistão são ameaçadoras o suficiente para justificar vigilância constante, mas ignoram as maneiras como essas ações autoritárias podem provocar a própria raiva que pretendem reprimir.
Atualmente, o complexo militar-industrial está nos acelerando em direção ao desenvolvimento de enxames de drones que operam independentemente dos humanos, aparentemente porque apenas as máquinas serão rápidas o suficiente para antecipar as contra-estratégias do inimigo. Esta é uma profecia autorrealizável, que tende a estimular o desenvolvimento de um inimigo da mesma tecnologia que supostamente justifica a militarização de algoritmos. Para sair desse ciclo autodestrutivo, precisamos questionar todo o discurso reformista de transmitir ética aos robôs militares. Em vez de melhorias marginais de um caminho para a competição na capacidade de combate, precisamos de um caminho diferente – para a cooperação e a paz, por mais frágil e difícil que seja sua conquista.
Em seu livro How Everything Became War and the Military Became Everything, a ex-funcionária do Pentágono Rosa Brooks descreve uma percepção crescente entre os especialistas em defesa americanos de que o desenvolvimento, a governança e a ajuda humanitária são tão importantes para a segurança quanto a projeção da força, se não mais. Um mundo com mais recursos reais tem menos motivos para perseguir guerras de soma zero. Também estará mais bem equipado para lutar contra inimigos naturais, como novos coronavírus. Se os gastos dos EUA tivessem investido uma fração de suas forças armadas em recursos de saúde pública, quase certamente teria evitado dezenas de milhares de mortes em 2020.
Para que essa mentalidade mais expansiva e humana prevaleça, seus defensores devem vencer uma batalha de idéias em seus próprios países sobre o papel adequado do governo e os paradoxos da segurança. Eles devem mudar os objetivos políticos da dominação no exterior para atender às necessidades humanas em casa. Observando o crescimento do estado de segurança nacional dos Estados Unidos – o que ele considera o “império predador” – o autor Ian GR Shaw pergunta: “Não vemos a ascensão do controle sobre a compaixão, a segurança sobre o apoio, o capital sobre o cuidado e a guerra sobre o bem-estar?” Parar essa ascensão deve ser o objetivo principal da IA contemporânea e da política de robótica.
Publicado em 27/03/2021 19h10
Artigo original:
Estudo original: