Todos os anos, desde 2014, representantes de estados de todo o mundo se reuniram em Genebra, Suíça, sob um tratado internacional de desarmamento conhecido como Convenção sobre Certas Armas Convencionais para tentar resolver uma questão excepcionalmente complicada. O que, se houver alguma coisa, deve ser feito com relação às armas de inteligência artificial (IA) que podem selecionar e atacar alvos sem um ser humano puxar o gatilho? Mesmo com os militares fazendo avanços crescentes para desenvolver sistemas autônomos – incluindo armas – as negociações nas Nações Unidas estão entrando em seu oitavo ano sem nenhuma resposta compartilhada à vista.
As negociações sobre os chamados sistemas de armas autônomas letais têm sido cercadas por rachaduras aparentemente intransponíveis entre aqueles que desejam proibir tais artifícios, aqueles que desejam regulá-los e aqueles que rejeitam a necessidade de quaisquer novas regras rígidas. Cada um desses grupos, entretanto, provavelmente pode concordar em pelo menos um ponto: nenhuma arma autônoma deve ser uma caixa preta. Essas armas devem sempre fazer o que se espera que façam, e devem fazê-lo por razões inteligíveis.
Independentemente das regras a que essas armas estão sujeitas agora ou no futuro, um alto grau de compreensibilidade e previsibilidade – tomando emprestado o jargão mais técnico da IA responsável – serão características essenciais em qualquer arma autônoma. Mesmo que os estados que negociam nas Nações Unidas optem por não estabelecer novas regras, a adesão às leis de guerra existentes ainda depende de os militares terem um bom controle sobre o que suas armas autônomas farão e por que o fazem.
Para ter certeza, todas as armas devem ser previsíveis e compreensíveis. Mas as armas autônomas provavelmente precisarão ser especialmente previsíveis para compensar a ausência de controle humano, e precisam ser especialmente compreensíveis porque muitas vezes é a única maneira de saber exatamente como se comportarão.
Em um experimento para ilustrar por que a compreensibilidade, em particular, é tão importante para a IA, os pesquisadores apresentaram uma ferramenta de visão por computador que parecia ser excelente para distinguir lobos de huskies. Por acaso, o sistema funcionou simplesmente detectando neve nas imagens, já que a maioria das fotos de lobos que a máquina havia treinado foram tiradas em uma região selvagem com neve. A equipe mostrou que apenas estudando como o algoritmo reconhecia os lobos o estratagema poderia ser revelado.
A história recente da IA está repleta de exemplos igualmente dramáticos de prestidigitação maquínica, cada um dos quais é uma razão para acreditar que qualquer arma autônoma suficientemente complexa pode parecer se comportar exatamente como pretendido, mesmo quando algo deu muito errado. A menos que você olhe por baixo do capô, seria difícil dizer se ele está realmente fazendo o que você deseja, se está fazendo da maneira que você deseja e se o fará em usos futuros.
No teste, uma arma autônoma, portanto, precisa ser suficientemente compreensível para os avaliadores detectar quaisquer bugs invisíveis ou deficiências muito antes da implantação e previsível o suficiente para os testadores validarem se ela se comportaria no mundo real exatamente como se comportou no laboratório. Ser capaz de examinar sob o capô algorítmico de uma arma e antecipar precisamente o desempenho futuro também seria vital para as revisões legais de novas tecnologias de guerra que todos os estados devem conduzir para determinar se essas armas poderiam ser usadas em conformidade com as leis nacionais e internacionais relevantes (para exemplo, a lei que exige que os militares façam distinção entre civis e combatentes ao realizar um ataque), conforme estipulado pelo Protocolo Adicional I à Convenção de Genebra.
A necessidade de previsibilidade e compreensibilidade não termina quando uma arma autônoma é liberada para uso. Em conflitos ativos, os comandantes que têm que decidir se usam ou não uma arma autônoma no campo de batalha precisam ser capazes de antecipar os efeitos de fazê-lo. Operadores de armas autônomos com autoridade de lançamento final – e tão importante quanto, autoridade de aborto – precisam saber quando confiar nessas máquinas para executar seus objetivos e quando não confiar nelas.
Essas decisões humanas terão que se basear em uma previsão de como a arma provavelmente responderá às condições em questão, incluindo os adversários e outros sistemas complexos presentes no conflito, algo que não pode ser baseado apenas na garantia do laboratório de que o sistema funciona, ou mesmo com base em um histórico estelar. Armas autônomas – como outros sistemas de IA – que funcionam exatamente como pretendido em todas as instâncias anteriores ainda podem falhar espetacularmente quando encontram certas condições desviantes. Se tal sistema é misterioso para os engenheiros que os criaram, quanto mais para os soldados que teriam que tomar decisões de vida ou morte sobre seu uso, provavelmente não há maneira de evitar essas falhas antes que seja tarde demais.
Esses requisitos provavelmente também se estenderão por muito tempo depois que a poeira de qualquer operação assentar. Quando uma arma autônoma causa danos não intencionais, os responsáveis precisam entender por que ela falhou ou funcionou mal, antecipar se é provável que aconteça novamente e descobrir como evitar acidentes futuros semelhantes com ajustes técnicos ou novos limites sobre como ela pode ser usada .
A previsibilidade e a compreensibilidade teriam até um papel central na viabilização da proibição total de armas totalmente autônomas que alguns estados e ONGs propuseram. Se as partes que negociam nas Nações Unidas concordarem com tal proibição, a linha vermelha entre as armas autônomas proibidas e as armas semiautônomas legais provavelmente dependerá do fato de o operador da arma manter um controle humano significativo. Embora o significado exato de “significativo” neste contexto permaneça uma questão de debate extenuante, se um operador que controla uma arma semi-autônoma não tinha ideia de por que a arma está selecionando um determinado alvo ou o que exatamente ela fará se receber luz verde incêndio, seria difícil argumentar que tal arranjo está em conformidade com a proibição.
Por que tanto barulho, então? Pode-se pensar que, de acordo com qualquer resultado das negociações em Genebra, os Estados simplesmente precisarão exigir que todos limitem estritamente o uso de armas autônomas a sistemas perfeitamente compreensíveis e previsíveis. Se fosse assim tão fácil.
É tecnicamente viável construir uma arma autônoma altamente previsível, no sentido de que ela realiza novas operações com o mesmo nível de precisão que exibia anteriormente em condições idênticas. Mas não é assim que o mundo funciona; as condições de campo são altamente mutáveis e muitas vezes pode ser impossível prever quais fatores potencialmente desviantes um sistema totalmente autônomo encontrará quando for implantado. (Na verdade, em alguns casos, o objetivo de usar uma arma autônoma é sondar uma área onde os soldados humanos não podem, ou não querem, ir eles próprios.) O emprego de certos tipos de armas autônomas em certos ambientes pode, portanto, ser repleto de uma imprevisibilidade operacional inevitável.
Os sistemas de IA também podem ser inevitavelmente ininteligíveis. Ao contrário dos sistemas inteligentes transparentes de booms de IA anteriores, muitas das formas mais avançadas de IA hoje não são codificadas com instruções passo a passo específicas sobre como operar. Em vez disso, sistemas como a ferramenta de visão computacional mencionada acima empregam um processo de aprendizado probabilístico para definir efetivamente suas próprias instruções sobre como melhor atingir um determinado objetivo. Podemos ver os dados brutos que entram em tal sistema e as saídas que ele gera, mas o processo que transforma o primeiro no último geralmente envolve milhões de parâmetros e pode não fazer nenhum sentido intuitivo para nossos cérebros humanos simples. Mesmo uma forte compreensão conceitual da arquitetura de aprendizado de tal sistema pode dar poucos insights sobre como ele distingue lobos de huskies – ou depósitos de armas de hospitais. Os esforços para construir ferramentas de explicabilidade que desmistifiquem o funcionamento interno da IA complexa para operadores humanos ainda têm um longo caminho a percorrer, especialmente em aplicações críticas como a guerra.
Essas são realidades desconfortáveis, mas há muito que poderia ser feito.
Os pesquisadores e as partes no debate sobre armas autônomas podem querer começar por chegar a uma definição comum para o que realmente significa previsibilidade e compreensibilidade – mesmo este detalhe está longe de ser estabelecido – e começar a fixar o nível apropriado de previsibilidade e compreensibilidade para cada tipo de autônomo arma e caso de uso.
Por exemplo, um sistema de mira inteligente para um jato fortemente armado provavelmente precisa ser mais compreensível do que um algoritmo em uma arma de defesa aérea que só pode atirar em pequenos drones em uma faixa estreita de espaço aéreo sobre uma área despovoada – digamos, o perímetro de um base militar. O primeiro pode ser uma arma ofensiva poderosa, ao passo que o último tem um propósito defensivo limitado que apresenta pouco risco de danos colaterais. Da mesma forma, o engenheiro que testa um algoritmo antes de usar uma arma precisa entender o sistema em um nível matemático mais complexo do que o soldado, que só precisa saber quando confiar ou não.
Com um melhor senso dessas definições e variáveis, será mais fácil determinar como e quando diferentes tipos e níveis de imprevisibilidade e ininteligibilidade de IA podem ser problemáticos ou mesmo ilegais – e se esses riscos teriam que ser tratados, digamos, circunscrevendo onde autônomo sistemas podem ser usados e por quanto tempo eles podem ser deixados sozinhos para vagar pelo campo de batalha.
Em segundo lugar, se os estados desejam criar padrões específicos para previsibilidade e compreensibilidade, eles provavelmente precisarão descobrir como essas qualidades podem ser medidas – uma tarefa assustadora. Nesse e em outros aspectos, eles podem querer buscar ideias além do reino militar. O setor civil teve uma vantagem inicial no dilema da caixa preta em áreas como transporte e medicina.
Embora eles também devam ter em mente como o setor civil e o setor militar diferem. Um algoritmo de aplicação de empréstimo e um drone autônomo podem ser igualmente ininteligíveis, mas as medidas necessárias para contabilizar essa ininteligibilidade, sem mencionar o custo humano de não fazê-lo, podem ser totalmente diferentes.
Finalmente, embora seja tentador presumir que as soluções para esses problemas fundamentalmente tecnológicos sempre estarão em consertos tecnológicos – que com matemática boa o suficiente, eles podem ser projetados para longe – esse não é necessariamente o caso. Certamente precisamos explorar como a IA poderia ser codificada para ser mais previsível e compreensível. Mas também precisamos pensar sobre os limites da engenharia e como esses limites podem ser compensados.
Por exemplo: Como a compreensibilidade de qualquer arma autônoma dada dependerá em grande parte da capacidade de compreensão de sua contraparte humana, que é diferente para todos, os patches de explicabilidade puramente técnicos podem ser totalmente sem sentido na ausência de medidas direcionadas às pessoas que irão interagir com e controlar essas tecnologias.
Abordar essas questões desafiadoras exigirá ampla contribuição. Embora as várias partes envolvidas no debate sobre as armas autônomas letais possam não ver muito terreno comum, elas poderiam pelo menos concordar em tentar desbloquear a caixa preta da IA militar juntas. Temos muito a ganhar se eles encontrarem a chave e muito a perder se não encontrarem.
Publicado em 28/03/2021 15h09
Artigo original: