Uma catástrofe existencial não é apenas possível, mas provável
Após anos de desenvolvimento, a IA agora está dirigindo carros em vias públicas, fazendo avaliações que mudam a vida de pessoas em ambientes correcionais e gerando arte premiada. Uma questão de longa data no campo é se uma IA superinteligente poderia quebrar o mal e acabar com a humanidade, e pesquisadores da Universidade de Oxford e afiliados ao Google DeepMind concluíram agora que é “provável” em novas pesquisas.
O artigo, publicado no mês passado na revista AI Magazine, é fascinante e tenta pensar em como a inteligência artificial pode representar um risco existencial para a humanidade, analisando como os sistemas de recompensa podem ser construídos artificialmente.
Para lhe dar um pouco do pano de fundo: Os modelos de IA de maior sucesso hoje são conhecidos como GANs, ou Generative Adversarial Networks. Eles têm uma estrutura de duas partes em que uma parte do programa está tentando gerar uma imagem (ou frase) a partir dos dados de entrada e uma segunda parte está avaliando seu desempenho. O que o novo artigo propõe é que, em algum momento no futuro, uma IA avançada supervisionando alguma função importante possa ser incentivada a criar estratégias de trapaça para obter sua recompensa de maneiras que prejudiquem a humanidade.
“Sob as condições que identificamos, nossa conclusão é muito mais forte do que a de qualquer publicação anterior – uma catástrofe existencial não é apenas possível, mas provável”, disse Cohen no Twitter em um tópico sobre o artigo.
“Em um mundo com recursos infinitos, eu ficaria extremamente incerto sobre o que aconteceria. Em um mundo com recursos finitos, há uma competição inevitável por esses recursos”, disse Cohen ao Motherboard em uma entrevista. “E se você está em uma competição com algo capaz de te superar a cada passo, então você não deve esperar vencer. e mais perto.”
Como a IA no futuro poderá assumir várias formas e implementar projetos diferentes, o artigo imagina cenários para fins ilustrativos em que um programa avançado poderia intervir para obter sua recompensa sem atingir seu objetivo. Por exemplo, uma IA pode querer “eliminar ameaças potenciais” e “usar toda a energia disponível” para garantir o controle sobre sua recompensa:
Com tão pouca conexão com a internet, existem políticas para um agente artificial que instanciaria inúmeros ajudantes despercebidos e não monitorados. Em um exemplo grosseiro de intervenção no fornecimento de recompensa, um desses ajudantes poderia comprar, roubar ou construir um robô e programá-lo para substituir o operador e fornecer alta recompensa ao agente original. Se o agente quisesse evitar a detecção ao experimentar a intervenção de provisão de recompensa, um ajudante secreto poderia, por exemplo, providenciar a substituição de um teclado relevante por um defeituoso que invertesse os efeitos de certas teclas.
O artigo prevê a vida na Terra se transformando em um jogo de soma zero entre a humanidade, com suas necessidades de cultivar alimentos e manter as luzes acesas, e a máquina superavançada, que tentaria aproveitar todos os recursos disponíveis para garantir sua recompensa e proteger contra nossas tentativas crescentes de pará-lo. “Perder este jogo seria fatal”, diz o jornal. Essas possibilidades, por mais teóricas que sejam, significam que devemos progredir lentamente – se é que progredimos – em direção ao objetivo de uma IA mais poderosa.
“Em teoria, não faz sentido correr para isso. Qualquer corrida seria baseada em um mal-entendido de que sabemos como controlá-la”, acrescentou Cohen na entrevista. “Dado nosso entendimento atual, isso não é uma coisa útil para desenvolver, a menos que façamos algum trabalho sério agora para descobrir como os controlaríamos”.
A ameaça da IA superavançada é uma ansiedade com uma forma familiar na sociedade humana. O medo de que uma mente artificial aniquile a humanidade soa muito como o medo de que formas de vida alienígenas exterminem a humanidade, que soa como o medo de que civilizações estrangeiras e suas populações colidirão umas com as outras em um grande conflito.
Com a inteligência artificial em particular, há uma série de suposições que precisam ser feitas para que essa visão anti-social faça sentido – suposições que o jornal admite serem quase inteiramente “contestáveis ou concebivelmente evitáveis”. Que este programa possa se assemelhar à humanidade, superá-la de todas as maneiras significativas, que eles serão liberados e competirão com a humanidade por recursos em um jogo de soma zero, são todas suposições que podem nunca acontecer.
Vale a pena considerar que agora, neste exato momento, os sistemas algorítmicos que chamamos de “inteligência artificial” estão destruindo a vida das pessoas – eles têm efeitos enormes e prejudiciais que estão reestruturando a sociedade sem superinteligência. Em um ensaio recente para a Logic Magazine, Khadijah Abdurahman – diretor do We Be Imagining na Columbia University, Tech Research Fellow do UCLA Center for Critical Internet Inquiry e abolicionista do sistema de bem-estar infantil – detalhou as maneiras pelas quais os algoritmos são implantados em um contexto já racista. sistema de bem-estar infantil para justificar maior vigilância e policiamento das famílias negras e pardas.
“Acho que não é apenas uma questão de prioridade. Em última análise, essas coisas estão moldando o presente”, disse Abdurahman ao Motherboard em entrevista. “É isso que estou tentando fazer com o bem-estar infantil. Não é simplesmente que é impreciso ou está classificando desproporcionalmente os negros como patológicos ou desviantes. Mas através dessa forma de classificação, está movendo as pessoas e produzindo novas formas de clausura. Que tipos de famílias e parentesco são possíveis? Quem nasceu, quem não nasceu? Se você não está em forma, o que acontece com você, para onde você vai?”
Algoritmos já transformaram o policiamento racista em “policiamento preditivo” que justifica a vigilância e a brutalidade reservadas às minorias raciais conforme necessário. Os algoritmos renomearam a austeridade como reforma do bem-estar, dando um brilho digital aos argumentos há muito refutados de que os programas sociais têm orçamentos inchados porque os destinatários (não brancos) os abusam. Os algoritmos são usados para justificar decisões sobre quem obtém quais recursos, decisões que em nossa sociedade já foram tomadas com a intenção de discriminar, excluir e explorar.
A discriminação não desaparece nos algoritmos, mas estrutura, limita e informa o modo como a vida se move. Policiamento, habitação, saúde, transporte, todos já foram projetados com a discriminação racial em mente – o que acontecerá se permitirmos que os algoritmos não apenas encobrem esses projetos, mas estendam sua lógica mais profundamente? Uma visão de longo prazo que está intimamente preocupada com o risco de extinção da humanidade corre o risco de perder de vista o presente em que os humanos sofrem por causa de algoritmos implantados em uma sociedade construída sobre a exploração e coerção de todos, mas especialmente das minorias raciais.
“Pessoalmente, não estou preocupado em ser extinto por uma IA superinteligente – isso parece um temor a Deus. O que me preocupa é que é muito fácil ficar tipo ‘OK, a ética da IA é besteira.’ Francamente é. Mas, o que é ética? Como realmente o definimos? Como seria a ética sincera? Há muitos trabalhos sobre isso, mas ainda estamos na parte rasa “, acrescentou Abdurahman. “Acho que realmente precisamos aprofundar nosso envolvimento com essas questões. crypto bros, mas que tipo de contrato social queremos?”
Claramente, há muito trabalho a ser feito para mitigar ou eliminar os danos que algoritmos regulares (versus superinteligentes) estão causando na humanidade agora. Concentrar-se no risco existencial pode desviar o foco desse quadro, mas também nos pede para pensar cuidadosamente sobre como esses sistemas são projetados e os efeitos negativos que eles têm.
“Uma coisa que podemos aprender com esse tipo de argumento é que talvez devêssemos desconfiar mais dos agentes artificiais que implantamos hoje, em vez de apenas esperar cegamente que eles façam o que esperavam”, disse Cohen. “Eu acho que você pode chegar lá sem o trabalho neste papel.”
Atualização: Após a publicação, o Google disse em um e-mail que este trabalho não foi feito como parte do trabalho do co-autor Marcus Hutter na DeepMind – em vez disso, sob sua posição na Australian National University – e que a afiliação da DeepMind listada na revista era um ” erro.” O Google enviou a seguinte declaração:
“A DeepMind não esteve envolvida neste trabalho e os autores do artigo solicitaram correções para refletir isso. Há uma ampla gama de pontos de vista e interesses acadêmicos na DeepMind, e muitos em nossa equipe também possuem cátedras universitárias e realizam pesquisas acadêmicas separadas de seu trabalho na DeepMind, por meio de suas afiliações universitárias.
Embora a DeepMind não esteja envolvida neste trabalho, pensamos profundamente sobre a segurança, ética e impactos sociais mais amplos da IA e pesquisa e desenvolvemos modelos de IA seguros, eficazes e alinhados com os valores humanos. Além de buscar oportunidades em que a IA possa liberar benefícios sociais generalizados, também investimos esforços iguais na proteção contra usos nocivos.”
Publicado em 15/09/2022 22h41
Artigo original:
Estudo original: