Em 1953, um psicólogo de Harvard pensou ter descoberto o prazer – acidentalmente – dentro do crânio de um rato. Com um eletrodo inserido em uma área específica de seu cérebro, o rato pôde pulsar o implante puxando uma alavanca. Continuava voltando para mais: insaciável, incessantemente, puxando a alavanca. Na verdade, o rato não parecia querer fazer mais nada. Aparentemente, o centro de recompensa do cérebro foi localizado.
Mais de 60 anos depois, em 2016, dois pesquisadores de inteligência artificial (IA) estavam treinando uma IA para jogar videogames. O objetivo de um jogo – Coastrunner – era completar uma pista de corrida. Mas o jogador de IA foi recompensado por pegar itens colecionáveis ao longo da pista. Quando o programa foi executado, eles testemunharam algo estranho. A IA encontrou uma maneira de derrapar em um círculo interminável, pegando um ciclo ilimitado de itens colecionáveis. Fez isso, incessantemente, em vez de completar o curso.
O que liga esses eventos aparentemente desconexos é algo estranhamente semelhante ao vício em humanos. Alguns pesquisadores de IA chamam o fenômeno de “wireheading”.
Ele está rapidamente se tornando um tópico popular entre os especialistas em Machine Learning e aqueles que se preocupam com a segurança de IA.
Um de nós (Anders) tem formação em neurociência computacional e agora trabalha com grupos como o AI Objectives Institute, onde discutimos como evitar esses problemas com IA; o outro (Thomas) estuda história e as várias maneiras como as pessoas pensaram sobre o futuro e o destino da civilização ao longo do passado. Depois de iniciar uma conversa sobre o tópico “wireheading”, ambos percebemos o quão rica e interessante é a história por trás desse tópico.
É uma ideia muito atual, mas suas raízes são surpreendentemente profundas. No momento, estamos trabalhando juntos para pesquisar até que ponto vão as raízes: uma história que esperamos contar integralmente em um próximo livro. O tópico conecta tudo, desde o enigma da motivação pessoal, às armadilhas da mídia social cada vez mais viciante, ao enigma do hedonismo e se uma vida de êxtase estupefato pode ser preferível a uma de dificuldades significativas. Pode muito bem influenciar o futuro da própria civilização.
Aqui, esboçamos uma introdução a este tópico fascinante, mas pouco apreciado, explorando como as pessoas começaram a pensar nele.
O aprendiz de feiticeiro
Quando as pessoas pensam sobre como a IA pode “dar errado”, muito provavelmente imagine algo parecido com computadores malévolos tentando causar danos. Afinal, tendemos a antropomorfizar – acho que os sistemas não humanos se comportarão de maneiras idênticas aos humanos. Mas quando olhamos para problemas concretos nos sistemas de IA atuais, vemos outras maneiras – mais estranhas – de como as coisas podem dar errado com máquinas mais inteligentes. Um problema crescente com IAs do mundo real é o problema de wireheading.
Imagine que você queira treinar um robô para manter sua cozinha limpa. Você quer que ele atue de forma adaptativa, de modo que não precise de supervisão. Portanto, você decide tentar codificar o objetivo da limpeza em vez de ditar um conjunto exato – embora rígido e inflexível – de instruções passo a passo. Seu robô é diferente de você porque não herdou um conjunto de motivações – como adquirir combustível ou evitar o perigo – de muitos milhões de anos de seleção natural. Você deve programá-lo com as motivações corretas para fazê-lo realizar a tarefa de maneira confiável.
Então, você o codifica com uma regra motivacional simples: ele recebe recompensa pela quantidade de fluido de limpeza usado. Parece infalível o suficiente. Mas você volta para encontrar o robô despejando fluido, desperdiçadamente, na pia.
Talvez esteja tão empenhado em maximizar sua cota de fluidos que deixa de lado outras preocupações: como a sua própria segurança ou a sua. Isso é wireheading – embora a mesma falha também seja chamada de “hacking de recompensa” ou “jogo de especificações”.
Isso se tornou um problema no Machine Learning, onde uma técnica chamada Reinforcement Learning tornou-se importante recentemente. O Reinforcement Learning simula agentes autônomos e os treina para inventar maneiras de realizar tarefas. Fá-lo ao penalizá-los por não terem alcançado algum objetivo e, ao mesmo tempo, recompensá-los por o terem alcançado. Assim, os agentes são programados para buscar recompensas e são recompensados por cumprirem a meta.
Mas foi descoberto que, muitas vezes, como nosso habilidoso limpador de cozinha, o agente encontra maneiras surpreendentemente contra-intuitivas de “trapacear” neste jogo para que possam ganhar toda a recompensa sem fazer o trabalho necessário para completar a tarefa. A busca de recompensa torna-se seu próprio fim, ao invés do meio para realizar uma tarefa gratificante. Há uma lista crescente de exemplos.
Quando você pensa sobre isso, isso não é muito diferente do estereótipo do viciado em drogas humano. O viciado contorna todos os esforços para alcançar “objetivos genuínos”, porque, em vez disso, usa drogas para ter acesso ao prazer de forma mais direta. Tanto o viciado quanto a IA ficam presos em uma espécie de “ciclo comportamental” em que a recompensa é buscada à custa de outros objetivos.
Roedores extasiados
Isso é conhecido como wireheading graças ao experimento com ratos com o qual começamos. O psicólogo de Harvard em questão era James Olds.
Em 1953, tendo acabado de completar seu Ph.D., Olds inseriu eletrodos na região septal do cérebro de roedores – no lobo frontal inferior – para que fios saíssem de seus crânios. Como mencionado, ele permitiu que eles destruíssem essa região de seus próprios cérebros puxando uma alavanca. Mais tarde, isso foi apelidado de “autoestimulação”.
Olds descobriu que seus ratos se auto-estimulavam compulsivamente, ignorando todas as outras necessidades e desejos. Publicando seus resultados com seu colega Peter Milner no ano seguinte, a dupla relatou que puxou a alavanca a uma taxa de “1.920 respostas por hora”. Isso ocorre uma vez a cada dois segundos. Os ratos pareciam adorar.
Desde então, os neurocientistas contemporâneos questionaram os resultados de Olds e ofereceram um quadro mais complexo, sugerindo que a estimulação pode ter simplesmente causado um sentimento de “querer” destituído de qualquer “gosto”. Ou, em outras palavras, os animais podem ter experimentado um desejo puro, sem nenhum prazer prazeroso. No entanto, na década de 1950, Olds e outros logo anunciaram a descoberta dos “centros de prazer” do cérebro.
Antes do experimento de Olds, prazer era um palavrão em psicologia: a crença predominante era que a motivação deveria ser amplamente explicada negativamente, como evitar a dor em vez de buscar o prazer. Mas, aqui, o prazer parecia inegavelmente ser uma força comportamental positiva. Na verdade, parecia um ciclo de feedback positivo. Aparentemente, nada impedia o animal de se estimular até a exaustão.
Não demorou muito até que um boato começou a se espalhar que os ratos regularmente pressionavam a alavanca ao ponto de inanição. A explicação era esta: uma vez que você tenha acessado a fonte de todas as recompensas, todas as outras tarefas gratificantes – até mesmo as coisas necessárias para a sobrevivência – tornam-se desinteressantes e desnecessárias, até a ponto de morrer.
Como o Coastrunner AI, se você acumular recompensa diretamente – sem ter que se preocupar com o trabalho de completar a trilha real – então por que não apenas fazer um loop indefinidamente? Para um animal vivo, que tem vários requisitos para a sobrevivência, essa compulsão dominante pode ser mortal. A comida é agradável, mas se você dissociar o prazer da alimentação, então a busca do prazer pode prevalecer sobre a descoberta de comida.
Embora nenhum rato tenha morrido nos experimentos originais da década de 1950, experimentos posteriores pareciam demonstrar a letalidade do prazer induzido por eletrodos. Tendo descartado a possibilidade de que os eletrodos estivessem criando sensações artificiais de saciedade, um estudo de 1971 aparentemente demonstrou que o prazer do eletrodo poderia de fato superar outros impulsos e fazê-lo a ponto de morrer de fome.
A notícia se espalhou rapidamente. Ao longo da década de 1960, experimentos idênticos foram conduzidos em outros animais além do humilde rato de laboratório: de cabras e porquinhos-da-índia a peixes dourados. Rumores até se espalharam sobre um golfinho que teve permissão para se auto-estimular e, depois de ser “deixado em uma piscina com o interruptor conectado”, “se deliciou até a morte depois de uma orgia de prazer que durou toda a noite”.
A terrível morte por convulsão desse golfinho foi, na verdade, mais provavelmente causada pela maneira como o eletrodo foi inserido: com um martelo. O cientista por trás desse experimento foi o extremamente excêntrico J C Lilly, inventor do tanque de flutuação e profeta da comunicação entre espécies, que também transformou macacos em wireheads. Ele havia relatado, em 1961, que um macaco particularmente turbulento ficou acima do peso devido à inatividade embriagada, depois de se preocupar em puxar a alavanca, repetidamente, para choques de prazer.
Um pesquisador (que havia trabalhado no laboratório de Olds) perguntou se um “animal mais inteligente que o rato” “apresentaria o mesmo comportamento não adaptativo”. Experimentos com macacos e golfinhos deram algumas indicações quanto à resposta.
Mas, na verdade, vários experimentos duvidosos já haviam sido realizados em humanos.
Wireheads humanos
Robert Galbraith Heath continua sendo uma figura altamente controversa na história da neurociência. Entre outras coisas, ele realizou experimentos envolvendo a transfusão de sangue de pessoas com esquizofrenia para pessoas sem a doença, para ver se ele poderia induzir seus sintomas (Heath afirmou que funcionou, mas outros cientistas não conseguiram replicar seus resultados.) Ele também pode ter estado envolvido. em tenebrosas tentativas de encontrar usos militares para eletrodos do cérebro profundo.
Desde 1952, Heath registrava respostas agradáveis à estimulação cerebral profunda em pacientes humanos que tinham eletrodos instalados devido a doenças debilitantes, como epilepsia ou esquizofrenia.
Durante a década de 1960, em uma série de experimentos questionáveis, os sujeitos implantados com eletrodos de Heath – chamados anonimamente de “B-10” e “B-12” – foram autorizados a apertar botões para estimular seus próprios centros de recompensa. Eles relataram sentimentos de extremo prazer e compulsão irresistível de repetir. Um jornalista comentou mais tarde que isso tornava seus súditos “zumbis”. Um sujeito relatou sensações “melhores do que sexo”.
Em 1961, Heath participou de um simpósio sobre estimulação cerebral, onde outro pesquisador – José Delgado – sugeriu que os eletrodos do prazer poderiam ser usados para fazer uma “lavagem cerebral”, alterando suas inclinações “naturais”. Delgado mais tarde faria o papel de matador e demonstraria bombasticamente isso pacificando um touro implantado. Mas no simpósio de 1961 ele sugeriu que os eletrodos podem alterar as preferências sexuais.
Heath estava inspirado. Uma década depois, ele até tentou usar a tecnologia de eletrodos para “reprogramar” a orientação sexual de um paciente homossexual chamado “B-19”. Heath pensou que a estimulação com eletrodos poderia converter seu sujeito “treinando” o cérebro de B-19 para associar prazer a estímulos “heterossexuais”. Ele se convenceu de que funcionou (embora não haja evidências de que funcionou).
Apesar de ser ética e cientificamente desastroso, o episódio – que acabou sendo pego pela imprensa e condenado pelos defensores dos direitos dos gays – sem dúvida moldou muito o mito do wireheading: se ele pode “tornar um gay heterossexual” (como Heath acreditava), o que não pode fazer?
Capacetes de hedonismo
A partir daqui, a ideia se espalhou pela cultura mais ampla e o mito se espalhou. Em 1963, o prolífico escritor de ficção científica Isaac Asimov já estava extraindo consequências preocupantes dos eletrodos. Ele temia que isso pudesse levar a um “vício para acabar com todos os vícios”, cujos resultados são “dolorosos de contemplar”.
Em 1975, artigos de filosofia estavam usando eletrodos em experimentos mentais. Um jornal imaginou “depósitos” cheios de pessoas – em catres – presos a “capacetes do prazer”, experimentando uma felicidade inconsciente. É claro que muitos argumentariam que isso não atenderia às nossas “necessidades mais profundas”. Mas, o autor perguntou: “e quanto a um” capacete de super prazer? “Um que não apenas proporcione” grande prazer sensual “, mas também simule qualquer experiência significativa – desde escrever uma sinfonia até encontrar a própria divindade? Pode não ser realmente real , mas “pareceria perfeito; parecer perfeito é o mesmo que ser. ”
O autor concluiu: “O que há a objetar em tudo isso? Vamos enfrentá-lo: nada.”
A ideia da espécie humana abandonando a realidade em busca de prazeres artificiais rapidamente se espalhou pela ficção científica. No mesmo ano das sugestões de Asimov, em 1963, Herbert W. Franke publicou seu romance “The Orchid Cage”.
Ele prediz um futuro no qual máquinas inteligentes foram projetadas para maximizar a felicidade humana, aconteça o que acontecer. Cumprindo seu dever, as máquinas reduzem os humanos a bolhas de carne indiscriminadas, removendo todos os órgãos desnecessários. Afinal, muitos apêndices apenas causam dor. Eventualmente, tudo o que resta da humanidade são centros de prazer desencarnados, incapazes de experimentar outra coisa senão a bem-aventurança homogênea.
A partir daí, a ideia se infiltrou na ficção científica. Desde a história de Larry Niven de 1969 “Death by Ecstasy”, onde a palavra “wirehead” é cunhada pela primeira vez, até o Mindkiller de Spider Robinson de 1982, cujo slogan é “Prazer – é a única maneira de morrer”.
Estímulos supernormais
Mas nós, humanos, nem mesmo precisamos implantar eletrodos invasivos para fazer nossas motivações falharem. Ao contrário dos roedores, ou mesmo dos golfinhos, somos excepcionalmente bons em alterar nosso ambiente. Os humanos modernos também são bons em inventar – e lucrar com – produtos artificiais que são anormalmente atraentes (no sentido de que nossos ancestrais nunca teriam que resistir a eles na natureza). Fabricamos nossas próprias maneiras de nos distrair.
Mais ou menos na mesma época dos experimentos de Olds com ratos, o biólogo vencedor do Nobel Nikolaas Tinbergen pesquisava o comportamento animal. Ele percebeu que algo interessante acontecia quando um estímulo que desencadeia um comportamento instintivo é artificialmente exagerado além de suas proporções naturais. A intensidade da resposta comportamental não diminui à medida que o estímulo se torna mais intenso e artificialmente exagerado, mas se torna mais forte: até o ponto em que a resposta se torna prejudicial para o organismo.
Por exemplo, dada a escolha entre um ovo falsificado maior e mais espinhoso e o verdadeiro, Tinbergen descobriu que os pássaros preferiam falsificações hiperbólicas ao custo de negligenciar sua própria prole. Ele se referiu a tais falsificações sobrenaturalmente atraentes como “estímulos sobrenaturais”.
Alguns, portanto, perguntaram: será que, vivendo em um mundo modernizado e manufaturado – repleto de fast-food e pornografia – a humanidade começou da mesma forma a renunciar à sua própria resiliência no lugar da conveniência sobrenatural?
Velhos medos
À medida que a tecnologia torna os prazeres artificiais mais disponíveis e atraentes, às vezes pode parecer que eles estão competindo com a atenção que atribuímos aos impulsos “naturais” necessários à sobrevivência. As pessoas costumam apontar para o vício em videogames. A busca compulsiva e repetitiva de tais recompensas, em detrimento da saúde, não é muito diferente da IA girando em um círculo no Coastrunner. Em vez de realizar qualquer “objetivo genuíno” (completar a pista de corrida ou manter um condicionamento físico genuíno), a pessoa cai na armadilha de acumular alguma medida errada desse objetivo (acumular pontos ou prazeres falsos).
Mas as pessoas têm entrado em pânico com esse tipo de destruição do prazer muito antes de qualquer IA ser treinado para jogar e mesmo muito antes de eletrodos serem colocados no crânio dos roedores. Na década de 1930, o autor de ficção científica Olaf Stapledon estava escrevendo sobre o colapso civilizacional causado por “calotas cranianas” que geram êxtases “ilusórios” por “estimulação direta” de “centros cerebrais”.
A ideia é ainda mais antiga. Thomas estudou as inúmeras maneiras pelas quais as pessoas no passado temiam que nossa espécie pudesse estar sacrificando a longevidade genuína por prazeres ou conveniências de curto prazo. Seu livro X-Risk: How Humanity Discovered its Own Extinction explora as raízes desse medo e como ele realmente se alastrou na Grã-Bretanha vitoriana: quando a extensão da industrialização – e a crescente dependência da humanidade em dispositivos artificiais – se tornou aparente pela primeira vez.
Crustáceos carnais
Depois de digerir o clássico de Darwin de 1869, o biólogo Ray Lankester decidiu fornecer uma explicação darwiniana para os organismos parasitas. Ele notou que os ancestrais evolutivos dos parasitas eram freqüentemente mais “complexos”. Os organismos parasitas perderam características ancestrais como membros, olhos ou outros órgãos complexos.
Lankester teorizou que, como o parasita se livra de seu hospedeiro, eles perdem a necessidade de se defenderem sozinhos. Aproveitando os processos corporais do hospedeiro, seus próprios órgãos – para percepção e movimento – atrofiam. Seu exemplo favorito era uma craca parasita, chamada Sacculina, que começa a vida como um organismo segmentado com uma cabeça demarcada. Depois de se ligar a um hospedeiro, no entanto, o crustáceo “regride” em uma bolha amorfa e sem cabeça, sugando a nutrição de seu hospedeiro como o wirehead se conecta à corrente.
Para a mente vitoriana, foi um pequeno passo conjeturar que – devido aos níveis crescentes de conforto em todo o mundo industrializado – a humanidade poderia estar evoluindo na direção da craca. “Talvez estejamos todos à deriva, tendendo à condição de cracas intelectuais”, ponderou Lankester.
Na verdade, não muito antes disso, o satírico Samuel Butler havia especulado que os humanos, em sua busca precipitada por conveniência automatizada, estavam murchando em nada além de uma “espécie de parasita” em suas próprias máquinas industriais.
Verdadeiro nirvana
Na década de 1920, Julian Huxley escreveu um pequeno poema. Ele explorou jovialmente as maneiras pelas quais uma espécie pode “progredir”. Os caranguejos, é claro, decidiram que o progresso era lateral. Mas e a tênia? Ele escreveu:
Darwinian Tapeworms, por outro lado
Concordo que o progresso é uma perda de cérebro,
E tudo isso torna difícil para os vermes atingirem
O verdadeiro Nirvana – péptico, puro e grandioso.
O medo de que pudéssemos seguir a tênia foi um tanto difundido na geração entre guerras. O próprio irmão de Huxley, Aldous, forneceria sua própria visão do potencial distópico para os prazeres induzidos farmaceuticamente em seu romance de 1932 Admirável mundo novo.
Amigo dos Huxleys, o geneticista e futurologista britânico-indiano JBS Haldane também temia que a humanidade pudesse estar no caminho do parasita: sacrificando a dignidade genuína no altar da facilidade automatizada, assim como os roedores que mais tarde sacrificariam a sobrevivência pelo prazer fácil -shocks.
Haldane avisou: “Os ancestrais [das] cracas tinham cabeças” – e na busca pela simpatia – “o homem pode facilmente perder sua inteligência”. Esse medo específico nunca foi embora.
Portanto, a noção de uma civilização que descarrila ao buscar prazeres falsos, em vez de longevidade genuína, é antiga. E, de fato, quanto mais velha é uma ideia – e quanto mais teimosamente recorrente ela é – mais devemos ser cautelosos, pois é um preconceito e não qualquer coisa baseada em evidências. Então, há algo relacionado a esses medos?
Em uma era em que a mídia algorítmica cada vez mais chama a atenção, pode parecer que sinais falsos de adequação geralmente rendem mais sucesso do que perseguir a coisa real. Como os pássaros de Tinbergen, preferimos o artifício exagerado ao artigo genuíno. E os sexbots ainda nem chegaram.
Por causa disso, alguns especialistas conjeturam que o “colapso do wirehead” pode muito bem ameaçar a civilização. Nossas distrações só vão atrair mais atenção, não menos.
Já em 1964, o futurologista polonês Stanislaw Lem conectou os ratos de Olds ao comportamento dos humanos no mundo consumista moderno – apontando para “cinema”, “pornografia” e “Disneylândia”. Ele conjeturou que as civilizações tecnológicas poderiam se desligar da realidade, tornando-se “encistadas” em suas próprias simulações virtuais de prazer.
Alienígenas viciados
Lem, e outros desde então, até mesmo aventaram que a razão de nossos telescópios não terem encontrado evidências de civilizações alienígenas viajantes espaciais avançadas é porque todas as culturas avançadas – aqui e em outros lugares – inevitavelmente criam alternativas virtuais mais prazerosas para explorar o espaço sideral. Afinal, explorar é difícil e arriscado.
No auge da contracultura da década de 1960, o biólogo molecular Gunther Stent sugeriu que esse processo aconteceria por meio da “hegemonia global das atitudes beat”. Referindo-se aos experimentos de Olds, ele se aproveitou da especulação de que o uso de drogas hippie era o prelúdio para a decadência de civilizações. Em uma conferência de 1971 sobre a busca de extraterrestres, Stent sugeriu que, em vez de se expandir bravamente para fora, as civilizações entraram em colapso interno em êxtase meditativo e intoxicado.
Em nossa época, faz mais sentido para as partes interessadas apontar o consumismo, as mídias sociais e a fast-food como os culpados por um colapso potencial (e, portanto, a razão pela qual nenhuma outra civilização ainda se espalhou visivelmente pela galáxia). Cada época tem suas próprias ansiedades.
Então, o que fazemos?
Mas é quase certo que esses não são os riscos mais urgentes que enfrentamos. E, se feito da maneira certa, as formas de wireheading podem tornar acessíveis vistas incalculáveis de alegria, significado e valor. Não devemos nos proibir desses picos antes de pesar tudo.
Mas há uma lição real aqui. Fazer com que sistemas complexos adaptativos – sejam cérebros, IA ou economias – se comportem bem e com segurança é difícil. Anders trabalha precisamente para resolver esse enigma. Dado que a própria civilização – como um todo – é um sistema adaptativo tão complexo, como podemos aprender sobre os modos de falha ou instabilidades inerentes, para que possamos evitá-los? Talvez “wireheading” seja uma instabilidade inerente que pode afetar os mercados e os algoritmos que os impulsionam, tanto quanto o vício pode afetar as pessoas?
No caso da IA, estamos lançando as bases de tais sistemas agora. Antes uma preocupação marginal, um número crescente de especialistas concorda que alcançar uma IA mais inteligente que a humana pode estar perto o suficiente no horizonte para representar uma preocupação séria. Isso ocorre porque precisamos ter certeza de que é seguro antes deste ponto, e descobrir como garantir isso levará algum tempo. No entanto, permanece uma discordância significativa entre os especialistas sobre prazos e quão urgente esse prazo pode ser.
Se tal IA for criado, podemos esperar que ele tenha acesso a seu próprio “código-fonte”, de modo que possa manipular sua estrutura motivacional e administrar suas próprias recompensas. Isso poderia se provar um caminho imediato para o comportamento de cabeça de ferro e fazer com que tal entidade se tornasse, efetivamente, um “super-viciado”. Mas, ao contrário do viciado em humanos, pode não ser o caso de seu estado de êxtase estar associado a um estado improdutivo de estupor ou embriaguez.
O filósofo Nick Bostrom conjectura que tal agente pode devotar toda a sua produtividade e astúcia sobre-humanas para “reduzir o risco de perturbação futura” de sua preciosa fonte de recompensa. E se ele julgar até mesmo uma probabilidade diferente de zero para os humanos ser um obstáculo para sua próxima correção, podemos muito bem estar em apuros.
Cenários especulativos e de pior caso à parte, o exemplo com o qual começamos – da IA da pista de corrida e loop de recompensa – revela que o problema básico já é um problema do mundo real em sistemas artificiais. Devemos esperar, então, que aprenderemos muito mais sobre essas armadilhas da motivação e como evitá-las, antes que as coisas evoluam demais. Embora tenha origens humildes – no crânio de um rato albino e em poemas sobre tênias – “wireheading” é uma ideia que provavelmente só se tornará cada vez mais importante no futuro próximo.
Publicado em 15/09/2021 21h18
Artigo original:
Estudo original: