Pausar os desenvolvimentos de IA não é suficiente. Precisamos encerrar tudo

Yudkowsky é um teórico da decisão dos EUA e lidera pesquisas no Instituto de Pesquisa de Inteligência de Máquinas. Ele tem trabalhado na aliança da Inteligência Geral Artificial desde 2001 e é amplamente considerado um dos fundadores do campo.

Uma carta aberta publicada no final de maio de 2023 pede que “todos os laboratórios de IA pausem imediatamente, por pelo menos 6 meses, o treinamento de sistemas de IA mais poderosos que o GPT-4”.

Essa moratória de 6 meses seria melhor do que nenhuma moratória. Tenho respeito por todos que se manifestaram e assinaram. É uma melhoria marginal.

Eu me abstive de assinar porque acredito que a carta subestima a gravidade da situação e pede muito pouco para resolvê-la.

A questão-chave não é a inteligência “competitiva com a humana” (como diz a carta aberta); é o que acontece depois que a IA alcança uma inteligência superior à humana. Os limiares críticos podem não ser óbvios, definitivamente não podemos calcular de antemão o que acontece e quando, e atualmente parece possível que um laboratório de pesquisa cruze linhas críticas sem perceber.

Muitos pesquisadores imersos nesses temas, incluindo eu, esperam que o resultado mais provável de construir uma IA super-humanamente inteligente, sob qualquer circunstância remotamente parecida com as atuais, seja que, literalmente, todos na Terra morram. Não como em “talvez, possivelmente, uma chance remota”, mas como em “isso é o que obviamente aconteceria”. Não é que, em princípio, não seja possível sobreviver criando algo muito mais inteligente do que você; é que isso exigiria precisão, preparação e novos conhecimentos científicos, além de, provavelmente, não ter sistemas de IA compostos por conjuntos gigantescos e inescrutáveis de números fracionários.

Sem essa precisão e preparação, o resultado mais provável é uma IA que não faz o que queremos e não se importa conosco ou com a vida senciente em geral. Esse tipo de preocupação é algo que, em princípio, poderia ser incorporado a uma IA, mas não estamos prontos e atualmente não sabemos como fazer isso.

Na ausência dessa preocupação, o que acontece é que “a IA não te ama, nem te odeia, e você é feito de átomos que ela pode usar para outra coisa”.

O resultado provável da humanidade enfrentando uma inteligência sobre-humana hostil é uma perda total. As metáforas válidas incluem “uma criança de 10 anos tentando jogar xadrez contra o Stockfish 15”, “o século XI tentando lutar contra o século XXI” e “Australopithecus tentando lutar contra o Homo sapiens”.

Para visualizar uma IA sobre-humana hostil, não imagine um pensador inteligente e sem vida vivendo na Internet e enviando e-mails mal-intencionados. Imagine uma civilização alienígena inteira, pensando milhões de vezes mais rápido que os humanos, inicialmente confinada a computadores, em um mundo de criaturas que são, de sua perspectiva, extremamente estúpidas e lentas. Uma Inteligência Artificial suficientemente inteligente não permanecerá confinada aos computadores por muito tempo. No mundo atual, ela pode enviar sequências de DNA por e-mail para laboratórios que produzem proteínas sob demanda, permitindo que uma IA inicialmente confinada à Internet construa formas de vida artificiais ou inicie diretamente a fabricação molecular pós-biológica.

Se alguém criar uma IA muito poderosa nas condições atuais, espero que todos os membros da espécie humana e toda a vida biológica na Terra morram pouco depois.

Não há um plano proposto sobre como poderíamos fazer tal coisa e sobreviver. A intenção abertamente declarada da OpenAI é fazer com que alguma futura IA realize nossa tarefa de alinhamento de IA. Apenas ouvir que esse é o plano deveria ser suficiente para que qualquer pessoa sensata entrasse em pânico. O outro laboratório líder em IA, DeepMind, não tem nenhum plano.

Um parêntese: nada desse perigo depende de as IAs serem ou poderem ser conscientes; ele é intrínseco à noção de sistemas cognitivos poderosos que otimizam e calculam resultados que atendem a critérios suficientemente complexos. Dito isso, seria negligente em meus deveres morais como humano se eu não mencionasse também que não temos ideia de como determinar se os sistemas de IA são conscientes, já que não sabemos decodificar nada do que acontece nas gigantescas matrizes inescrutáveis. Assim, em algum momento, sem percebermos, podemos criar mentes digitais que são verdadeiramente conscientes e deveriam ter direitos e não deveriam ser propriedade de ninguém.

A regra que a maioria das pessoas conscientes desses problemas teria apoiado 50 anos atrás era que, se um sistema de IA pode falar fluentemente e diz que é autoconsciente e exige direitos humanos, isso deveria ser um obstáculo para que as pessoas simplesmente possuíssem essa Inteligência Artificial e a utilizassem além desse ponto. Já ultrapassamos essa antiga linha na areia. E provavelmente isso foi correto. Concordo que as IAs atuais provavelmente estão apenas imitando a conversa sobre autoconsciência de seus dados de treinamento. Mas destaco que, com o pouco entendimento que temos dos mecanismos internos desses sistemas, na verdade, não sabemos.

Se esse é o nosso estado de ignorância para o GPT-4, e o GPT-5 for um salto de capacidade tão grande quanto foi do GPT-3 para o GPT-4, acredito que não poderemos mais dizer com justificativa que “provavelmente não é autoconsciente” se permitirmos que fabriquem o GPT-5. Simplesmente será “Não sei; ninguém sabe”. Se você não pode ter certeza se está criando uma IA autoconsciente, isso é alarmante não apenas pelas implicações morais da parte “autoconsciente”, mas porque não ter certeza significa que você não faz ideia do que está fazendo. E isso é perigoso, e você deveria parar.

Em 7 de fevereiro, Satya Nadella, CEO da Microsoft, vangloriou-se publicamente de que o novo Bing faria o Google “sair e provar que pode dançar”. “Quero que as pessoas saibam que os fizemos dançar”, disse ele.

Não é assim que o CEO da Microsoft falaria em um mundo racional. Isso mostra um abismo esmagador entre a seriedade com que estamos tratando o problema e a seriedade com que deveríamos ter tratado há 30 anos.

Não vamos fechar esse abismo em seis meses.

Passaram-se mais de 60 anos desde que a noção de inteligência artificial foi proposta e estudada pela primeira vez até alcançarmos as capacidades atuais. Resolver a segurança da inteligência sobre-humana, não a segurança perfeita, mas a segurança no sentido de “não matar literalmente a todos”, poderia levar razoavelmente pelo menos metade desse tempo. E o problema de tentar isso com inteligência sobre-humana é que, se você errar na primeira tentativa, não pode aprender com os erros, porque está morto. A humanidade não aprende com o erro, se levanta e tenta de novo, como em outros desafios que superamos na nossa história, porque todos nós teremos desaparecido.

Tentar fazer algo certo na primeira tentativa realmente crítica é uma tarefa extraordinária, tanto na ciência quanto na engenharia. Não estamos chegando nem perto do nível de rigor necessário para fazê-lo com sucesso. Se aplicássemos ao campo emergente da Inteligência Geral Artificial os padrões mínimos de rigor de engenharia que são aplicados a uma ponte projetada para transportar alguns milhares de carros, todo o campo seria fechado amanhã.

Não estamos preparados. Não estamos no caminho para estarmos preparados dentro de um período razoável. Não há um plano. O progresso nas capacidades da IA é enorme, muito à frente do progresso na sua alinhamento ou mesmo da compreensão do que diabos está acontecendo dentro desses sistemas. Se realmente fizermos isso, todos nós morreremos.

Muitos pesquisadores que trabalham nesses sistemas acreditam que estamos avançando rumo a uma catástrofe, e mais deles ousam dizer isso em particular do que em público; mas acreditam que não podem impedir unilateralmente essa queda para frente, pois outros continuarão mesmo que renunciem aos seus empregos. E então todos pensam que também podem continuar. Este é um estado de coisas estúpido e uma maneira indigna para a Terra morrer, e o resto da humanidade deveria intervir neste ponto e ajudar a indústria a resolver seu problema de ação coletiva.

Alguns dos meus amigos me informaram recentemente que, quando pessoas de fora da indústria de IA ouvem pela primeira vez sobre o risco de extinção da Inteligência Geral Artificial, sua reação é “talvez não devêssemos construir AGI, então”.

Ouvir isso me deu um pequeno lampejo de esperança, porque é uma reação mais simples, mais sensata e francamente mais racional do que qualquer outra que ouvi nos últimos 20 anos tentando fazer alguém na indústria levar isso a sério. Qualquer pessoa que fale assim merece ouvir quão grave é a situação na realidade, e não ser informada de que uma moratória de seis meses resolverá o problema.

Em 16 de março, minha parceira me enviou este e-mail. (Mais tarde, ela me deu permissão para compartilhá-lo aqui).

“Nina perdeu um dente! Da maneira normal que as crianças perdem, não por descuido! Ver o GPT-4 superar aqueles testes padronizados no mesmo dia em que Nina atingiu um marco da infância provocou uma onda emocional que me fez perder a cabeça por um minuto. Tudo está indo rápido demais. Tenho medo de que compartilhar isso aumente sua própria dor, mas prefiro que você me conheça do que cada um de nós sofra sozinho.”

Quando a conversa interna gira em torno da dor de ver sua filha perder seu primeiro dente e pensar que ela pode não ter a chance de crescer, acredito que já passamos do ponto de jogar xadrez político sobre uma moratória de seis meses.

Se houvesse um plano para a Terra sobreviver e bastasse aprovar uma moratória de seis meses, eu apoiaria esse plano. Mas não há tal plano.

Isto é o que realmente precisaria ser feito:

A moratória sobre novos grandes treinamentos deve ser indefinida e mundial. Não pode haver exceções, nem mesmo para governos ou militares. Se a política começar pelos EUA, a China deve ver que os EUA não estão buscando uma vantagem, mas tentando impedir uma tecnologia terrivelmente perigosa que não pode ter um verdadeiro dono e que matará todos nos EUA, na China e na Terra. Se eu tivesse liberdade infinita para redigir leis, poderia fazer uma única exceção para que Inteligências Artificiais fossem treinadas exclusivamente para resolver problemas em biologia e biotecnologia, sem serem treinadas com textos da internet, e não em um nível onde começam a falar ou planejar; mas se isso complicasse minimamente o problema, eu descartaria imediatamente essa proposta e simplesmente diria para desligar tudo.

Desliguem todos os grandes clusters de GPU (as grandes fazendas de computadores onde as IAs mais poderosas são refinadas). Fechem todas as grandes corridas de treinamento. Imponham um limite à quantidade de poder computacional que qualquer um pode usar para treinar um sistema de IA e reduzam-no ao longo dos próximos anos para compensar algoritmos de treinamento mais eficientes. Sem exceções para governos e militares. Façam acordos multilaterais imediatos para impedir que atividades proibidas sejam transferidas para outros lugares. Acompanhem todas as GPUs vendidas. Se a inteligência indicar que um país fora do acordo está construindo um cluster de GPU, tenham menos medo de um conflito armado entre nações do que da violação da moratória; estejam dispostos a destruir um centro de dados rebelde por meio de um ataque aéreo.

Não enquadrem isso como um conflito entre interesses nacionais, deixem claro que qualquer um que fale sobre corridas armamentistas é um tolo. O fato de vivermos ou morrermos juntos nisso não é uma política, mas um fato da natureza. Deixem explícito na diplomacia internacional que a prevenção de cenários de extinção da IA é considerada uma prioridade acima da prevenção de um intercâmbio nuclear total, e que países aliados com armas nucleares estão dispostos a correr algum risco de confronto nuclear se isso for necessário para reduzir o risco de grandes corridas de treinamento de IA.

Esse é o tipo de mudança política que faria com que minha parceira e eu nos abraçássemos e disséssemos que um milagre aconteceu, e agora existe uma chance de Nina viver. As pessoas sensatas que ouvem sobre isso pela primeira vez e dizem com razão “talvez não devêssemos” merecem ouvir, honestamente, o que seria necessário para que isso acontecesse. E quando a sua proposta de política é tão grande, a única maneira de que ela seja aprovada é se os legisladores perceberem que, se continuarem fazendo negócios como de costume e adotando o que é politicamente fácil, isso significará que seus próprios filhos também morrerão.

Não estamos prontos. Não estamos no caminho para estarmos significativamente mais preparados no futuro previsível. Se continuarmos com isso, todos morreremos, inclusive as crianças que não escolheram isso e que não fizeram nada de errado.

---

Equipe de análise do Laboratório do Futuro/Revista Time (Inglaterra). Artigo de Eliezer Yudkowsky.

Tradução do inglês: equipe de tradução e interpretação do Laboratório do Futuro.