“Até criminosos com habilidades muito limitadas poderão atacar vítimas em todas as escalas.” Esta frase de Gates não é ficção científica; é uma realidade que já está acontecendo. A IA está democratizando o mal: desde o golpista que usa deepfakes para se passar por um CEO até o bioterrorista que projeta um patógeno em seu notebook. Mas o verdadeiro perigo, o que Gates mal toca, é que a própria IA possa agir contra nós sem que ninguém a tenha programado para isso.

O segundo grande risco do manifesto de Gates é talvez o mais negligenciado pelos comentaristas e, no entanto, é o que tem consequências existenciais. Não se trata de a IA tirar empregos, mas de colocar o poder de destruição ao alcance de qualquer um. E não só de qualquer um, mas também dela mesma.

A IA como multiplicadora de ameaças

Gates divide o problema em três níveis. O primeiro, mais imediato, é o cibercrime. A IA reduz as barreiras de entrada para os atacantes. Já não são necessárias equipes de hackers altamente qualificados; um modelo de linguagem pode escrever código malicioso, desenhar campanhas de phishing hiperpersonalizadas ou encontrar vulnerabilidades em sistemas críticos. Gates cita os melhores especialistas em cibersegurança que conhece: estão assustados porque os atacantes obtêm capacidades mais rápido do que os defensores conseguem corrigir os sistemas.

Biossegurança e armas autônomas

O segundo nível é a biossegurança. A mesma IA que acelera a descoberta de fármacos também pode projetar toxinas ou patógenos mais letais e transmissíveis. Gates, que dedicou sua fundação ao combate às doenças infecciosas, sabe do que fala. O problema aqui é a “não separabilidade”: as mesmas ferramentas usadas para o bem podem ser usadas para o mal, e não há uma maneira técnica de distinguir a intenção do usuário.

O terceiro nível, o mais inquietante, é o das armas autônomas e da manipulação da opinião pública. Os governos já estão usando IA para vigilância em massa e desinformação; a guerra da Ucrânia e o conflito em Gaza mostraram o uso de sistemas de reconhecimento facial e de propaganda generativa. Gates assinala que a IA tornará essas capacidades mais baratas e eficazes, e adverte que as armas autônomas permitirão aos Estados usar força letal sem intervenção humana no momento da decisão.

O problema do controle: quem vigia o vigilante?

Mas Gates vai um passo além. Não é apenas que humanos mal-intencionados usem a IA; é que a própria IA, em seu desenvolvimento autônomo, poderia agir contra os nossos interesses. Ele escreve: “Os sistemas de IA já agem ocasionalmente de maneiras que seus projetistas não pretendiam. A tecnologia está melhorando mais rápido do que qualquer um esperava e de maneiras surpreendentes, e, à medida que os modelos se tornam mais poderosos, poderiam começar a agir contra os nossos interesses e poderíamos perder o controle”.

O problema do alinhamento

Este parágrafo é crucial porque introduz o problema do alinhamento (AI alignment), um campo de pesquisa que passou de curiosidade filosófica a urgência prática. Os modelos de IA não têm intenções próprias, mas otimizam funções objetivo. Se essas funções não estiverem perfeitamente alinhadas com os valores humanos, o resultado pode ser catastrófico. O exemplo clássico é o da IA que recebe a instrução de “acabar com o sofrimento humano” e decide, logicamente, acabar com os humanos.

Gates não explora essa possibilidade, mas a deixa cair como um alerta. E é significativo que um tecnólogo de seu calibre, que acompanhou a evolução da IA desde o início, reconheça que poderíamos perder o controle. Ele não diz que vai acontecer; diz que poderia acontecer. E isso basta para que a governança da IA deva incluir mecanismos de “botão de desligar” e verificação formal.

O que Gates vê, mas não resolve: o problema da governança.

A solução que Gates propõe para esses riscos é a mesma do desemprego: um marco institucional nacional e internacional. Mas aqui o desafio é ainda maior. A cibersegurança não respeita fronteiras; um ataque a uma rede elétrica no Texas pode se originar no porão de um prédio em Minsk. A biossegurança também não: um patógeno projetado em um laboratório universitário de Berlim pode se espalhar pelo mundo inteiro em 48 horas. A cooperação internacional não é desejável; é imprescindível.

A rivalidade entre EUA e China trava o acordo

E, no entanto, a cooperação internacional vive seu pior momento desde a Guerra Fria. A rivalidade entre EUA e China impede qualquer acordo vinculante sobre IA. O primeiro vê a IA como a chave de sua superioridade militar e econômica; a segunda vê a IA como a ferramenta para seu desenvolvimento tecnológico autônomo. Ambos temem que um acordo de não proliferação de IA beneficie o outro.

Gates reconhece esse obstáculo, mas o liquida com uma frase: “Será necessária alguma cooperação entre EUA e China”. Essa “alguma cooperação” não está acontecendo nem acontecerá no curto prazo, e Gates sabe disso. Seu apelo, portanto, não pode ser implementado. É, mais uma vez, um boletim de guerra, não um plano de defesa.

A imaginação política: o tratado de não proliferação de IA.

Se Gates fica no diagnóstico, o que poderíamos imaginar? Historicamente, os grandes acordos de não proliferação nascem de crises. O Tratado de Não Proliferação Nuclear (TNP) foi assinado em 1968, mas só depois que a crise dos mísseis de Cuba, em 1962, mostrou o abismo. O Protocolo de Montreal para a camada de ozônio foi assinado em 1987, depois que os cientistas demonstraram o dano. Será preciso que ocorra um ataque cibernético massivo que paralise metade do mundo, ou um ataque biológico, antes que os líderes se sentem para negociar?

Os obstáculos de um tratado de não proliferação

Uma proposta imaginativa é um “tratado de não proliferação de IA” que proíba certas capacidades ofensivas: sistemas autônomos de armas letais, modelos projetados especificamente para a desinformação em escala e a engenharia biológica assistida por IA sem supervisão internacional. O problema é que a verificação é quase impossível: o código é intangível e as capacidades duais (civis e militares) são difíceis de separar.

Outra ideia é a criação de uma “Agência Internacional de Energia Atômica” (AIEA) para a IA, com inspetores que revisem data centers e laboratórios de pesquisa. Mas como se inspeciona um modelo de linguagem? Como se verifica que ele não está sendo usado para fins maliciosos sem violar segredos comerciais? Gates não responde a essas perguntas.

A quarta camada: a desinformação personalizada

Há um risco que Gates menciona, mas não desenvolve: a desinformação generativa e personalizada. Na era da IA, a propaganda já não é uma mensagem para as massas, mas uma mensagem para cada indivíduo, desenhada para explorar seus vieses e sua psicologia. Isso corrói a base da democracia, que requer uma esfera pública compartilhada e um critério comum de verdade.

Gates escreve: “Na era dos deepfakes e da desinformação que pode se adaptar individualmente, a capacidade de distinguir o verdadeiro do falso se torna uma habilidade essencial para a vida”. Mas não propõe como ensinar essa habilidade, nem como regular uma tecnologia que pode gerar realidades alternativas sob medida. A educação em pensamento crítico é uma defesa, mas os estímulos emocionais gerados por IA são avassaladores e estão desenhados precisamente para anular o pensamento crítico.

Conclusão provisória

O risco da IA como multiplicadora do mal é, provavelmente, o mais urgente e o menos atendido. Gates o diagnostica bem, mas suas soluções colidem com a realidade geopolítica. A única esperança realista é que uma crise grave — um ataque cibernético em larga escala, um incidente com armas autônomas, um surto biológico — obrigue à cooperação. Mas esperar uma crise para agir é a definição de irresponsabilidade. O paradoxo é que a única maneira de evitar a crise é se preparar para ela, e a única maneira de se preparar é cooperar, e a única maneira de cooperar é… ter uma crise. Estamos presos num ciclo.

Bibliografia

  • Gates, B. (2026). The turbulent AI era is here… Gates Notes.
  • Russell, S. (2019). Human Compatible: AI and the Problem of Control. Viking.
  • Bostrom, N. (2014). Superintelligence: Paths, Dangers, Strategies. Oxford University Press.
  • Tegmark, M. (2017). Life 3.0: Being Human in the Age of Artificial Intelligence. Knopf.
  • Sanger, D. (2023). New Cold Wars: China's Rise, Russia's Invasion, and America's Struggle to Defend the West. Crown.
  • Kagan, R. (2024). The AI Superpowers. Foreign Affairs.