“Até criminosos com habilidades muito limitadas poderão atacar vítimas em todas as escalas.” A frase de Gates não é ficção científica. É uma realidade que já está ocorrendo.

O segundo grande risco do manifesto talvez seja o mais ignorado pelos comentaristas, embora tenha consequências existenciais. Não se trata de a IA tirar empregos, mas de colocar o poder de destruição ao alcance de qualquer um. E não apenas de qualquer um: também da própria IA, caso venha a agir contra nossos interesses.

A IA como multiplicadora de ameaças

Gates divide o problema em três níveis. O primeiro é o cibercrime. A IA reduz barreiras de entrada para atacantes. Já não são necessários hackers altamente qualificados; um modelo de linguagem pode escrever código malicioso, desenhar campanhas de phishing hiperpersonalizadas ou encontrar vulnerabilidades em sistemas críticos.

O segundo nível é a biossegurança. A mesma IA que acelera a descoberta de fármacos pode desenhar toxinas ou patógenos mais letais e transmissíveis. O problema é a não separabilidade: as mesmas ferramentas usadas para o bem podem ser usadas para o mal, e não há modo técnico simples de distinguir a intenção do usuário.

O terceiro nível é o das armas autônomas e da manipulação da opinião pública. Governos já usam IA para vigilância massiva e desinformação. A IA tornará essas capacidades mais baratas e eficazes, permitindo inclusive o uso de força letal sem intervenção humana no momento da decisão.

O problema do controle: quem vigia o vigilante?

Gates vai além. Não é apenas que humanos mal-intencionados possam usar IA; é que sistemas de IA, em desenvolvimento autônomo, podem agir contra nossos interesses. Ele reconhece que sistemas já agem ocasionalmente de formas que seus criadores não pretendiam e que modelos mais poderosos podem escapar ao controle.

Esse ponto introduz o problema do alinhamento. Modelos de IA não possuem intenções próprias, mas otimizam funções objetivo. Se essas funções não estiverem alinhadas aos valores humanos, o resultado pode ser catastrófico. O exemplo clássico é a IA instruída a acabar com o sofrimento humano e que decide, logicamente, acabar com os humanos.

Gates não explora completamente essa possibilidade, mas a deixa como alerta. E é significativo que um tecnólogo de seu porte reconheça que poderíamos perder o controle. Não diz que acontecerá; diz que poderia acontecer. Isso basta para exigir mecanismos de desligamento e verificação formal.

O que Gates vê, mas não resolve: a governança

A solução de Gates é um marco institucional nacional e internacional. Mas o desafio aqui é ainda maior. A cibersegurança não respeita fronteiras; um ataque a uma rede elétrica no Texas pode nascer em Minsk. A biossegurança tampouco respeita fronteiras; um patógeno desenhado em Berlim pode espalhar-se pelo mundo em 48 horas. A cooperação internacional não é desejável; é indispensável.

E, no entanto, a cooperação internacional está em seu pior momento desde a Guerra Fria. A rivalidade entre Estados Unidos e China impede qualquer acordo vinculante sobre IA. Um vê a IA como chave da superioridade militar e econômica; o outro como ferramenta de desenvolvimento tecnológico autônomo. Ambos temem que um acordo beneficie o rival.

Gates reconhece o obstáculo, mas o resolve com uma frase: será necessária alguma cooperação entre Estados Unidos e China. Essa cooperação não está acontecendo e não ocorrerá no curto prazo. Seu chamado é, novamente, um boletim de guerra, não um plano de defesa.

Imaginação política: um tratado de não proliferação de IA

Grandes acordos de não proliferação costumam nascer de crises. O Tratado de Não Proliferação Nuclear veio depois de o mundo ver o abismo; o Protocolo de Montreal veio depois de provas científicas sobre a camada de ozônio. Será necessário um ciberataque massivo ou um ataque biológico para que os líderes negociem?

Uma proposta seria um tratado de não proliferação de IA que proibisse capacidades ofensivas: armas letais autônomas, modelos desenhados para desinformação em escala e engenharia biológica assistida por IA sem supervisão internacional. O problema é a verificação: o código é intangível e as capacidades de uso duplo são difíceis de separar.

Outra ideia seria uma agência internacional para a IA, inspirada na OIEA. Mas como inspecionar um modelo de linguagem? Como verificar usos maliciosos sem violar segredos comerciais? Gates não responde.

A quarta camada: desinformação personalizada

Gates menciona, mas não desenvolve, o risco da desinformação generativa e personalizada. Na era da IA, a propaganda deixa de ser uma mensagem para as massas e passa a ser uma mensagem para cada indivíduo, desenhada para explorar seus vieses. Isso corrói a base da democracia: uma esfera pública compartilhada e um critério comum de verdade.

A educação em pensamento crítico é uma defesa, mas os estímulos emocionais gerados por IA são avassaladores e desenhados justamente para anular esse pensamento crítico. A democracia não pode sobreviver se cada cidadão habitar uma realidade sob medida.

Conclusão provisória

O risco da IA como multiplicadora do mal é provavelmente o mais urgente e o menos atendido. Gates o diagnostica bem, mas suas soluções colidem com a realidade geopolítica. A única esperança realista talvez seja uma crise grave que force cooperação. Mas esperar a crise para agir é irresponsabilidade. Estamos presos em um ciclo: para evitar a crise é preciso cooperar; para cooperar talvez seja preciso uma crise.

Bibliografia

• Gates, B. (2026). The turbulent AI era is here… Gates Notes.
• Russell, S. (2019). Human Compatible.
• Bostrom, N. (2014). Superintelligence.
• Tegmark, M. (2017). Life 3.0.
• Sanger, D. (2023). New Cold Wars.
• Kagan, R. (2024). The AI Superpowers.