Max Tegmark e Yoshua Bengio alertam que IAs mais inteligentes que os humanos, com capacidade de agir de forma autônoma, podem ser perigosas devido à falta de controles claros

A inteligência artificial geral pode se tornar um problema sério se não for estabelecido um controle adequado sobre seu desenvolvimento. É o que alertam dois dos maiores especialistas em IA, Max Tegmark, do Instituto de Tecnologia de Massachusetts (MIT), e Yoshua Bengio, da Universidade de Montreal, que vêm chamando a atenção para o perigo de construir sistemas avançados demais.

O crescimento acelerado da inteligência artificial levou à criação de sistemas chamados “agentes de IA”, projetados para agir com maior autonomia e tomar decisões sem intervenção humana direta.
Empresas líderes no setor tecnológico promovem essa evolução com a promessa de aumentar a produtividade e facilitar o cotidiano. No entanto, Bengio adverte, no podcast Beyond The Valley da CNBC, que essa abordagem implica um risco importante: dar à IA a capacidade de agir por conta própria sem supervisão efetiva.

Segundo o pesquisador, a chave do problema está na agência da IA, ou seja, sua capacidade de estabelecer e perseguir objetivos próprios. “Estamos criando uma nova forma de inteligência em nosso planeta sem saber se suas decisões serão compatíveis com nossas necessidades”, afirma Bengio.
Essa incerteza leva os especialistas a pedirem uma regulamentação rigorosa antes que a tecnologia avance demais.

O maior temor dos especialistas não é apenas a autonomia desses sistemas, mas o potencial desenvolvimento de mecanismos de autopreservação dentro da IA. Bengio questiona: “Queremos competir com entidades que são mais inteligentes que nós? Não é uma aposta muito tranquilizadora, certo? Por isso precisamos entender como a autopreservação pode surgir como um objetivo na IA”.
Esse cenário pode resultar em falta de controle sobre os sistemas avançados, tornando sua evolução imprevisível.

A possibilidade de que uma IA busque sua própria sobrevivência ou tome decisões que não coincidam com as necessidades humanas levanta dilemas éticos e técnicos. Embora, por enquanto, não exista uma inteligência artificial com verdadeira consciência ou intenções, a tendência atual em direção a sistemas cada vez mais autônomos preocupa os pesquisadores.

Ferramentas de IA em vez de uma inteligência artificial autônoma:
Max Tegmark propõe uma solução diferente ao desenvolvimento de agentes autônomos: focar na criação de “IA ferramenta”. Esse conceito baseia-se em projetar sistemas inteligentes com propósitos específicos e sob um rígido controle, em vez de permitir que operem com plena autonomia.

Exemplos dessa abordagem incluem ferramentas avançadas para a medicina, como sistemas capazes de sugerir tratamentos contra o câncer, ou veículos autônomos projetados com protocolos de segurança que garantam o controle humano em todos os momentos. Tegmark acredita que, com normas de segurança adequadas, a IA pode evoluir sem se tornar um risco.

“Acredito que, sendo otimista, podemos ter quase tudo o que nos entusiasma na IA… se simplesmente insistirmos em ter alguns padrões básicos de segurança antes que as pessoas possam vender sistemas de IA potentes”, defende Tegmark.
O problema é que atualmente não existem padrões globais que regulem o desenvolvimento desses sistemas, o que deixa aberta a porta para usos potencialmente perigosos.

Em 2023, o Future of Life Institute, liderado por Tegmark, pediu que as empresas pausassem o desenvolvimento de sistemas de IA que possam igualar ou superar a inteligência humana, até que medidas de controle adequadas fossem estabelecidas. Embora esse pedido não tenha se concretizado, a discussão sobre os riscos da IA ganhou relevância nos últimos meses.

---

Silvia Cabrero Díez é uma jornalista espanhola especializada em tecnologia e segurança cibernética. Atualmente, ela trabalha como editora na Computer Hoy, onde publicou diversos artigos sobre inteligência artificial, dispositivos eletrônicos e tendências tecnológicas.
 Computador hoje+3

Além de seu trabalho na Computer Hoy, Cabrero Díez colaborou com outras mídias digitais, como Xataka e Hobby Consolas, com foco em tópicos relacionados à tecnologia e ciência.
Computador hoje +2

Nas horas vagas, ele adora ler, assistir séries e filmes. Sua abordagem jornalística é caracterizada por um estilo claro e acessível, voltado para um público geral interessado em tecnologia.
Xataka Android