Em 2016, o Regulamento Geral de Proteção de Dados da União Europeia teve de reconhecer algo incômodo: o direito de uma pessoa a que uma decisão automatizada não seja a última palavra sobre sua vida. Oito anos depois, o Regulamento Europeu de Inteligência Artificial foi mais longe e exigiu supervisão humana para os sistemas de alto risco.

O fato de ter sido preciso legislar sobre isso diz mais do que qualquer relatório de consultoria. Colocar um ser humano no fim de um processo não garante que esse ser humano esteja julgando coisa alguma. Pode existir um responsável formal, uma tela de confirmação, uma assinatura, enquanto a decisão real já foi tomada antes, quando o sistema classificou o caso e redigiu a explicação que depois é apresentada como evidência.

A fronteira entre eficácia e prudência

São Tomás de Aquino já havia traçado, no século treze, a fronteira exata deste problema, com uma precisão que boa parte do vocabulário contemporâneo sobre ética tecnológica ainda não alcança. Ele distinguiu a eficácia da prudência. Um sistema pode encontrar o meio mais eficiente para reduzir um custo ou aumentar uma conversão. O que não pode fazer por si mesmo é julgar se o fim que persegue foi bem escolhido, se o sacrifício que exige é proporcional, se a métrica que usa para representar o bem é a correta. Alguém pode raciocinar com enorme habilidade sobre um objetivo defeituoso e ser, nesse terreno, muito competente sem ser prudente. A inteligência artificial otimiza dentro do mundo que construímos para ela. Quando esse mundo contém um fim mal formulado, mais precisão não corrige o problema. Torna-o mais veloz e menos visível.

Leão XIV levou essa mesma distinção para o centro de sua primeira encíclica, Magnifica Humanitas, assinada em maio deste ano. Ele adverte que o uso da inteligência artificial nunca é um fato puramente técnico e que, quando intervém no trabalho, no crédito ou no acesso a oportunidades, pode acabar selecionando quem é considerado digno sem que ninguém assuma o peso dessa seleção. Não o diz para exigir sentimentalismo na empresa. Diz porque uma pessoa pode exceder, legitimamente, a categoria com que um sistema a descreveu, e nenhum algoritmo foi projetado para reconhecer esse excesso.

Mary Parker Follett, que trabalhou primeiro como assistente social nos bairros de imigrantes de Boston antes de se tornar uma das vozes mais originais do pensamento sobre administração, havia antecipado a mesma fronteira um século antes, a partir de outro ângulo. Em 1926, sustentou que a autoridade não reside no cargo de quem manda, mas na situação concreta que uma ordem pretende resolver. Propôs despersonalizar o comando, estudar juntos essa situação particular e obedecer ao que ela chamou de lei da situação, não à pessoa que a enuncia. Um sistema pode ajudar enormemente a entender melhor uma situação. O que não pode fazer é descobrir essa lei no sentido que Follett dava à expressão, porque ela não é um padrão estatístico. É um juízo sobre o que este caso singular exige, moralmente e não apenas tecnicamente, e esse juízo só pode ser formulado por alguém capaz de responder por ele.

Um algoritmo que transformou a desigualdade em número

Em 2019, uma equipe liderada por Ziad Obermeyer publicou na revista Science algo que mostra este problema já causando dano real, sem que ninguém o tivesse desejado. Um algoritmo usado por hospitais e seguradoras para priorizar pacientes, que influenciava decisões de saúde de cerca de duzentos milhões de pessoas por ano nos Estados Unidos, usava o gasto histórico como indicador de quão doente estava cada paciente. Parece razoável: gastar mais costuma estar correlacionado a precisar de mais. O problema é que os pacientes negros, por barreiras de acesso anteriores ao algoritmo, geravam menos gasto do que os brancos com o mesmo nível real de doença. Com a mesma pontuação de risco, estavam consideravelmente mais doentes. Corrigir o viés teria mais que dobrado a proporção de pacientes negros identificados para receber ajuda, de dezessete para quarenta e seis por cento. Ninguém programou esse preconceito. O sistema herdou uma desigualdade real e a converteu em um número aparentemente neutro, e essa neutralidade aparente foi justamente o que lhe permitiu reproduzir o dano sem que fosse necessária qualquer intenção discriminatória.

Tomás distinguiu eficácia de prudência. Leão XIV advertiu que nenhum algoritmo pode carregar o peso de decidir quem é digno. Follett mostrou que a autoridade legítima nasce de estudar juntos uma situação, não de um cargo nem de um cálculo. Os três, separados por setecentos anos e por vocabulários que não poderiam ser mais distintos, apontam a mesma fronteira exata: há um juízo sobre as pessoas que nenhuma máquina pode formular em nome de quem dirige, porque formulá-lo é, precisamente, a definição de dirigir.