Uma lei teve de ser escrita porque um humano deixou de pensar
Em 2016, o Regulamento Geral de Proteção de Dados da União Europeia teve de reconhecer algo incômodo: o direito de uma pessoa a que uma decisão automatizada não seja a última palavra sobre sua vida. Oito anos depois, o Regulamento Europeu de Inteligência Artificial foi mais longe e exigiu supervisão humana para sistemas de alto risco.
O fato de ter sido necessário escrever isso em lei diz mais do que qualquer relatório de consultoria. Colocar um ser humano ao final de um processo não garante que esse ser humano esteja julgando alguma coisa. Pode haver um responsável formal, uma tela de confirmação, uma assinatura, enquanto a decisão real já foi tomada antes pelo sistema que classificou o caso e redigiu a explicação apresentada como evidência.
Tomás de Aquino já havia traçado, no século XIII, a fronteira exata desse problema. Ele distinguiu eficácia de prudência. Um sistema pode encontrar o meio mais eficiente para reduzir um custo ou aumentar uma conversão. O que não pode fazer por si mesmo é julgar se o fim perseguido está corretamente escolhido, se o sacrifício exigido é proporcional ou se a métrica usada para representar o bem é a correta.
A inteligência artificial otimiza dentro do mundo que construímos para ela. Quando esse mundo contém um fim mal formulado, mais precisão não corrige o problema. Torna-o mais rápido e menos visível.
Leão XIV levou essa mesma distinção ao centro de sua primeira encíclica, Magnifica Humanitas. Ele adverte que o uso da inteligência artificial nunca é um fato puramente técnico. Quando intervém no trabalho, no crédito ou no acesso a oportunidades, pode acabar selecionando quem é considerado digno sem que ninguém assuma o peso moral dessa seleção.
Mary Parker Follett antecipou a mesma fronteira por outro ângulo. Em 1926, sustentou que a autoridade não reside no cargo de quem manda, mas na situação concreta que uma ordem pretende resolver. Propôs estudar juntos essa situação e obedecer ao que chamou de lei da situação, não simplesmente à pessoa que a enuncia.
Um sistema pode ajudar enormemente a compreender melhor uma situação. O que não pode fazer é descobrir essa lei no sentido dado por Follett, porque ela não é apenas um padrão estatístico. É um juízo sobre o que este caso singular exige moral e tecnicamente. Esse juízo só pode ser formulado por alguém capaz de responder por ele.
Em 2019, uma equipe liderada por Ziad Obermeyer publicou na Science um caso que mostra esse dano já em operação. Um algoritmo usado por hospitais e seguradoras para priorizar pacientes utilizava o gasto histórico como indicador de quão doente cada paciente estava. O problema é que pacientes negros, por barreiras anteriores de acesso, geravam menos gastos do que pacientes brancos com o mesmo nível real de doença.
Com a mesma pontuação de risco, os pacientes negros estavam consideravelmente mais doentes. Corrigir o viés teria mais que duplicado a proporção de pacientes negros identificados para receber ajuda. Ninguém programou diretamente esse preconceito. O sistema herdou uma desigualdade real e a transformou em um número aparentemente neutro.
Tomás distinguiu eficácia de prudência. Leão XIV advertiu que nenhum algoritmo pode carregar o peso de decidir quem é digno. Follett mostrou que a autoridade legítima nasce do estudo de uma situação, não de um cargo nem de um cálculo. Os três apontam para a mesma fronteira: há um juízo sobre pessoas que nenhuma máquina pode formular em nome de quem dirige, porque formular esse juízo é precisamente a definição de dirigir.