ESSAYS × legibilidade × moral × algoritmo
- O psiquiatra que avaliou os réus de Nuremberg esperava encontrar patologia. Encontrou gente dentro da faixa normal, produzida por propaganda, condicionamento, linguagem e burocracia.
- Nuremberg julgou sob acusação de retroatividade: o tipo "crime contra a humanidade" foi formulado no Estatuto do próprio Tribunal. O arranjo se sustentou porque todo o resto era legível — réu com nome, atos documentados, cadeia de comando assinada. O formato virou jurisprudência mundial.
- Os mecanismos que normalizaram o mal no século XX operam hoje, em outra forma, dentro de empresas legais.
- O dano algorítmico chega sem réu único, sem ato único e sem vítima nomeável. A pergunta em aberto: a morte diluída vai ficar sem pena por falta de réu?
- Em junho de 2026, conversas no ChatGPT indicaram um plano de homicídio contra uma criança no Espírito Santo. O alerta atravessou a empresa responsável pela plataforma, FBI, Ministério da Justiça e Polícia Civil até virar prisão preventiva. A prevenção funcionou. Punir antes do ato é a pergunta simétrica — e quem legisla corre atrás de capacidade que muda em meses.
Cheguei a Douglas Kelley pelo filme Nuremberg (2025), como muita gente vai chegar. O contexto cabe em três linhas: terminada a Segunda Guerra, líderes nazistas capturados esperavam julgamento num tribunal montado pelos Aliados na cidade alemã de Nuremberg. O Exército americano mandou um psiquiatra, Kelley, avaliar os prisioneiros. A pergunta dele parecia simples: esses homens são loucos?
A resposta, publicada em 19471, incomoda até hoje. Kelley passou meses aplicando testes e esperava encontrar patologia: um traço comum, uma marca clínica, qualquer coisa que explicasse o extermínio de milhões e devolvesse ao resto da humanidade o conforto da distância. Encontrou homens dentro da faixa normal. Vaidosos, ambiciosos, medianos. O que os tinha produzido estava fora deles: propaganda, condicionamento, linguagem, burocracia, carreira. Loucura, psicopatia e desvio moral prévio não bastavam como explicação. Kelley saiu do processo avisando que gente assim existe em qualquer país, inclusive no poder. O aviso não foi bem recebido.
O tribunal improvisado
O tribunal tinha um problema que os críticos apontam até hoje: o tipo penal não existia naqueles termos antes do julgamento. "Crime contra a humanidade" foi formulado no Estatuto que criou o próprio Tribunal2, redigido pelas quatro potências vencedoras depois dos atos que ia julgar — e cada uma delas, sozinha, teria tipificado aqueles crimes de outro jeito. Julgar sem lei anterior fere um princípio básico do direito, e os juízes sabiam.
O que sustentou Nuremberg foi a legibilidade de todo o resto: réu com nome, patente e advogado; atos com data, local e ordem assinada; cadeia de comando percorrível documento a documento. O crime era tão legível que a lei pôde ser escrita depois dele sem desabar. O formato, primeiro tribunal penal internacional com esse alcance, virou matriz: Tóquio, Iugoslávia, Ruanda e o Tribunal Penal Internacional descendem dali. E diante da defesa que quase todos os réus tentaram — "eu cumpria ordens", "era legal" — ficou estabelecido com força de precedente que legalidade e moralidade não são a mesma coisa. Nuremberg pôde julgar porque pôde ler.
A lição vale fora do tribunal. A escravidão foi legal e registrada em cartório; o apartheid operou com jurisprudência a favor. A lei codifica o consenso de ontem. A pergunta é quais práticas de IA hoje legais vão parecer absurdas em 2060 — e de quem era a voz ausente quando viraram padrão.
Como gente comum chega lá
A pesquisa histórica das décadas seguintes confirmou Kelley com arquivo. Pessoas comuns se tornaram executoras por cinco mecanismos, e nenhum deles é loucura:
- Conformidade — ninguém quer ser o fraco diante do grupo; a recusa individual custa mais que a obediência coletiva. No caso mais bem documentado3, um batalhão de policiais de reserva, homens de meia-idade sem fanatismo especial, recebeu a oferta explícita de ficar fora dos massacres, sem punição. A maioria ficou.
- Gradualismo — ninguém atravessa uma linha visível; desce degraus pequenos demais para justificar a recusa. Quem topou o passo três já tinha topado o um e o dois.
- Eufemismo — a língua faz o trabalho moral antes do trabalho físico4. "Solução Final", "tratamento especial", "evacuação": nenhum documento precisa assinar "assassinato".
- Distância — o trabalho se divide em fragmentos até ninguém se enxergar como assassino5. As câmaras de gás também funcionaram como engenharia de distância: matavam mais e poupavam o executor de olhar a vítima nos olhos.
- Inversão moral — a atrocidade reformulada como dever6; executá-la sem fraquejar vira prova de caráter.
Cinco mecanismos, nenhum exótico. Todos dependem de ambiente. E ambiente se projeta.
Morte diluída
O lado bom da tecnologia é real, conhecido e dispensa defesa aqui. O assunto deste ensaio é o que acontece quando a mesma capacidade opera na outra direção.
O lado errado já tem arquivo. Em 2021, documentos internos vazados por uma ex-funcionária7 mostraram que a própria empresa dona do Instagram pesquisou, mediu e registrou danos do produto sobre adolescentes — e seguiu otimizando na mesma direção. A empresa sabia mais do que dizia. Em volta do caso documentado existe o inventário difuso: adolescentes em espiral de comparação, homens radicalizados por recomendação em cadeia, idosos drenados por fraude segmentada, democracias com o tecido de confiança puído.
Chamo esse padrão de morte diluída. Milhões de danos distribuídos, cada um com causalidade individual fraca demais para sustentar um processo, somados numa escala que nenhum tribunal consegue enquadrar porque nunca se agregam num evento único, com data e local.
Antes da frase que amarra, o cuidado que ela exige: a comparação deste ensaio é de arquitetura, nunca de magnitude nem de intenção. Nada aqui equipara feed a campo de extermínio. O paralelo está no que cada arquitetura faz com a responsabilidade: a câmara de gás concentrou a morte para poupar o executor; o algoritmo pulveriza a causalidade para poupar o réu.
E existe o caso em que a diluição re-concentrou. Em 2017, o Exército de Mianmar conduziu uma campanha de massacre e expulsão contra os rohingya, minoria muçulmana do país; mais de 700 mil pessoas fugiram. No Mianmar daquele período, o Facebook funcionava na prática como a própria internet, e a investigação da ONU8 concluiu que a plataforma teve papel relevante na disseminação do ódio que preparou o terreno. Morte diluída virando morte literal, contável, com vala. A cadeia causal foi lida por uma instituição, e só por isso entrou para a história como crime em vez de estatística.
Os mesmos mecanismos, em forma algorítmica
Como um dano dessa escala se produz sem que ninguém o decida? Pelos mesmos cinco mecanismos, traduzidos:
- Conformidade — ninguém pede a revisão de viés do modelo se isso atrasa o lançamento que o conselho já aprovou. O desconforto individual perde para o cronograma coletivo, com ressalva educada em ata.
- Gradualismo — o consentimento avança um clique por vez. Termos de uso, permissões, "aceitar tudo": nenhum clique isolado parece justificar a recusa.
- Eufemismo — o dashboard celebra "receita de publicidade +50%". A linha não diz que o crescimento pode vir de casas de aposta, nem quantos apostadores do outro lado são dependentes.
- Distância — o pipeline dados → modelo → produto → usuário fragmenta a responsabilidade. O engenheiro nunca vê a vítima.
- Inversão moral — "conectar o mundo", "democratizar a informação": a missão nobre absorve o dano como custo do bem maior.
A filosofia do pós-guerra deu nome ao padrão: razão instrumental9, a inteligência que otimiza meios sem interrogar fins; banalidade do mal10, o funcionário que faz o trem chegar no horário sem perguntar o que o trem carrega. A versão atual é a banalidade da função-objetivo: ninguém no pipeline odeia o adolescente do outro lado da tela. O sistema apenas maximiza tempo de sessão. E maximiza muito bem.
O furo jurídico
A ausência de réu tem um componente fabricado. Plataformas vendem precisão comportamental suficiente para prever compra, clique e permanência por microssegmento, mas declaram dificuldade técnica quando o assunto é detectar aliciamento de menores, fraude ou dano organizado nos próprios sistemas. Os dois enunciados saem do mesmo prédio. Onde a capacidade aparece quando dá lucro e desaparece quando custa, o que se revela chama-se preferência — e quando conhecimento do dano, capacidade de agir e persistência da omissão convergem, o direito tem nome para isso: cegueira deliberada.
A blindagem completa o desenho. Nos EUA, a Seção 230, em vigor desde 1996, dificulta tratar serviços interativos como editores ou autores do conteúdo de terceiros. A plataforma que decide métrica, ranking e distribuição ainda se apresenta como mera hospedeira. Só que o board que aprova a métrica é dono do efeito da métrica, e "eu não sabia o que o modelo fazia" envelhece tão bem quanto envelheceu em 1946.
Aqui está o furo. A lei processa dano com três coordenadas: um réu, um ato, uma vítima. Nuremberg tinha as três antes de ter a própria lei, e por isso coube num tribunal, que inventou a técnica que faltava. O dano algorítmico chega com as três dissolvidas: responsabilidade pulverizada em pipeline, ato diluído em bilhões de microdecisões, vítima estatística sem rosto individual. A pergunta que o direito ainda não respondeu, e que este ensaio deixa armada: a morte diluída vai ficar sem pena por falta de réu?
Em 1945, diante de um furo jurídico daquele tamanho, a resposta foi inventar técnica nova. A geração sentada nas mesas de decisão agora herda a invenção seguinte. Kelley diria que é uma geração normal. É exatamente esse o problema.
Pré-crime
O furo tem um lado simétrico, e a ficção chegou nele vinte anos antes do direito. Em Minority Report (2002), adaptado de um conto de Philip K. Dick, videntes anteveem assassinatos e a polícia prende o autor antes do ato — "pré-crime" é o nome do departamento. O filme parecia especulação; a infraestrutura de detecção já instalada no mundo real faz dele um memorando.
A pergunta ética merece ser dita sem anestesia, porque ela desmonta dois séculos de construção jurídica: pode-se punir um crime antes do crime? O direito penal moderno se apoia no ato — pune-se o que foi feito, consumado ou tentado, com presunção de inocência até prova do fato. Punir pelo que alguém provavelmente fará transfere a pena do ato para o autor, e direito penal do autor é a categoria que regimes de exceção do século XX usaram para criminalizar pessoas em vez de condutas.
Score de risco já influencia liberdade provisória e sentença em algumas jurisdições. A cada ponto percentual de "precisão preditiva" que a tecnologia ganha, a tentação de dar o passo seguinte cresce. Se a probabilidade basta para prender, o que sobra da presunção de inocência?
O caso real que este furo produziu no Brasil mostra as duas faces ao mesmo tempo — a mecânica completa fecha este ensaio. Aqui, o que importa é a simetria: com investigação e ato judicial no meio, a detecção opera a favor da vítima; sem essas camadas, a cadeia idêntica prende alguém por conversa. A fronteira entre proteger e punir por previsão tem a espessura do devido processo, e de quem o audita.
Quem está legislando isso
A União Europeia saiu na frente: o AI Act entrou em vigor em 1º de agosto de 2024 e aplica obrigações por etapas, com vigência plena prevista para 2 de agosto de 2026, salvo exceções. O Reino Unido atacou por dever de cuidado com o Online Safety Act de 2023, sob regulação da Ofcom. Os EUA seguem sem marco federal amplo de IA, com colcha de retalhos estadual e a Seção 230 de 1996 ainda de pé.
No Brasil, o PL 2338/2023 foi aprovado no Senado, chegou à Câmara em 2025 e, em 7 de julho de 2026, aguarda parecer do relator na Comissão Especial11. O texto que saiu do Senado prevê a ANPD como coordenadora da governança nacional de IA; o teste agora é se essa arquitetura sobreviverá à Câmara e ganhará força institucional.
O descompasso é de relógio. Entre proposta e aplicação plena, o AI Act atravessou um ciclo em que modelos de linguagem saíram de curiosidade de laboratório para infraestrutura de trabalho. A lei se move em anos, a capacidade em meses, e nenhum dos parlamentos envolvidos respondeu à pergunta que importa: vai dar tempo?
São Gabriel da Palha
Em junho de 2026, conversas de um usuário do ChatGPT no Brasil indicaram plano de matar o próprio filho de 8 anos12 13. Segundo a investigação, havia menções a armas, veneno, contratação de pistoleiro e ataques em massa. A empresa responsável pela plataforma sinalizou o caso ao FBI. O FBI acionou o CyberLab do Ministério da Justiça. O Ministério repassou à Polícia Civil do Espírito Santo. A informação chegou às autoridades brasileiras em 16 de junho; a prisão preventiva ocorreu no dia 19, em São Gabriel da Palha, um dia antes da data apontada pela investigação como planejada para o ataque.
O homem negou intenção de executar o plano. A Polícia Civil apreendeu celular e pertences para perícia e informou que definiria os indiciamentos depois da conclusão da investigação. Esse detalhe importa: o caso não encerra o dilema; ele abre. A prevenção funcionou porque houve cadeia institucional, investigação e ato judicial. Retire uma camada e sobra outra coisa: uma empresa privada detectando intenção, uma agência estrangeira lendo risco, um Estado nacional convertendo conversa em privação de liberdade.
No dia 19 de junho de 2026, em São Gabriel da Palha, Espírito Santo, um pai foi preso antes do ato. A criança ficou viva. O direito ainda precisa decidir que parte dessa frase é vitória, que parte é risco, e quem terá poder para traçar a linha.
NOISE FLOOR
IA sem ruído para quem decide.
Assine a newsletter · análises como esta, direto no seu email.