Tentativa de manipulação da Justiça com IA gera preocupação em tribunais brasileiros

Manipulação de sistemas de IA preocupa tribunais brasileiros

Recentemente, surgiram tentativas de manipulação em tribunais de diversos estados brasileiros, incluindo São Paulo, Pará, Minas Gerais e Paraíba.

Um caso emblemático foi identificado no Tribunal de Justiça de São Paulo (TJSP), onde um advogado apresentou uma petição inicial com um texto invisível que instruía um sistema de IA a tomar decisões favoráveis ao autor. Essa prática, conhecida como prompt injection, envolve a inserção maliciosa de comandos que alteram a resposta do sistema.

A situação foi detectada em maio, e o juiz responsável, Diego Marcussi, solicitou explicações ao advogado envolvido, considerando a inserção como uma tentativa de influenciar ferramentas de IA que auxiliam na análise processual.

O uso crescente de IA nos tribunais brasileiros, tanto por sistemas internos quanto externos, tem gerado preocupações sobre a integridade das decisões judiciais. O Conselho Nacional de Justiça (CNJ) já estabeleceu diretrizes que exigem revisão humana em processos que envolvem IA, proibindo decisões automatizadas sem supervisão.

Além do caso de São Paulo, outras situações de prompt injection foram relatadas em diferentes estados. No Pará, advogadas foram multadas por tentativas de fraudar um processo utilizando IA, enquanto em Minas Gerais, um advogado foi penalizado por inserir comandos ocultos em um recurso judicial.

Esses incidentes têm levantado um debate significativo sobre a segurança do uso de tecnologia no Judiciário, especialmente em um país com um elevado número de processos pendentes. Especialistas alertam para o fato de que essas manipulações podem ser apenas a “ponta do iceberg”, com muitos comandos não identificados ainda em circulação.

O juiz federal Rafael Leite, que trabalhou na implementação de IA no CNJ, ressaltou que a probabilidade de tentativas de manipulação aumentará à medida que o uso de IA se expanda. A pesquisa sobre o uso de IA nos tribunais revela que 60% deles já utilizavam essa tecnologia em 2025, e a tendência é que esse número cresça.

Os especialistas concordam que a discussão atual não é mais sobre se a IA será utilizada, mas sim sobre a preparação dos magistrados e tribunais para lidar com essas ferramentas e garantir a segurança dos sistemas contra fraudes.

Propostas para mitigar esses riscos incluem a criação de mecanismos que filtrem e verifiquem informações antes de serem processadas por sistemas de IA. Além disso, é essencial que haja um treinamento adequado para os profissionais do Judiciário, a fim de que possam utilizar essas tecnologias de forma eficaz e segura.

O CNJ está ciente do problema e já iniciou ações para abordar a questão, incluindo a elaboração de um novo provimento e campanhas de conscientização sobre o uso responsável de IA no meio jurídico.

À medida que os tribunais discutem os riscos associados a comandos ocultos, surgem sugestões de comandos defensivos que podem ser utilizados para evitar manipulações. Contudo, especialistas alertam que as tentativas de enganar sistemas de IA podem ser muito mais sofisticadas do que se imagina.

Apesar dos desafios, há uma visão otimista sobre o uso de IA no Judiciário, desde que sejam feitas as correções necessárias e que haja supervisão humana adequada. O objetivo é garantir que a tecnologia seja uma aliada na promoção da justiça, acelerando a resolução de processos e assegurando que nenhuma informação relevante seja ignorada.