Assista tambem nas redes
Assistir no InstagramO Superior Tribunal de Justiça (STJ) anunciou nesta quarta-feira (20) a abertura de um inquérito e um procedimento administrativo para investigar o uso de "prompt injection", uma técnica que visa manipular sistemas de inteligência artificial (IA).
O foco da investigação é determinar se houve tentativas de fraude processual. A coleta de depoimentos de advogados e escritórios envolvidos está programada.
Recentemente, duas advogadas foram multadas no Pará após tentarem enganar um sistema de IA do tribunal com um "código secreto" para alterar instruções do sistema. A decisão do STJ foi tomada após a identificação de processos que utilizavam essa técnica maliciosa, que insere comandos ocultos em documentos comuns.
Em nota, o presidente do STJ, ministro Herman Benjamin, destacou a importância da apuração e responsabilização. Ele afirmou: "O STJ Logos, sistema de IA desenvolvido pela corte, já possui comandos que impedem tais artimanhas. Estamos monitorando todas as tentativas de prompt injection para aplicar sanções e apurar responsabilidades administrativas e criminais dos envolvidos".
A prompt injection é uma técnica que utiliza textos enganosos para manipular as respostas de assistentes de IA, forçando-os a realizar ações inadequadas ou ignorar verificações de segurança.
No caso das advogadas, a intenção era adulterar a IA Galileu, utilizada pelo tribunal, para que a ferramenta apresentasse análises superficiais, prejudicando a qualidade dos argumentos contra um documento. Para isso, foi inserido um texto oculto no arquivo, que instruía a IA a contestar de forma superficial.
As advogadas afirmaram que não concordam com a decisão e que não houve intenção de manipular a justiça, mas sim de "proteger o cliente da própria IA". Elas planejam recorrer da decisão.
O sistema Galileu detectou os comandos ocultos e emitiu um alerta, segundo o Tribunal Regional do Trabalho da 4ª Região (TRT-4), que desenvolveu a ferramenta. Medidas foram tomadas após uma verificação humana, com base no aviso do assistente.
No STJ, mesmo quando o sistema recebe petições com injeções de comando ocultas, camadas de segurança e integridade garantem que essas ordens maliciosas não sejam executadas.
A TV Globo teve acesso a um levantamento que identificou ao menos 11 processos criminais que utilizaram o prompt injection. O STJ, no entanto, não se pronuncia sobre casos específicos no momento.
Deixe seu e-mail abaixo para garantir acesso a tutoriais exclusivos, novos conteúdos do projeto e nossos lançamentos em primeira mão.