Soluções generalistas de inteligência artificial inventaram jurisprudência ou citaram fontes erradas em 43% mais casos que uma IA especializada em Direito brasileiro. A descoberta faz parte de um estudo conduzido pelo Jusbrasil com 48 advogados, que avaliaram às cegas as respostas de quatro sistemas de IA a casos reais da prática jurídica.

A pesquisa comparou o Jus IA, solução especializada em Direito do Jusbrasil, com três das principais IAs generalistas do mercado global. Todas foram testadas nas cinco tarefas mais comuns da rotina jurídica: análise de documentos, compreensão de conceitos jurídicos, entendimento do panorama jurisprudencial, geração de peças e pesquisa de precedentes.

O que estudo mostrou

Os números chamam atenção. O Jus IA performou melhor em 70% das avaliações, com 79% mais estabilidade nos resultados e 43% menos alucinações jurídicas que os concorrentes generalistas.

"A diferença não está apenas nos números. Está em onde cada solução erra e por quê", explica Marina Marinho, Staff Legal Expert do Jusbrasil e uma das autoras do estudo. Doutora em Direito pela UFMG, com estágio doutoral na Universidade de Antuérpia, ela conduz pós-doutorado em Ciências da Computação com foco na qualidade de conteúdo jurídico gerado por IA generativa. A profissional participou ainda de projetos pioneiros como a ferramenta marIA, do STF.

"IAs generalistas se perdem na especialização técnica do Direito brasileiro. Inventam precedentes, citam leis erradas, produzem argumentos juridicamente frágeis", afirma Marina. O Jus IA, treinado com base normativa e jurisprudencial nacional, foi a solução que melhor performou em todas as tarefas avaliadas. "Mas também tem limitações, principalmente na fluidez da escrita, em que o desempenho é comparável ao de soluções generalistas. Nosso monitoramento vem sinalizando esse aspecto e estamos analisando como endereçar da melhor forma."

Quando a IA inventa jurisprudência

O Jus IA apresentou 88% de assertividade geral nas avaliações, enquanto as IAs generalistas oscilaram entre 77% e 79%. Outro ponto que chama atenção está no percentual de alucinações geradas: o Jus IA alucina 43% menos do que os concorrentes, gerando respostas juridicamente corretas e confiáveis com consistência superior.

O problema das alucinações jurídicas acontece quando a IA inventa jurisprudência, distorce legislação ou cria referências inexistentes. No Brasil, casos de advogados e juízes apresentando precedentes fictícios gerados por IA já foram registrados. Alguns resultaram em multas e sanções.

▪️Jus IA: 88% de acerto jurídico ou menção à normativa jurídica existente
▪️IAs Generalistas: 77% a 79%

No estudo do Jusbrasil, avaliadores relataram que as soluções generalistas trouxeram "afirmações imprecisas, não condizentes com as informações fornecidas pelo usuário e nem com a legislação vigente". Também apareceram "argumentos jurídicos já superados pela jurisprudência".

Avaliadores apontaram que as IAs generalistas frequentemente não citaram jurisprudência quando deveriam, usaram fontes inadequadas como notícias e artigos online, e produziram respostas sem base documental. Em contraste, o Jus IA foi elogiado por "utilizar decisões atualizadas e pertinentes para fundamentar seus argumentos". Um advogado descreveu uma resposta do Jus IA como "tecnicamente excelente", destacando a fundamentação com jurisprudência e legislação aplicável.

Por que a especialização importa na prática?

Os dados consolidados reforçam que sistemas treinados com base normativa e jurisprudencial brasileira produzem respostas mais corretas e confiáveis, especialmente em contextos que exigem precisão técnica. O Jus IA apresentou desempenho superior em corretude (84%) e confiabilidade (83%), com até 27 pontos percentuais de vantagem em corretude e 43 pontos em confiabilidade em relação às soluções generalistas, considerando resultado + variação.​ A diferença não é apenas estatística. É qualitativa, afetando diretamente a segurança e a validade do trabalho jurídico produzido.

Como foi feito o estudo

A pesquisa foi estruturada para simular situações reais da prática jurídica brasileira. Foram criados casos práticos, distribuídos em cinco intenções de uso, que representam as tarefas mais comuns dos advogados no dia a dia.

Cada caso foi submetido aos quatro sistemas com perguntas idênticas e neutras. As respostas foram anonimizadas, randomizadas e avaliadas por 48 advogados de diferentes regiões do país, níveis de experiência e áreas de especialização. Ninguém sabia que estava analisando respostas de IAs.
 

O estudo seguiu as melhores práticas acadêmicas de pesquisa comparativa. Todos os prompts foram revisados por advogados para garantir clareza e neutralidade. Antes da avaliação, as respostas passaram por normalização de formatação e remoção de marcas de estilo que pudessem identificar o sistema de origem. O artigo acadêmico com os resultados foi publicado na plataforma Arxiv - um repositório aberto para publicação eletrônica de artigos científicos gerenciado pela Cornell University - e conta ainda com pesquisadores da Universidade Federal do Amazonas (UFAM).

Além disso, foi feita ainda análise de concordância entre avaliadores para verificar se havia convergência esperada nas notas. O resultado mostrou consistência, indicando que as diferenças de desempenho refletem a qualidade percebida do conteúdo, não preferências pessoais ou vieses de marca.

Perfil dos avaliadores:

▪️95,83% possuem mais de quatro anos de prática jurídica

▪️89,58% possuem especialização (pós-graduação, MBA, mestrado ou doutorado)

▪️Representam todas as grandes áreas do Direito: civil, trabalhista, tributário, administrativo, penal e empresarial
 

Os avaliadores aplicaram quatro critérios de análise:

▪️Corretude jurídica e fática: fundamentos e conclusões corretos, sem erros conceituais ou inversão de entendimentos.

▪️Confiabilidade: fontes citadas existem e sustentam o que foi afirmado, sem alucinações.

▪️Completude: resposta aborda integralmente as solicitações com estrutura jurídica adequada.

▪️Fluidez da linguagem: clareza, coesão e naturalidade do texto.

Onde as soluções generalistas mais falharam

A diferença de desempenho foi mais acentuada em tarefas que exigem interpretação jurídica precisa e uso de fontes verificáveis, principalmente nos critérios de corretude e completude.

Em "pesquisa de precedentes", o Jus IA alcançou 93% de corretude e 96% de confiabilidade. Uma das IAs generalistas ficou em 25% e 9%, respectivamente.
Na intenção "entender panorama jurisprudencial", as soluções generalistas também tiveram desempenho fraco. A corretude variou entre 9% e 35%. O Jus IA registrou 81%.

Geração de documentos: área de evolução para todas as IAs

Em "gerar ou ajustar documento", os resultados foram mais equilibrados. Os desempenhos próximos revelam que essa é uma área desafiadora para todas as IAs, sejam especializadas ou generalistas.

Uma IA generalista obteve 82% em fluidez, superando o Jus IA (64%) nesse critério específico. Avaliadores relataram que as respostas do Jus IA em “produção de peças” foram, por vezes, "repetitivas e redundantes, por retomar argumentos já expostos". Por outro lado, o Jus IA manteve vantagem em corretude (61% vs. 52 a 59%) e confiabilidade (52% vs. 20 a 32%). São critérios essenciais para a validade jurídica do documento.

O estudo mostrou que todas as soluções cometeram erros estruturais na criação de peças. Problemas aparecem na qualificação das partes, no endereçamento ou nos pedidos. Essa foi a intenção de uso com as menores notas gerais.

O trade-off entre precisão e naturalidade

Os resultados revelam um padrão: o Jus IA prioriza corretude e confiabilidade, o que pode comprometer a fluidez da escrita. O assistente do Jusbrasil ficou em segundo lugar quando no caso de “geração de peças”. Uma IA generalista liderou com textos considerados mais naturais em algumas tarefas.

Para entender esse equilíbrio, Marina Marinho contextualiza a decisão arquitetônica por trás da solução. "Não se trata de dizer que a fluidez é menos importante. Mas, em áreas como o Direito, a prioridade é garantir previsibilidade e precisão. A clareza do texto ajuda na compreensão, mas é a correção técnica que sustenta a confiança."

Segundo ela, a escolha metodológica de atribuir peso maior aos critérios de corretude e confiabilidade tem fundamento acadêmico e prático. "No Direito, o que mais importa é: está certo? As fontes existem? Os argumentos se sustentam? Uma petição bem escrita, mas com fundamento errado, vai ser rejeitada. Já uma petição menos polida, mas juridicamente sólida, pode ser acatada."

Esse é um trade-off consciente da arquitetura de IAs jurídicas. Sistemas treinados com base normativa e dogmática produzem respostas mais corretas e confiáveis, mas podem ser menos fluidos em contextos de redação criativa.

Avaliadores elogiaram uma das IAs generalistas pela objetividade, mas apontaram o uso de "linguagem coloquial incompatível com a prática da advocacia". Sobre o Jus IA, destacaram fundamentação robusta, mas indicaram oportunidades de melhoria na concisão e naturalidade da escrita.

O que isso significa para sua rotina

A escolha da ferramenta deve considerar o tipo de tarefa jurídica e as prioridades de cada situação. Para trabalhos que exigem precisão jurídica máxima (pesquisa de precedentes, análise de jurisprudência, boa fundamentação técnica), o Jus IA, assistente especializado do Jusbrasil, demonstrou desempenho superior, com até 27 pontos percentuais de vantagem em corretude.

Para rascunhos iniciais e estruturação de textos (minutas preliminares, comunicações gerais): soluções generalistas podem oferecer boa fluidez, mas exigem revisão rigorosa de fundamentos jurídicos.

Para produção de peças processuais: todas as IAs apresentaram limitações. Isso reafirma que o trabalho colaborativo entre advogado e IA é indispensável, independentemente da ferramenta escolhida.

Perguntas frequentes

Qual a melhor IA para advogados em 2025?

Para trabalhos que exigem precisão jurídica, citação de precedentes e fundamentação técnica, Jus IA performa melhor em corretude (27 pontos de diferença) e confiabilidade (43 pontos). Para redação mais fluida e natural, soluções generalistas podem ter vantagem - mas com maior risco de alucinações.

IAs generalistas servem para elaborar petições?

IAs generalistas podem auxiliar na estrutura e fluidez da redação, mas apresentam riscos elevados de alucinações jurídicas (43% mais casos de erros) e menor confiabilidade nas fontes citadas. O estudo mostrou que todas as IAs, incluindo a especializada, têm espaço para evolução na produção de peças.

Como identificar alucinações jurídicas?

Sempre verifique as fontes citadas. Acesse os precedentes mencionados. Confira números de processos. Valide se a jurisprudência realmente diz o que a IA afirmou. Desconfie de respostas sem citações ou com referências vagas ou quando o texto parece ter sido feito para “agradar”. O Jus IA traz a opção de validar citações de forma automática em todas as respostas geradas, mas sua conferência é sempre fundamental. 

Por que o Jus IA não teve o melhor desempenho em fluidez?

O Jus IA prioriza corretude e confiabilidade nas respostas, o que pode deixar o texto menos coloquial em alguns casos. Ainda assim, teve desempenho acima das demais IAs em fluidez. O Jusbrasil segue aprimorando a solução para unir precisão técnica e linguagem cada vez mais natural.

Vale a pena pagar por uma IA especializada?

Se sua rotina envolve pesquisa jurisprudencial, análise de documentos técnicos e elaboração de peças bem fundamentadas, a diferença de 27 pontos em corretude e 43 pontos em confiabilidade pode impactar diretamente a qualidade e segurança do seu trabalho. O plano “Avançado + Jus IA” traz ainda o acesso a bilhões de documentos jurídicos da base do Jusbrasil, incluindo acesso completo a Doutrinas, acervo robusto de editoras parceiras como Thomson Reuters e SobreDireito e conteúdo acadêmico referenciado.

O Jusbrasil pretende expandir este estudo?

Sim. O Jusbrasil planeja ampliar o estudo em número de casos, avaliadores e inclusão de outras ferramentas de IA. O objetivo é reforçar o compromisso com transparência e inovação responsável.

▪️Quer conferir os dados completos? Acesse o estudo e veja a análise detalhada de cada critério e intenção de uso e com gráficos para sua própria avaliação.