Dá para confiar num resumo feito por IA?
Às vezes, e as falhas são específicas o bastante para valer a pena conhecer. Testamos quatro modelos com os mesmos documentos; dois deles não resumiam nada.
Atualizado
O que um modelo de resumo realmente faz
Um modelo de resumo não extrai frases e as costura. Ele lê o documento e então escreve frases novas, palavra por palavra, escolhendo cada uma pelo que costuma vir depois.
Por isso o resultado se lê com naturalidade, e também por isso ele pode errar de um jeito que copiar e colar nunca poderia: nada ancora o texto gerado à fonte além do que o modelo aprendeu.
Falha um: ele copia em vez de resumir
Foi a maior surpresa dos testes. Dois modelos com licenças limpas e permissivas — um de 600 milhões de parâmetros, outro de 350 — não resumiam prosa narrativa. Reproduziam a abertura do documento literalmente.
Os dois lidavam bem com verbetes de enciclopédia. O comportamento só apareceu quando acrescentamos um texto narrativo. Se tivéssemos testado só com material de referência, teríamos publicado um modelo que copia.
Forçá-lo a não copiar piorou em vez de melhorar: envolto em delimitadores, o mesmo modelo produziu uma frase fluente que dizia algo que o documento nunca disse.
Falha dois: ele inventa quando não há com o que trabalhar
Com entrada vazia, um modelo produziu o resumo de uma campanha de saúde pública. Com a única palavra «olá», escreveu três linhas de diário.
Um modelo sempre produz alguma coisa — não existe estado em que ele devolva nada. Se a entrada é curta demais para resumir, o que sai não é um resumo ruim, é ficção. Por isso nossa ferramenta tem um comprimento mínimo e recusa abaixo dele em vez de agradar.
Falha três: ele erra fatos, com fluência
Numa execução o modelo expandiu a sigla NADPH num nome químico que não é o que NADPH significa. A frase estava bem formada e soava segura.
Fluência e exatidão são coisas separadas e falham separadamente. Essa é a falha que você não detecta lendo só o resumo — e é exatamente por isso que um resumo serve para decidir se vale ler algo, não para substituir a leitura.
No que ele é realmente bom
Em descobrir se um documento longo interessa a você. Em pegar a ideia de um relatório num idioma que você lê devagar. Em produzir um primeiro rascunho de resumo que você depois corrige.
Mais um limite que vale conhecer: pedir o resumo num idioma diferente do original é onde os modelos pequenos se desfazem — inventam palavras que não existem ou ignoram a instrução e respondem no idioma de origem. Resumir e traduzir são dois trabalhos; peça um de cada vez.
Se o documento é digitalizado, nada disso vale ainda
Um PDF digitalizado não tem texto, só imagens de texto. Um resumidor que recebe esse arquivo não recebe nada — e, pela segunda falha, um modelo sem nada ainda assim escreve algo.
Passe primeiro o reconhecimento de texto, confira o resultado e só então resuma. O reconhecimento sobre uma digitalização ruim produz os próprios erros, e resumi-los os agrava em silêncio.
Faça agora, sem enviar nada
Posso confiar num resumo de IA para algo importante?
Use-o para decidir o que ler, não como substituto da leitura. Os erros que ele comete são fluentes e confiantes, ou seja, não parecem erros — é justamente essa propriedade que os torna perigosos para decisões.
Por que a ferramenta recusa documentos muito longos em vez de cortá-los?
Porque resumir a primeira parte e apresentar como resumo do todo é uma mentira que o leitor não consegue detectar. Recusar é honesto; cortar em silêncio, não.
Meu documento é enviado para algum servidor?
Não. O modelo é baixado para o seu navegador e o documento é lido ali. É o arranjo inverso ao de um serviço hospedado: quem viaja é o modelo, não o seu arquivo.
Vale a leitura
- O que é um arquivo HEIC e por que ele não abre
- PNG, JPG, WebP ou AVIF — qual você deveria usar?
- Por que seu PDF é tão pesado — e o que realmente reduz
- MOV contra MP4 — o que muda de verdade
- Como remover o fundo funciona de verdade — e quando falha
- A IA cria detalhe real ao ampliar uma imagem?
- SRT ou VTT — de qual arquivo de legenda você precisa?
- O que são stems — e dá mesmo para separar uma música pronta?
- Por que meu PDF não abre?
- CSV contra Excel — o que muda de verdade
- WAV ou MP3: qual você precisa de verdade?
- O que é um códec — e como ele difere do MP4?
- Por que meu vídeo fica deitado?