toolsmith

Sem upload · tudo roda no seu navegador

Dá para confiar num resumo feito por IA?

Às vezes, e as falhas são específicas o bastante para valer a pena conhecer. Testamos quatro modelos com os mesmos documentos; dois deles não resumiam nada.

Atualizado

O que um modelo de resumo realmente faz

Um modelo de resumo não extrai frases e as costura. Ele lê o documento e então escreve frases novas, palavra por palavra, escolhendo cada uma pelo que costuma vir depois.

Por isso o resultado se lê com naturalidade, e também por isso ele pode errar de um jeito que copiar e colar nunca poderia: nada ancora o texto gerado à fonte além do que o modelo aprendeu.

Falha um: ele copia em vez de resumir

Foi a maior surpresa dos testes. Dois modelos com licenças limpas e permissivas — um de 600 milhões de parâmetros, outro de 350 — não resumiam prosa narrativa. Reproduziam a abertura do documento literalmente.

Os dois lidavam bem com verbetes de enciclopédia. O comportamento só apareceu quando acrescentamos um texto narrativo. Se tivéssemos testado só com material de referência, teríamos publicado um modelo que copia.

Forçá-lo a não copiar piorou em vez de melhorar: envolto em delimitadores, o mesmo modelo produziu uma frase fluente que dizia algo que o documento nunca disse.

Falha dois: ele inventa quando não há com o que trabalhar

Com entrada vazia, um modelo produziu o resumo de uma campanha de saúde pública. Com a única palavra «olá», escreveu três linhas de diário.

Um modelo sempre produz alguma coisa — não existe estado em que ele devolva nada. Se a entrada é curta demais para resumir, o que sai não é um resumo ruim, é ficção. Por isso nossa ferramenta tem um comprimento mínimo e recusa abaixo dele em vez de agradar.

Falha três: ele erra fatos, com fluência

Numa execução o modelo expandiu a sigla NADPH num nome químico que não é o que NADPH significa. A frase estava bem formada e soava segura.

Fluência e exatidão são coisas separadas e falham separadamente. Essa é a falha que você não detecta lendo só o resumo — e é exatamente por isso que um resumo serve para decidir se vale ler algo, não para substituir a leitura.

No que ele é realmente bom

Em descobrir se um documento longo interessa a você. Em pegar a ideia de um relatório num idioma que você lê devagar. Em produzir um primeiro rascunho de resumo que você depois corrige.

Mais um limite que vale conhecer: pedir o resumo num idioma diferente do original é onde os modelos pequenos se desfazem — inventam palavras que não existem ou ignoram a instrução e respondem no idioma de origem. Resumir e traduzir são dois trabalhos; peça um de cada vez.

Se o documento é digitalizado, nada disso vale ainda

Um PDF digitalizado não tem texto, só imagens de texto. Um resumidor que recebe esse arquivo não recebe nada — e, pela segunda falha, um modelo sem nada ainda assim escreve algo.

Passe primeiro o reconhecimento de texto, confira o resultado e só então resuma. O reconhecimento sobre uma digitalização ruim produz os próprios erros, e resumi-los os agrava em silêncio.

Faça agora, sem enviar nada

Posso confiar num resumo de IA para algo importante?

Use-o para decidir o que ler, não como substituto da leitura. Os erros que ele comete são fluentes e confiantes, ou seja, não parecem erros — é justamente essa propriedade que os torna perigosos para decisões.

Por que a ferramenta recusa documentos muito longos em vez de cortá-los?

Porque resumir a primeira parte e apresentar como resumo do todo é uma mentira que o leitor não consegue detectar. Recusar é honesto; cortar em silêncio, não.

Meu documento é enviado para algum servidor?

Não. O modelo é baixado para o seu navegador e o documento é lido ali. É o arranjo inverso ao de um serviço hospedado: quem viaja é o modelo, não o seu arquivo.

Vale a leitura