¿Se puede fiar uno de un resumen hecho por IA?

Qué hace realmente un modelo de resumen

Un modelo de resumen no extrae frases y las cose. Lee el documento y luego escribe frases nuevas, palabra a palabra, eligiendo cada una por lo que suele venir después.

Por eso el resultado se lee con naturalidad, y también por eso puede equivocarse de formas en que un copiar y pegar nunca podría: nada ancla el texto generado al original salvo lo que el modelo aprendió.

Fallo uno: copia en vez de resumir

Fue la mayor sorpresa de nuestras pruebas. Dos modelos con licencias limpias y permisivas — uno de 600 millones de parámetros, otro de 350 — no resumían prosa narrativa. Reproducían el comienzo del documento tal cual.

Ambos manejaban bien los artículos de enciclopedia. El comportamiento solo apareció cuando añadimos un texto narrativo. Si hubiéramos probado únicamente con material de referencia, habríamos publicado un modelo que copia.

Forzarlo a no copiar lo empeoró en vez de mejorarlo: envuelto en delimitadores, el mismo modelo produjo una frase fluida que decía algo que el documento nunca decía.

Fallo dos: inventa cuando no hay con qué trabajar

Con una entrada vacía, un modelo produjo el resumen de una campaña de salud pública. Con la sola palabra «hola», escribió tres líneas de un diario.

Un modelo siempre produce algo: no existe un estado en el que no devuelva nada. Si la entrada es demasiado corta para resumirse, lo que sale no es un mal resumen, es ficción. Por eso nuestra herramienta tiene una longitud mínima y se niega por debajo en vez de complacer.

Fallo tres: se equivoca en los hechos, con fluidez

En una ejecución el modelo desarrolló la abreviatura NADPH en un nombre químico que no es lo que NADPH significa. La frase estaba bien formada y sonaba segura.

Fluidez y exactitud son cosas distintas y fallan por separado. Este es el fallo que no puedes detectar leyendo solo el resumen, y precisamente por eso un resumen sirve para decidir si leer algo, no para sustituir la lectura.

En qué es realmente bueno

En saber si un documento largo te interesa. En captar la idea de un informe en un idioma que lees despacio. En producir un primer borrador de un resumen que luego corriges.

Un límite más que conviene conocer: pedir el resumen en un idioma distinto al del original es donde los modelos pequeños se deshacen — inventan palabras que no existen o ignoran la instrucción y responden en el idioma de origen. Resumir y traducir son dos trabajos; pídelos de uno en uno.

Si el documento es un escaneo, nada de lo anterior aplica todavía

Un PDF escaneado no tiene texto, solo imágenes de texto. Un modelo de resumen que recibe ese archivo no recibe nada — y, según el segundo fallo, un modelo sin nada igualmente escribirá algo.

Pasa primero el reconocimiento de texto, revisa el resultado y luego resume. El reconocimiento sobre un escaneo malo produce sus propios errores, y resumirlos los agrava en silencio.