AI 요약을 믿어도 될까

때에 따라 다르고, 실패하는 방식이 꽤 정해져 있어서 알아 둘 값어치가 있습니다. 같은 문서로 모델 넷을 재 봤는데 그중 둘은 아예 요약을 하지 않았습니다.

수정 2026년 7월 28일

요약 모델이 실제로 하는 일

요약 모델은 문장을 골라 이어 붙이지 않습니다. 문서를 읽고 새 문장을 한 낱말씩 써 냅니다. 각 낱말은 그 뒤에 무엇이 오는 경향이 있는지로 고릅니다.

그래서 결과가 자연스럽게 읽히고, 동시에 잘라 붙이는 방식으로는 절대 생길 수 없는 방식으로 틀릴 수 있습니다. 지어낸 글을 원문에 붙들어 매는 것은 모델이 배운 것뿐입니다.

이번 시험에서 가장 놀란 부분입니다. 라이선스가 깨끗한 모델 둘이 — 하나는 6억, 하나는 3억 5천만 매개변수 — 서사문을 주면 요약하지 않았습니다. 문서의 첫머리를 그대로 옮겨 적었습니다.

둘 다 백과사전 항목은 멀쩡히 요약했습니다. 서사문 한 편을 함께 넣고서야 이 버릇이 드러났습니다. 설명문만으로 시험했다면 베끼는 모델을 그대로 내보냈을 것입니다.

베끼지 못하게 막았더니 더 나빠졌습니다. 문서를 구분자로 감싸자 같은 모델이 매끄러운 문장 하나를 냈는데, 그 문장이 말하는 내용이 문서에 없었습니다.

빈 입력을 주자 한 모델이 공중보건 캠페인 요약을 내놓았습니다. `안녕` 한 낱말을 주자 일기 세 줄을 썼습니다.

모델은 언제나 무언가를 내놓습니다. 아무것도 안 돌려주는 상태가 없습니다. 요약하기에 너무 짧은 입력에서 나오는 것은 나쁜 요약이 아니라 창작입니다. 저희 도구가 최소 길이를 두고 그 아래에서는 응하지 않고 거절하는 이유가 이것입니다.

한 번은 모델이 NADPH라는 약자를 풀어 썼는데 NADPH가 뜻하는 것이 아니었습니다. 문장 자체는 잘 짜여 있었고 자신 있었습니다.

유창함과 정확함은 별개이고 따로 무너집니다. 이것이 요약문만 읽어서는 알아챌 수 없는 실패 방식이고, 그래서 요약은 읽을지 말지를 정하는 수단이지 읽기를 대신하는 것이 아닙니다.

긴 문서가 나에게 상관있는 것인지 가리는 일. 천천히 읽는 언어로 된 보고서의 요지를 잡는 일. 초록의 첫 판을 만들어 놓고 내가 고치는 일.

알아 둘 한계가 하나 더 있습니다. 원문과 다른 언어로 요약해 달라고 하면 작은 모델은 무너집니다 — 없는 낱말을 지어내거나, 지시를 무시하고 원문 언어로 답합니다. 요약과 번역은 다른 일입니다. 하나씩 시키세요.

스캔한 PDF에는 글자가 없습니다. 글자를 찍은 그림만 있습니다. 그런 파일을 받은 요약기에게는 아무것도 주어지지 않은 것이고, 위의 두 번째 실패대로 아무것도 못 받은 모델도 무언가는 씁니다.

문자 인식을 먼저 돌리고, 결과를 확인한 다음 요약하세요. 품질이 나쁜 스캔의 인식 결과에는 그 나름의 오류가 있고, 그것을 요약하면 오류가 조용히 겹칩니다.

무엇을 읽을지 정하는 데 쓰고, 읽기를 대신하지는 마세요. 이 모델이 내는 오류는 유창하고 자신 있어서 오류처럼 보이지 않습니다 — 바로 그 성질이 판단에 쓰기 위험하게 만듭니다.

앞부분만 요약해 놓고 문서 전체의 요약인 척하는 것은 읽는 사람이 알아챌 수 없는 거짓말이기 때문입니다. 거부하는 것은 정직하고, 조용히 자르는 것은 그렇지 않습니다.

아닙니다. 모델이 브라우저로 내려오고 문서는 거기서 읽힙니다. 서비스에 올리는 것과 정반대 배치입니다 — 움직이는 것은 모델이지 당신의 파일이 아닙니다.