AIの要約は信用できるのか

要約モデルが実際にしていること

要約モデルは文を選んで繋ぎ合わせるのではありません。文書を読んで新しい文を一語ずつ書き出します。 各語は、その後に何が来る傾向があるかで選ばれます。

だから出力は自然に読めますし、同時に、切り貼り方式では決して起きない形で間違うこともあります。生成された文を原文につなぎ止めているのは、モデルが学んだものだけです。

失敗その一: 要約せずに写す

今回の試験で最も驚いた点です。ライセンスがきれいなモデル二つ — 一方は6億、他方は3億5千万パラメータ — が、物語文を与えると要約しませんでした。文書の冒頭をそのまま写しました。

どちらも百科事典の項目はきちんと要約しました。物語文を一編加えて初めてこの癖が出たのです。説明文だけで試していたら、写すモデルをそのまま出していたでしょう。

写せないようにすると、良くなるどころか悪くなりました。文書を区切り記号で包むと、同じモデルが滑らかな一文を出し、その内容は文書のどこにもありませんでした。

失敗その二: 材料がないと作り出す

空の入力を与えると、あるモデルは公衆衛生キャンペーンの要約を出しました。`こんにちは`の一語を与えると、日記の三行を書きました。

モデルは必ず何かを出します。 何も返さない状態がありません。要約するには短すぎる入力から出てくるのは、下手な要約ではなく創作です。当サイトのツールが最短の長さを設け、それ未満では応じずに断る理由がこれです。

失敗その三: 事実を間違える、しかも流暢に

ある実行でモデルはNADPHという略語を展開しましたが、NADPHが表すものではありませんでした。文そのものはよくできていて、自信がありました。

流暢さと正確さは別で、別々に壊れます。これは要約文だけを読んでも気づけない失敗の仕方で、だからこそ要約は読むかどうかを決める手段であって、読むことの代わりではありません。

では何が得意なのか

長い文書が自分に関係あるかを見分けること。ゆっくりしか読めない言語の報告書の要旨をつかむこと。要旨の下書きを作らせて自分で直すこと。

もう一つ知っておくべき限界があります。原文と違う言語で要約してほしいと頼むと小さなモデルは崩れます — 存在しない語を作り出すか、指示を無視して原文の言語で答えます。要約と翻訳は別の仕事です。一つずつ頼んでください。

スキャン文書ならここまでの話はまだ始まってもいません

スキャンしたPDFには文字がありません。文字を撮った画像だけです。そういうファイルを渡された要約器には何も与えられていないわけで、上の二つ目の失敗のとおり、何も受け取らなかったモデルでも何かは書きます。

先に文字認識をかけ、結果を確かめてから要約してください。品質の悪いスキャンの認識結果にはそれ自体の誤りがあり、それを要約すると誤りが静かに重なります。