Evaluating Text Summarization Using Multiple Correct Answer Summaries

Abstract

本稿では,要 約手法 として複数の正解に基づ く評価法の提案 を行なった.従 来のテキ ス ト要約の評価方法では唯一の正解 を用 いるが,テ キス トによっては観点の異 なる正 しい要約が複数存在す る場合 もあ り,評 価の信頼性が保証 されないとい う問題があっ た.我 々は,自 動評価 の信頼性 を高めるため,特 に重要文抽出法 に焦点を当てて複数 の正解 に基づ く評価方法 を検討 した.提 案手法では,複 数の正解 と評価対象の要約を 共 にベク トルで表現 し,複 数 の正解の線形結合 と評価対象の要約 との内積の最大値 を 評価値 とする.提 案手法の検証のため に,NTCIR-2要 約データ中の4記 事 に対 して, 要約者7名 で要約の作成 を行 なった.正 解の要約 問の一致度 に基づ く品質評価の結果, 提案手法の評価の正解 として用いるのに十分な品質が得 られなかったが,要 約 の比較 から,照 応 関係,結 束性等,元 テキス ト中の構造を損 なわないように要約する共通の 法則性が見 出され,今 後要約の正解 を作成する上で有用 な知見 を得 た.提 案手法の有 効性 を検証す る予備実験 として,異 なる幾つかの 自動要約手法 と複数正解 との一致度 に基づ く評価 を行 なった.正 解 ごとに評価の高い自動要約手法が異 なる とい う傾向が 見 られ,複 数の正解 を用いることで評価対象の要約 との相性 によらない評価結果 を得 るという提案手法の前提 を裏付 ける結果 を得た.