講演情報
[4K5-GS-6c-02]法令翻訳の手引きを反映したLLMによる訳質評価
〇川野 浩太1、後藤 功雄1、二宮 崇1 (1. 愛媛大学)
キーワード：
大規模言語モデル、法令翻訳、翻訳品質評価、誤り検出
法令翻訳では専門文書としての高い正確性が要求されるため，翻訳文の品質を適切に評価することが重要である．このような翻訳では，実務上の翻訳基準が重視されているが，法令翻訳の手引きを明示的に考慮し，LLMを用いて翻訳文の品質を自動評価する研究は，これまで十分に検討されていない．
本研究の目的は，LLMが翻訳文中における手引きへの準拠違反をどの程度検出できるかを評価することである．
本研究では，本研究では，法令翻訳の評価手法を検証するためのメタ評価フレームワークを提案する。
法令の日英翻訳の手引きの各項目に違反する翻訳例からなるベンチマークデータセットを構築し，基準項目ごとの違反検出性能を定量的に測定可能とした。さらに，実証例としてLLMを用いた誤り検出型評価手法を実装し，本フレームワーク上で評価した。実験の結果，手引きを明示的に提示することで検出率が向上することを確認し，提案フレームワークが評価手法の比較に有効であることを示した。
本研究の目的は，LLMが翻訳文中における手引きへの準拠違反をどの程度検出できるかを評価することである．
本研究では，本研究では，法令翻訳の評価手法を検証するためのメタ評価フレームワークを提案する。
法令の日英翻訳の手引きの各項目に違反する翻訳例からなるベンチマークデータセットを構築し，基準項目ごとの違反検出性能を定量的に測定可能とした。さらに，実証例としてLLMを用いた誤り検出型評価手法を実装し，本フレームワーク上で評価した。実験の結果，手引きを明示的に提示することで検出率が向上することを確認し，提案フレームワークが評価手法の比較に有効であることを示した。