Presentation Information
[4Yin-A-18]Token-Level Hallucination Detection Based on Internal Representation Differences in RAG
〇Kazuai Furumai1, Shuichiro Haruta1, Kazunori Matsumoto1, Kazushi Ikeda1 (1. KDDI Research, Inc.)
Keywords:
LLM,Hallucination,RAG,Generative AI
近年，Retrieval-Augmented Generation（RAG）を用いた回答生成において，大規模言語モデル（LLM）の生成文に含まれるハルシネーションを高精度に検知する手法が求められている．既存研究の多くは，RAGによって与えられた参考文書による影響の考慮が不十分であるという課題や，生成文全体を対象としたハルシネーション検知を目的としているため長い生成文において誤り箇所の特定に効果的ではないという課題が存在する．本研究では，トークンに対応する内部状態が参考文書によって変化しているほど信頼性が高いという独自の分析による仮説に基づき，RAGの有無による二種類の内部状態からなる差分特徴量に着目したトークンレベルのハルシネーション検知手法を提案する．RAGに関するデータセットを用いた実験により，提案手法が教師なしおよび教師あり学習に基づく方法のいずれにおいてもハルシネーション検知に有効であることを示す．本研究は，RAGを用いる複雑かつ長文の生成において，ハルシネーションの局所的な検知を可能にする新たなアプローチの有効性を示すものである．