[5G3-OS-37b] OS-37

2:45 PM - 3:00 PM JST(5:45 AM - 6:00 AM UTC)

[5G3-OS-37b-04] Design Guidelines and Evaluation of Knowledge Graph-based RAG for Corporate Talent and Skill Search

〇Kazuki Ueda¹, Yu Okano¹, Katsuki Okuno¹, Akifumi Sumitani¹, Yu Kawahara¹, Hiroki Takamatsu¹, Daisuke Tatsumi¹, ryohsuke nohmoto¹, Shunta Ito², Momoko Otake² (1. Resonac Corporation., 2. Microsoft Japan Co., Ltd.)

Keywords:

Generative AI,Knowledge Graph,Large Language Model,Retrieval-Augmented Generation

複数文書にまたがる質問応答にはRetrieval-Augmented Generation (RAG)が広く用いられている。しかし、企業内の多様な文書に散在する人材やスキル情報の活用が期待されるものの、人材同定とその根拠提示など関係構造が重要なタスクでは、ベクトル検索中心のNaive RAGの回答が困難であると報告されている。、 (1) 人物–スキル関係に根拠文書と量的指標を付与、(2) Wikipedia記事のリンク関係 を用いたスキル表記の正規化、(3) 部署異動やスキル習得時期といったイベント発生情報による条件付き検索、を提案する。数百件の社内文書から大規模言語モデルにより要素を自動抽出してナレッジグラフを構築し、それに基づくRAGを実装した。同一条件下でNaive RAGの回答性能を評価した上で、LightRAGと提案手法を比較し、11二択ブラインド評価305件の収集を行った。この結果、提案手法が統計的に有意な高評価を得ることができた。