[4Yin-A] Poster 6

[4Yin-A-KA05] (Other)セマンティックウェブとオントロジー研究会（SIG-SWO）

〇細川 泰智¹、シュデシナ チャクラボルティ¹、 森田 武史^1,2 (1. 青山学院大学、2. 産業技術総合研究所)

近年，大規模言語モデル（LLM）は多様な自然言語処理タスクで高性能を示すが，論理推論では事前学習知識への依存という課題が残る．本研究では，RDFスキーマ推論規則に基づくLLMの推論能力評価手法を提案する．Linked Open Dataから構築した実世界知識データと，実世界事実を改変した反実仮想知識データを用い，単一規則および複数規則を組み合わせた推論で，三段階の規則提示方法による規則内容提示の有無で評価を行った．結果，実世界データでは高精度を示し，欠損前提を事前学習知識で補完する挙動も確認された．一方，反実仮想データでは精度が低下し，LLMが語彙や命名規則に依存する傾向が明らかとなった．