[2Yin-B] Poster 4

[2Yin-B-06] Evaluating Sentence Ordering in Japanese Narratives with Lightweight Language Models

〇Asa Yokoyama¹, Rafal Rzepka¹ (1. Hokkaido University)

Keywords:

Sentence Ordering,Large Language Models,Temporal Reasoning,Story Understanding

近年，プライバシー保護などの観点から，ローカル型LLMへの需要が急増している．しかし，7Bパラメータ程度の軽量モデルは，文順序付けタスクにおいて，GPT-4o等のクラウド型に著しく性能が劣る． 本研究では，日本語物語データセット「DanSto」を対象に，この性能差の解消に取り組む．第一に，評価の信頼性を担保するため，GPTモデルの投票アンサンブルによりデータの解釈の曖昧性を排除し，高信頼な評価基盤を構築する．第二に，軽量モデル特有の「順序バイアス」や「形式崩れ」に対処するため，出力形式をアルファベットリストに簡略化した上でLoRAを用いたSFTを適用する手法を採用する． 実験の結果，本手法を適用したQwen3-8B（5kデータ学習時）は，推論機能を持つベースモデル（PMR64.0%）を上回るPMR70.0%を記録し，GPT-4o（93.0%）に近づく結果を示した．これにより，計算資源の限られたモデルにおいては，長文生成を避け記号操作にリソースを集中させることが推論能力の向上に極めて有効であるという知見を得た．本研究は，計算資源制約下における高精度なAI開発に寄与するものである．