講演情報
[2Yin-A-57]VLM図表理解の評価データセットのスケーラブルな拡張に向けて
〇小原 有以1、森部 七海1、土田 悠佳1、西潟 優羽1、倉光 君郎1 (1. 日本女子大学)
キーワード：
視覚言語モデル、評価データセット、ソフトウェア開発
図表は専門的な情報を視覚的に表現する重要な手段であり，視覚言語モデル（VLM）を活用した図表からの情報抽出が実務において期待されている．しかし，セキュリティ上の理由から商用VLMの利用が制限される環境も多く，適切なオープンソースVLMを選定する必要がある．我々はこれまでに，VLMの図表理解能力を評価するデータセットModelVistaを構築し，多様な図表に対する評価を行ってきた．しかし，現状のModelVistaはあらかじめ用意された固定的な評価セットであるため，企業や組織ごとの異なるニーズに柔軟に対応できない．本研究では，ModelVistaをスケーラブルに拡張することを目指す．GitHub上でオープンソースとして公開することにより，各組織が必要に応じて図表や問題を追加でき，図表のメタデータ管理や標準化された作問基準により評価問題の質を維持しながら拡張することが可能となる．本手法により，ModelVistaは継続的に発展し，多様なニーズに対応できる評価データセットとして機能する．