[2Yin-A] Poster 3

[2Yin-A-57] Towards Scalable Extension of Evaluation Datasets for VLM Diagram Understanding

〇Yui Obara¹, Nanami Moribe¹, Haruka Tsuchida¹, Yuha Nishigata¹, Kimio Kuramitsu¹ (1. Japan Women's University)

Keywords:

Vision Language Model,Evalation Dataset,Software Development

図表は専門的な情報を視覚的に表現する重要な手段であり，視覚言語モデル（VLM）を活用した図表からの情報抽出が実務において期待されている．しかし，セキュリティ上の理由から商用VLMの利用が制限される環境も多く，適切なオープンソースVLMを選定する必要がある．我々はこれまでに，VLMの図表理解能力を評価するデータセットModelVistaを構築し，多様な図表に対する評価を行ってきた．しかし，現状のModelVistaはあらかじめ用意された固定的な評価セットであるため，企業や組織ごとの異なるニーズに柔軟に対応できない．本研究では，ModelVistaをスケーラブルに拡張することを目指す．GitHub上でオープンソースとして公開することにより，各組織が必要に応じて図表や問題を追加でき，図表のメタデータ管理や標準化された作問基準により評価問題の質を維持しながら拡張することが可能となる．本手法により，ModelVistaは継続的に発展し，多様なニーズに対応できる評価データセットとして機能する．