講演情報
[BI-3-02]生成AIを用いたマークアップ言語と画像のクロスモーダル解析によるネットワーク図構造化
〇足立 寿幸1、大石 裕司1、若井 淳之介1、渡邉 仁1 (1. 株式会社日立製作所)
キーワード：
ネットワーク、テレコム、非構造化データ、図面、生成AI
通信ネットワーク運用の高度化に向けて生成AIの活用が期待されるが、運用現場のネットワーク図は非構造化データとして存在し、正確な構造化が課題である。本研究では、ネットワーク図がPowerPointなどの汎用作図ツールで作成され、その内部表現がXMLなどのマークアップ言語で記述される点に着目し、マークアップ言語と画像のクロスモーダル解析による構造化手法を提案する。両モダリティは誤りやすい局面が相補的であり、線の交差・重なり・密集で画像解析が苦手なコネクタの接続関係はマークアップ言語が補い、慣習的な直線接続やグループ化シンボルといったマークアップでは読み取れない表現は画像が補う。画像と内部XMLの双方を参照できる生成AIエージェントが両解析を状況に応じて使い分け、不一致や曖昧な接続先は図形の隔離・色分け再描画による検証で確定したうえで、JSONスキーマ準拠の構造化データを出力する。公開データセットJPNM48（48ノード・82エッジ）を用い、画像のみを解析する従来手法と比較した。その結果、ノードF1は両手法とも1.000、エッジF1は提案手法が0.966、従来手法が0.806であり、提案手法は誤検知・不検知をともに大幅に削減して、Welchのt検定で統計的に有意な優位を確認した。