講演情報
[2Yin-A-05]要件定義書レビュータスクにおけるAIエージェント構成の精度評価
〇間瀬 圭一1、折原 隆志1、山田 邦晴1 (1. 日鉄ソリューションズ株式会社 システム研究開発センター)
キーワード：
エージェント、スーパーバイザー、ワークフロー
要件定義書のレビューは，システム開発の上流工程において品質や手戻りコストを左右する重要な作業である。しかし，非機能要件の確認などは人手に依存する部分が多く，時間と労力を要する。近年，こうした作業を生成AIで支援する取り組みが進んでおり，複数のAIエージェントを組み合わせた構成が注目されている。代表的な構成として，柔軟性や拡張性に優れるSupervisor型と，処理手順が明確なWorkflow型が挙げられるが，
一般にはSupervisor型はWorkflow型に比べて精度が低いとされることが多い。一方で，実業務に近いタスクで両者を比較した検証は十分に行われていない。そこで本研究では，要件定義書中に非機能要件が記載されているかを生成AIが記載の有無を確認し，レビュー文を生成するタスクを設定し，両構成の精度を比較評価した。その結果，Supervisor型はWorkflow型と比べて約7%の精度低下が確認され，精度を重視する場合にはWorkflow型が適していることが示された。一方，Supervisor型は機能拡張性が高く，将来的な業務拡張を考慮した場合には有効な選択肢となり得ることも示唆された。
一般にはSupervisor型はWorkflow型に比べて精度が低いとされることが多い。一方で，実業務に近いタスクで両者を比較した検証は十分に行われていない。そこで本研究では，要件定義書中に非機能要件が記載されているかを生成AIが記載の有無を確認し，レビュー文を生成するタスクを設定し，両構成の精度を比較評価した。その結果，Supervisor型はWorkflow型と比べて約7%の精度低下が確認され，精度を重視する場合にはWorkflow型が適していることが示された。一方，Supervisor型は機能拡張性が高く，将来的な業務拡張を考慮した場合には有効な選択肢となり得ることも示唆された。