講演情報
[A-11-09]CoT プロンプティングによるLLM を用いた自動プログラム修正手法の評価
◎△平墳 勇人1、北村 佳資2、小比賀 亮仁1、小板 隆浩2 (1. 同志社大学、2. 同志社大学大学院)
キーワード：
LLM、APR
ソフトウェアのバグ修正は開発工程において多大なコストと時間を要する作業であり，これを自動化する自動プログラム修正（APR）の研究が盛んに行われている．従来のテンプレートベース手法は，あらかじめ定義されたバグパターンに対してのみ修正を適用するため，修復可能なバグの種類が限定的であり，汎化性に課題があった．近年，大規模言語モデル（LLM）はソースコードの理解・生成においても高い性能を示しており，テンプレートに依存しない柔軟なAPRへの応用が期待されている．しかし，LLMを用いたAPRではプロンプトの設計が修復性能に直接影響するため，入力の与え方の工夫が重要な課題となっている．本研究では，LLMを用いたゼロショットAPRにCoT（Chain-of-Thought）プロンプティングを適用し，修復成功率への影響を評価した．CoTプロンプティングは推論過程を段階的に言語化させることでLLMの推論精度を向上させる手法であり，バグ修正のような複雑な推論を要するタスクへの適用が有効である可能性が考えられる．実験にはDefects4J Version 3.0.1のMathおよびLangプロジェクト（計147件）を用い，OpenAI GPT-5 miniによるCoTあり条件とCoTなし条件を比較した．結果として，CoTあり条件（28.6%）はCoTなし条件（19.0%）を9.6ポイント上回り，CoTプロンプティングがAPRの成功率向上に有効である可能性が示された．成功率向上の要因として，CoTによってLLMがバグの原因を段階的に推論してから修復コードを生成するため，コードの表面的な書き換えではなく，バグの原因を踏まえた修正が行われやすくなったことが考えられる．