講演情報
[2M1-GS-11g-04]敵対的LLM制御におけるプロンプト介入の非単調性と壊滅的リスク
井上 顧基1、高島 直也1、〇藤原 勇人1、樋口 修也1、下村 晃太1,2、下垣内 隆太1、山下 隆義2 (1. 株式会社Elith、2. 中部大学)
キーワード：
大規模言語モデル（LLM）、プロンプトエンジニアリング、敵対的制御、非単調性、テールリスク
LLMプロンプトにルールを追加しても安全性は向上せず、むしろ悪化することが多い。長いプロンプトが標準ベンチマークでLLM性能を低下させることは知られているが、敵対者が弱点を積極的に突いてくる敵対的状況下での効果は未解明であった。本研究では、競技型レッドチーミングコンテスト（29,084 試合、247 参加者）における1,000 件超のプロンプト拡張イベントを分析し、テキスト追加によるスコア変化の中央値がゼロであることを明らかにした。さらに10–17%の事例で深刻な性能低下が発生し、最悪ケースでは獲得可能スコアの半分以上を失った。この効果は非単調であり、攻撃では中規模拡張で悪化率が低下するが大規模拡張で急増し、防御では中規模の基準長からの拡張が最も脆弱であった。これらの知見は、LLM安全性の実務で広く採用されている「制約を増やせば安全になる」という経験則の危うさを示している。