露呈は約束ではない:ツール使用エージェントに対する潜在的モニターの二重層評価
arXiv:2610.37679v1 公表タイプ:新規 要旨:ツールを使用する言語エージェントは間接的なプロンプトインジェクションに対して脆弱であり、不安全な行動が実行される前にそれを検出するためにモデル内部を調査する研究が増加しているが、その結果には著しく矛盾した点が見られる。我々は、こうした矛盾の多くは評価手法に起因すると主張し、評価および学習集団の両方において、インジェクションによる露呈と行動上の約束を分離する二重層化プロトコルを提案する。主要なQwen AgentDojoのグリッド上で、無意識的に不安全なケースとその他を混在させた対照条件下で訓練されたモニターは、ほとんどが露呈を学習しており、エージェントがそれに従うかどうかに関わらず露呈した軌跡を警告し、どのケースが不安全になるかをほとんど予測しない。一方、露呈したケースのみを対象に再訓練した場合、同じ種類のプローブはモデル自身が行う不安全なツール呼び出しを最大2秒前まで予測できる。


