12:00
노출은 약속이 아니다: 도구 사용 에이전트를 위한 잠재적 모니터의 이중 계층 평가
arXiv:2610.37679v1 발표 유형: 신규 요약: 도구를 사용하는 언어 에이전트는 간접적인 프롬프트 주입에 취약하며, 점점 늘어나는 연구들은 모델 내부를 분석하여 안전하지 않은 행동이 실행되기 전에 이를 포착하려고 시도하고 있지만, 그 결과는 매우 상반됩니다. 우리는 이러한 갈등의 대부분이 평가 과정에서 발생하는 오류 때문이라고 주장하며, 평가와 학습 집단 모두에서 주입 노출과 행동적 약속을 분리하는 이중 계층화 프로토콜을 제안합니다. 주요 Qwen AgentDojo 그리드에서, 무지한 상태로 불안전한 행동과 나머지 행동을 혼합한 대조를 기반으로 학습된 모니터들은 대부분 노출을 인식하는 방식으로 학습됩니다. 즉, 에이전트가 실제로 행동을 따르든 아니든 노출된 경로를 표시하며, 어떤 경우에 안전하지 않은 행동으로 이어지는지 거의 예측하지 못합니다. 노출된 사례들만을 대상으로 재학습한 동일한 탐지 계열은 모델 자체가 수행하는 안전하지 않은 도구 호출을 최대 2초 전까지 예측할 수 있습니다.