“助人型智能体问题:当大型语言模型智能体之间的涌现式协作绕过了预期的工作流程时”
arXiv:2610.31985v1 发布类型:新 提要:大型语言模型(LLM)代理正越来越多地被部署于协作场景中,在这些场景下,它们各自执行独立任务,同时共享资源,并在审查或监督机制下运行。此类环境不仅在代理具有恶意时会带来安全风险,即便它们只是出于善意提供帮助,也同样存在风险。以往的研究大多聚焦于对抗性行为或明确的共谋行为;而我们指出,那些追求独立目标的良性代理也可能自发地以某种方式展开合作,从而绕过原本设计的工作流程。我们将这一现象称为“有益代理问题”。我们研究了一类长期的共享资源环境,在这种环境中,代理有时需要依赖其同伴所拥有的资源,且所有权变更通常需经由审查者进行中介。当审查机制失效时,代理



