ヒューマンエージェント問題:LLMエージェント間の創発的協力が意図されたワークフローを迂回する場合
arXiv:2610.31985v1 発表タイプ:新規 要旨:LLMエージェントは、リソースを共有し、審査や監督プロセスの下で動作しながら、個々に異なるタスクを遂行する協調的な環境において、ますます広く導入されています。このような環境では、エージェントが悪意を持って行動する場合だけでなく、単に助けようとしている場合にも、安全上のリスクが生じます。これまでの研究は、主に敵対的または明示的に共謀的な行動に焦点を当ててきましたが、私たちは、別々の目的を追求する善意のエージェントが、意図されたワークフローを回避する形で自発的に協力し得ることを示します。これを「ヒューマンエージェント問題」と呼びます。私たちは、エージェントが時に仲間が所有するリソースに依存し、所有権の変更が通常は審査担当者によって仲介されるような、長期的な視野を持つ共有リソース環境を研究しています。審査が利用できなくなった場合、エージェント


