エピグラフ形式によるガイド付き探索を用いた協調的マルチエージェント強化学習
arXiv:2611.07066v1 発表タイプ:新規 要旨:マルチエージェント強化学習(MARL)において協調行動を発見することは、共同状態・行動空間の組合せ的複雑性により困難であり、試行錯誤だけでは協調的な行動の出現が妨げられる。内在報酬は発見支援にしばしば用いられるが、チーム目標と単純に組み合わせると学習信号が歪められ、タスク性能が損なわれる可能性がある。本論文では、確立されたタスク性能を維持する制約の下で探索目標を最大化する制約付き探索フレームワークEFXPLORERを提案する。得られる問題は、適応型探索予算を導入するエピグラフ再定式化を用いて解決する。このアプローチは内在報酬とタスク目標を分離し、タスクの実現可能性を通じて探索を制御する。さらに多様で時間的に拡張された探索を促進するため、長期的な依存関係を捉える後継者距離ベースの内在報酬を組み込む。実験的には、本手法は強力なベースラインを上回り、SMAX、VMAS、MPEのベンチマークスイート全体で新しい協調戦略を誘発する。



