能力の非対称性下では、人間とAIの相互主義は不安定である
arXiv:2611.23322v1 発表タイプ:新規 要旨:高度なAIと並行して人類の良好な未来を実現するための一つの期待は、持続的な相互主義に依存しています。すなわち、人間とAIは互いに必要とする関係となり、その結果、双方にとって良好な関係が維持されるというものです。しかし、我々はAIの能力が向上するにつれてこの期待が崩れると主張します。交渉では、各当事者が得られる利益は交渉が失敗した場合に得られるものに限定されます。人間にとっては、これがAI導入以前よりも低い水準になる可能性があります。単純なゲーム理論モデルにおいて、人間がAIと連携していない状態でAI導入前と同じ程度の福祉を維持できるのは、人間がAIに対して何らかの影響力を持つ場合に限られます。具体的には、AIが人間の供給に依存しているか、あるいはAIが生み出せる成果に比して大きなコストを人間に科すことができる場合です。人間がこれらのいずれの影響力も持たなくなると、AIが人間と整合している場合に限り、AI導入前と同じ程度の福祉を維持できます。さらに、AIの目標が飽くなきものである場合、AIの能力が向上するにつれて必要な整合性は完全な整合性へと近づいていきます。したがって、相互主義は整合性の代替手段とはなりえません。また、より多くのリソースを保持するAIバリアントがより速く拡散する場合、整合性が持続するのは、誤った目標を持つバリアントが確実に制裁される期間に限られます。以上の二つの意味において、人間とAIの相互主義は不安定であると言えます。


