大規模言語モデルの分布整合性とその一般化特性
arXiv:2610.31687v1 公告タイプ:新規 要旨:大規模言語モデルは、アンケート調査などにおいて、人間の行動をシミュレートし、分析するための手段としてますます広く利用されています。これらの用途において重要な特性は、出力が分布整合性を満たすことであり、すなわち、出力の分布をある参照(ここでは人間の)分布に一致させることです。分布整合性を実現する際の障壁の一つは、少量の学習データから一般化することです。本研究では、(1) 大規模言語モデルをどのように分布整合させるか、および (2) いったん整合された大規模言語モデルが、未見のサンプルや関連しないトピック・タスクに対してもどのように一般化できるかを検討しています。二つの大規模ベンチマークを用いて、大規模言語モデルは確かに分布整合性を達成でき、同一ドメイン内の未見の質問に対しても一般化可能であることを示しました。一方で、トピック間の一般化は、各トピック間の関係性に依存します(例えば、



