事後学習は大規模言語モデルの価値観の好みをどのように形成するのか?
arXiv:2610.33371v1 発表タイプ:新規 要旨:事後学習の過程で、大規模言語モデル(LLMs)は、異なる人口統計グループに関連する意見が不均衡な割合で含まれるコーパスから価値観の好みを学習します。こうした不均衡が増幅されることで、一部のグループの意見がさらに過小評価される可能性があります。しかし、意見の混合状態が事後学習の各経路において価値観の好みにどのような影響を及ぼすのかは依然として不明です。この疑問に答えるため、私たちは、異なる意見の混合状態を持つ事後学習用コーパスと、SFT、DPO、GRPOに基づく5つの事後学習経路を用いた制御実験を行いました。その結果、事後学習によって意見の不均衡が各経路ごとに異なる形で増幅されることが明らかになりました。一度価値観の好みが増幅されると、さらなる事後学習によってそれを除去できるかどうかは、事後学習の



