本文へ移動
AI NEWS JOURNAL
AI NEWS / ONE EVENT. MANY PERSPECTIVES.

大規模言語モデルのアライメント向け、ランキングを考慮した差分プライバシーによるリストワイズな好みの公開

arXiv:2610.37682v1 公告タイプ:新規 要旨:リストワイズな好みフィードバックは、ペアワイズ比較に比べて大規模言語モデル(LLMs)のアライメントにおいてより豊かな監督情報を提供しますが、完全なランキングはさらに機密性の高いユーザーの嗜好も明らかにしてしまいます。既存のプライバシー保護型アライメント手法は主にペアワイズなフィードバックに焦点を当てていますが、ローカル差分プライバシー(LDP)下でのリストワイズなアライメントは未だ十分に探求されていません。このリストワイズな領域へLDPを拡張することは、重大な課題を提起します。すなわち、完全なランキング空間の高い機密性のために過剰なノイズが必要となり、結果としてリストワイズな監督の利点が無効化されてしまうのです。この課題に対処するため、我々は下流の学習における監督の粒度とプライバシー・ノイズの相互作用を分析し、リストワイズな好みをプライバシー保護するランク-awareな指数関数メカニズムを提案します。

1 件の報道arXiv cs.CL ↗

arXiv:2610.37682v1 公告タイプ:新規

要旨:リストワイズな好みフィードバックは、ペアワイズ比較に比べて大規模言語モデル(LLMs)の適応においてより豊かな監督情報を提供するが、完全順位情報にはさらに敏感なユーザーの嗜好も露呈される。既存のプライバシー保護型適応手法は主にペアワイズなフィードバックに焦点を当てている一方で、ローカル差分プライバシー(LDP)下でのリストワイズ適応は未踏の領域である。LDPをこのリストワイズな領域へ拡張することは、重大な課題を提起する。すなわち、完全順位空間の高い感度ゆえに過剰なノイズが必要となり、結果としてリストワイズ監督の利点が相殺されてしまうからである。この課題に対処するため、我々は下流の学習における監督粒度とプライバシー・ノイズの相互作用を分析し、リストワイズな好みデータを下流の適応に適した低感度な粒度へとプライバート化する、ランク-awareな指数機構を提案する。本機構は順位情報を活用して固定サイズの二値分割をサンプリングし、ランダム化応答法(RR)のように全アイテムを均一に摂動するのではなく、境界付近のアイテム周辺にノイズを集中させる。下流のLLM適応タスクに対する実証評価では、同等のプライバシー予算下で、本機構が既存のLDPベースラインを一貫して上回ることが示された。コードはhttps://github.com/tdsai-lab/RAEM.にて公開されている。