それぞれが独自の限界を持つ:多様な証拠状態にわたる言語モデルの校正
arXiv:2610.33237v1 発表タイプ:新規 要旨:言語モデルは、十分な証拠があるかどうかをどのように判断できるのでしょうか。多くの場合、言語モデルは与えられた証拠が不十分であっても回答してしまいます。回答するべきか、あるいはさらに証拠を集めるべきかを決めるには、利用可能な証拠のもとで回答が正しい確率を正確に推定することが必要です。しかし、これまでの校正研究の多くは入力を固定したまま扱い、証拠の変化に応じてこの推定値がどう変わるべきかについては議論していませんでした。そこで私たちは「証拠状態校正」を提案します。これは、回答前のモデルの信頼度が、その回答が正しい確率と一致し、証拠がその確率を変えるたびにそれに応じて調整されるように求められる手法です。さらに、私たちは\ours{}(Suffi**ci**ency **C**onfidence **E**stimation)を提案し、これを微調整することで



