各有所不足:在不同证据状态下校准语言模型
arXiv:2610.33237v1 发布类型:新 摘要:语言模型如何判断自己是否拥有足够的证据来作答?语言模型往往会在证据不足的情况下仍给出答案。决定是直接作答还是继续收集更多证据,需要对现有证据下答案正确的概率做出精确的校准估计。然而,大多数校准研究都将输入视为固定不变,而未考虑这种估计应如何随证据的变化而调整。我们提出了“证据状态校准”,要求模型在作答前的置信度与其正确作答的概率相匹配,并且每当证据改变这一概率时,置信度也相应调整。我们提出了一种名为\ours{}(即“充分性置信度估计”)的方法,该方法通过微调


