潜在一致性:前沿语言模型的概率判断是否遵循全概率定律?
arXiv:2610.31833v1 发布类型:新 摘要:LawZero 的 Scientist AI 通过一种目标函数训练预测器,使其逼近贝叶斯后验分布,该目标函数会惩罚潜在解释之间概率不一致的情况。我们探究当前处于前沿水平的语言模型——尽管未经过此类训练——是否在零样本条件下已在此意义上保持一致性:当隐变量 z 必须从上下文中的记录中推断时,其概率判断是否满足全概率公式 $P(X)=\\sum_z P(z)P(X|z)$?在单独的单轮调用中,模型被要求给出 $P(X)$、关于隐变量各状态的 $P(z)$,以及 $P(X|z)$;因果家族还对 $P(y|do(x))$ 和后门调整施加了同样的检验。每个查询都配有精确的真值概率,且部分条目以三种不同的表述方式分别提出,以进行区分


