3、7、14、17、42:指令微调在语言模型中安装并强化了数字选择启发式方法
arXiv:2610.36178v1 发布类型:新 摘要:我们无需抽样误差,即可测量当被要求生成一个随机数时,语言模型为1至N之间的每个整数所分配的概率。对于固定的提示词,模型会定义一个概率向量;我们通过累加每个整数的得分拼写来计算该向量,而非采用抽样估计,从而消除了限制早期研究[1, 4]的噪声。我们在两个推理栈上,针对多达N=100的五个范围,评估了18条开放权重模型系列,并采用了29种解码配置;其中15个模型同时拥有基础版和指令微调版的检查点,且两者均能给出可用的答案。指令微调使这15对模型中的分布更加不均匀,它引入了一种避免使用整数的启发式方法,并强化了另一种避免接近端点的启发式方法。基础检查点


