制品蒸馏:无需训练的前沿模型到小型语言模型的迁移
arXiv:2610.37680v1 发布类型:新 摘要:缩小前沿模型与小型语言模型之间的差距,通常采用蒸馏方法:在前沿模型(教师)的输出上对小型模型(学生)进行微调,但这使得迁移过程依赖于训练计算,并且被迁移的知识往往难以解释。我们提出了一种名为“制品蒸馏”的方法:由教师模型解决一系列训练实例,并将其求解过程外化为一个制品库,学生在推理时直接查询该库,而无需进行梯度更新。在四项LiveBench任务中,由Claude Opus 4.5构建的制品库使Claude Haiku 4.5在空间推理任务上的表现(0.707 vs. 0.647)达到其自身成本的60%时,已超越未借助任何辅助的Claude Sonnet 4.5;而在表格连接任务上,该制品库仅以Sonnet 4.5成本的89%便达到了相同水平。同样的原始制品库还提升了


