超越收益:用于代理技能退役的技能内化度量
arXiv:2610.32322v1 发布类型:新 摘要:LLM智能体从公共技能中心检索技能,这些中心最多可存储约10万条记录,并为众多模型提供服务。随着模型性能的不断提升,技能中心必须识别出某一模型已内化哪些技能——即该模型已不再依赖这些技能——并将其从该模型的技能库中移除;然而,目前尚无可靠的方法来衡量技能的内化程度。现有规则仅依据有无某项技能时的运行表现差异来进行判断,而这种差异往往微乎其微。无论是对于已被内化的技能,还是在模型与该技能均无法实现相应能力的情况下——我们称这种状态为“未被发现”——其收益几乎都接近于零。因此,我们改采另一种做法:暂不启用该技能,而是基于由该技能衍生的任务对模型进行评分,并且只有当另一模型确实因该技能而获益时,才信任模型在无辅助条件下的高分;因为事实上,近一半的高分都来自那些并未真正体现该技能作用的任务。


