KnitTrans:用于高效且有效的大型语言模型强化学习的协同轨迹迁移
arXiv:2610.32389v1 发布类型:新 摘要:在大型语言模型的强化学习(RL)中,从滚动阶段到训练阶段的轨迹迁移既会影响学习质量,也会降低系统效率。强制执行全批训练要求可能会延迟已完成轨迹的准入,从而导致更高的架构陈旧性——即与集中式执行相比,采用分散式流水线所带来的额外参数版本差距。除了准入问题之外,数据访问与训练消耗之间的错配还会在传输大型轨迹负载时引发冗余移动和不必要的等待。我们提出了 KnitTrans 系统,通过三项设计来协调滚动到训练的路径。首先,基于约束保持的迷你批次准入机制能够在早期迷你批次组合方面提供灵活性……



