MV-JEPA:用于跨视图理解的训练后视频编码器
arXiv:2611.25172v1 公告类型:新 题目摘要:基于 JEPA 的视频编码器通过在潜在空间中的预测学习用于视频和图像理解的强表示。然而,其标准预训练仅预测单个图像或视频片段内的特征,并未显式利用同一对象或时刻的不同相机视角配对信息。因此,所学表示可能无法可靠地支持跨不同相机视角的匹配。为解决这一问题,我们引入多视角预测后训练方法,在保留独立单视角推理能力的同时,增强跨视角实例及时间对应关系。共享编码器独立处理被掩码的上下文视角,而训练时的预测器则联合预测被掩码的上下文区域与完全未见的另一视角的潜在标记。我们在通用图像和视频数据上交替进行跨视角预测与单视角掩码预测,以帮助保持编码器的预训练能力。仅在单块 GPU 上经过 9,000 次后训练更新后,MV-JEPA 在多个数据集上提升了跨视角实例检索和粗粒度跨摄像头时刻检索性能,并在 AE2 上实现了零样本动作阶段检索和冻结特征分类的进一步提升。冻结探针评估进一步表明,后训练在很大程度上保留了所评估基准上的运动识别、图像识别及稠密语义分割性能。综上所述,这些结果表明,多视角预测后训练能够在不修改编码器架构或单视角推理接口的情况下,增强 JEPA 视频编码器中的实例及粗粒度时间对应关系。



