DirCast:通过单一的流媒体视频语言模型实现电竞赛事的实时导播与解说
arXiv:2610.31734v1 发布类型:新 基本摘要:一场电子竞技的实时直播需要一位导演来决定哪路摄像机画面该播出,以及一位解说员在每一秒都对这一选择进行解说,而他们往往无法预知接下来会发生什么。流媒体视频语言模型已经学会了进行赛事解说,但仅限于由人类导演事先制作好的直播内容。我们研究的是实时直播制作场景:模型仅接收所有选手的原始摄像头画面,必须完全依靠过往信息同时完成导播与解说任务。我们提出了 DirCast,一种能够同时胜任这两项工作的单一流媒体视频语言模型。它每秒以低分辨率扫描所有摄像头,通过“保留”或“切换”的决策机制判断是否以及何时切镜,并在发言前以高分辨率读取所选画面。其上下文会记录哪些内容已播出,以及哪些…


