看起来像职业网球运动员的可控视频精灵

2020-09-08 11:17:05

我们提出了一个系统,它将带注释的网球比赛广播视频转换为行为和外观都像职业网球运动员的交互式可控视频精灵。我们的方法是基于可控的视频纹理,并利用网球比赛周期结构的领域知识在点球比赛的关键决策时刻放置剪辑过渡和接受控制输入。最重要的是,我们使用视频收集中的点数来模拟球员在点数期间的球场定位和投篮选择决策。我们使用这些行为模型来选择视频剪辑,这些视频剪辑反映了现实生活中的玩家在给定的比赛情况下可能采取的动作,产生的精灵在满分的宏观级别上表现得逼真,而不仅仅是个人的网球动作。我们的系统可以在职业网球运动员之间产生类似于温布尔登转播的新奇积分,从而实现新的体验,例如在现实生活中没有参加过比赛的球员之间创建对决,或者在温布尔登决赛中对球员进行互动控制。根据专家网球运动员的说法,在球员行为方面,使用我们的方法生成的集会明显比在视频合成过程中只考虑运动过渡质量的视频精灵方法更逼真。

@misc{zhang2020vid2player,作者={Haotian Zhang and Cristobal Sciutto and Maneesh Agrawala and Kayvon Fatahalian},title={Vid2Player:行为和外观像职业网球运动员的可控视频精灵},年份={2020年},ePrint={arxiv:2008.04524},}。

该项目得到了布朗媒体创新研究所和NVIDIA提供的财政和计算礼物的支持。视频数据集是从YouTube温布尔登频道下载的。