Vibe:视频人体姿势估计

2020-05-31 23:02:27

视频体姿形状估计(VIBE)是一种视频位姿和形状估计方法,它预测输入视频中每一帧SMPL人体模型的参数。详情请参考我们的arxiv报告。

Vibe已经在使用python>;=3.7的Ubuntu18.04上实现和测试。它同时支持GPU和CPU推理。如果您没有合适的设备,请尝试运行我们的Colab演示。

我们已经准备了一个很好的演示代码,可以在任意视频上运行Vibe。首先,您需要下载所需的数据(即我们训练好的模型和SMPL模型参数)。要做到这一点,您只需运行:

#在本地Videopythondemo.py上运行--VID_FILE SAMPLE_Video.mp4--OUTPUT_Folder OUTPUT/--DISPLAY#在YouTube Videopythondemo.py上运行#--VID_FILE https://www.youtube.com/watch?v=wPZP8Bwxplo--OUTPUT_Folder OUTPUT/--DISPLAY。

如果你没有一个合适的环境来运行这个项目,那么你可以试一试Google Colab,它允许你在云中免费运行这个项目。您可以使用我们准备的笔记本试用我们的Colab演示:

请注意,在运行数据处理脚本之前,需要下载并准备好训练数据集,具体准备方法请参见doc/Training.md。

在这里,我们将VIBE与最新的三维位姿估计方法进行了比较。评估指标是Procrstes Align Average Per Join Position Error(PA-MPJPE)(单位为mm)。

@inProcestions{kocabas2019vibe,title={vibe:视频人体姿势和形状估计},作者={Kocabas,Muhammed和Athan asiou,Nikos和Black,Michael J.},booktitle={IEEE计算机视觉与模式识别会议(CVPR)},月={6},年={2020}}。

此代码可用于许可证文件中定义的非商业性科学研究目的。下载并使用此代码即表示您同意许可证中的条款。第三方数据集和软件受其各自许可证的约束。

我们指出在每个文件内是否从外部借用了函数或脚本。以下是我们受益的一些重要资源: