欧拉视频放大

2020-09-04 08:12:17

SIGGRAPH 2012摘要我们的目标是揭示肉眼很难或不可能看到的视频中的时间变化,并以指示性的方式显示它们。我们的方法,我们称之为欧拉视频放大,以标准视频序列为输入,进行空间分解,然后对帧进行时间滤波。产生的信号随后被放大,以揭示隐藏的信息。使用我们的方法,当血液充满面部时,我们能够将其可视化,还可以放大和揭示微小的运动。我们的技术可以实时运行,以显示在用户选择的时间频率上发生的现象。

@文章{Wu 12 Eulerian,Author={Hao-Yu Wu and Michael Rubinstein and Eugene Shih and John Guttag and Fr\';{e}do Durand and William T.Freeman},title={揭示世界细微变化的欧拉视频放大倍率},Journal={ACM图形学报(proc.。SIGGRAPH 2012)},年份={2012},卷={31},编号={4},}。

视频中时间变化的分析和可视化,迈克尔·鲁宾斯坦,博士论文,麻省理工学院2014年2月。

详细说明:Matlab源代码(v1.1,2013-03-02)再现了论文中的所有结果。有关详细信息,请参阅自述文件。

-适用于64位Windows、64位Linux和64位Mac的可执行文件(v1.1,2013-09-05)这是MATLAB代码的编译版本,可以从命令行运行。它不需要任何编程或安装MATLAB。相反,这些二进制文件使用MATLAB编译器运行时(MCR),它是免费的,安装只需要几分钟。有关详细信息,请参阅自述文件。

提供的代码和可执行文件仅用于非商业研究目的。下载并使用代码,即表示您同意受本软件发布协议的所有条款约束。如果您希望将代码用于商业用途,请联系作者。*这项工作正在申请专利。

如果您使用本网页上提供的代码或视频的任何部分,请引用我们的论文。

抓拍时:-最大限度地减少无关紧要的动作。把相机放在三脚架上。如果合适的话,为你的拍摄对象提供支撑(例如,手放在桌子上,安稳的椅子上)。尽量减少图像噪音。使用感应器好的相机,确保光线充足。-以尽可能高的空间分辨率记录,并使主体占据大部分帧。覆盖感兴趣对象的像素越多,提取的信号就越好。-如果可能,录制/存储未压缩的视频。独立压缩帧的编解码器(例如,Motion JPEG)通常比利用帧间冗余的编解码器(例如,H.264)更可取,后者在某些设置下可以将压缩相关的时间信号引入视频。

在处理时:-为了放大运动,我们推荐我们新的基于相位的流水线。-要放大颜色,请使用线性管道(本页中的纸张和代码)。-选择要放大的正确时标。例如,成年人的心跳倾向于每秒发生一次左右,相当于1赫兹,为了安全起见,你可以将内容放大到0.5赫兹到3赫兹之间。间隔越窄,放大的焦点就越集中,放大的噪音就越少,但可能会错过物理现象。-在指定临时通带时,不要忘记考虑视频帧率!有关示例,请参阅我们的代码。

我们要感谢Guha Balakrishnan、Steve Lewin-柏林和Neal Wadhwa提供的有用反馈,以及SIGGRAPH评审员的评论。我们感谢刘策和孙德清就欧拉与拉格朗日分析进行了有益的讨论。我们还感谢唐娜·布雷津斯基医生、凯伦·麦克阿尔蒙医生和温彻斯特医院的工作人员帮助我们收集新生儿的视频。这项工作得到了DARPA SCENICC计划、NSF CGV-1111415和广达计算机的部分支持。迈克尔·鲁宾斯坦得到了NVIDIA研究生奖学金的部分支持。