具有分层网格表示的沉浸式光场视频

2020-06-22 09:56:00

我们提出了一个用于获取、重建、压缩和渲染高质量沉浸式光场视频的系统。我们使用分布在直径92厘米的半球形圆顶表面的46个时间同步相机的定制阵列来记录身临其境的光场。根据这些数据,我们以30fps的视频帧速率制作了宽80厘米观看基线、每度角分辨率10像素、宽视场(>;220度)的6DOF体积视频。即使相机的平均间距为18厘米,我们的系统也可以重建距离相机平台20厘米的物体。我们通过利用最近引入的DeepView视图插值算法,将其底层的多平面图像(MPI)场景表示替换为更适合表示全景光场内容的球壳集合,从而实现了这一点。我们进一步处理这些数据,以将大量的壳层减少到少量固定数量的RGBA+深度层,而不会显著降低视觉质量。然后使用常规纹理贴图集和视频压缩技术压缩这些图层中产生的RGB、Alpha和深度通道。最终的压缩表示是轻量级的,可以在移动VR/AR平台或网络浏览器上渲染。

视频光场中的一帧,显示具有反射和火花的几何形状复杂的车间场景。向下滚动到本页底部的示例场景,查看浏览器中的完整视频灯场。

下面是几个可以在Web浏览器中交互浏览的光场视频。单击场景的缩略图可以查看运动中的光场。此外,缩略图下面的链接允许您浏览我们的光场视频处理管道中使用的中间场景表示。这些措施包括:

MSI:多球体图像。LM:具有各个层纹理的分层网格。LM-TA:带有纹理地图集的分层网格。

有关这些陈述的更多信息,请参阅纸质手稿。注:为了减少下载次数,以下示例的分辨率低于本文中显示的主要结果。请看我们的视频了解完整的分辨率结果。

@文章{broxton2020沉浸式,标题={具有分层网格表示的沉浸式光场视频},作者={Michael Broxton and John Flynn and Ryan Overbeck and Daniel Erickson and Peter Hedman and Matthew Duvall and Jason Dourgarian and Jay Busch and Matt Whalen and Paul Debevec},书名={ACM图形事务(proc.。SIGGRAPH)},发行人={ACM},发行量={39},版次={4},页数={86:1--86:15},年份={2020}}