Knight Rider骑Gan：用Ai，Nvidia Omniverse带来Kitt

系好安全带。 NVIDIA研究正在重新开始一种新的深度学习引擎，可以从标准的2D图像创建3D对象模型 - 并且可以将像Knight Rider的AI Powered Kitt这样的标志性汽车带到NVIDIA Omniverse。

Ganverse3D应用程序由多伦多的NVIDIA AI研究实验室开发，将平面图像膨胀成现实的3D模型，可以在虚拟环境中可视化和控制。此功能可以帮助架构师，创建者，游戏开发人员和设计师轻松地将新对象添加到他们的模型中，而无需在3D建模或大型预算中花费在渲染上的大型预算。

例如，汽车的一张照片可以变成可以在虚拟场景周围驱动的3D模型，完成现实的前灯，尾灯和闪烁。

为了生成培训的数据集，研究人员利用了一种生成的对抗性网络，或GaN，以合成描绘与多个观点相同对象的图像 - 就像一辆围绕停放的车辆走路的摄影师，从不同的角度拍摄。将这些多视图图像插入呈现逆图形的渲染框架，从2D图像推断3D网状模型的过程。

一旦在多视图图像上培训，Ganverse3D只需要单个2D图像来预测3D网格模型。该模型可以与3D神经渲染器一起使用，使开发人员控制到自定义对象并交换背景。

当在NVIDIA OMNiverse平台中导入并在NVIDIA RTX GPU上运行时，Ganverse3D可用于将任何2D图像重新创建为3D - 就像心爱的犯罪战车Kitt，来自受欢迎的20世纪80年代骑士骑士电视节目。

相反，没有来自3D资产的援助，“我们将GaN模型转变为一个非常有效的数据生成器，因此我们可以从网上的任何2D图像中创建3D对象，”NVIDIA和Lig Autory上的研究科学家Wenzheng Chen表示。

“因为我们在真正的图像上培训而不是典型的管道，它依赖于合成数据，AI模型更好地推广到现实世界应用程序，”该项目的作者Nvidia研究员Jun Gao说。

Ganverse3D背后的研究将在两次即将到来的会议上展示：5月份的学习陈述国际会议以及六月的计算机愿景和模式识别会议。

游戏，体系结构和设计中的创作者依赖于虚拟环境，如NVIDIA Omniverse仿真和协作平台，以测试新的想法和可视化原型，然后创建最终产品。使用Omniverse连接器，开发人员可以在omniverivere中使用他们的首选3D应用，以模拟具有实时射线跟踪的复杂虚拟世界。

但不是每个创建者都有时间和资源来创建他们草图的每个对象的3D模型。捕获所需的多视图图像数量的成本，以展示展示播放室的价值或街道的建筑物，可能是持久的。

这是训练有素的Ganverse3D应用程序可用于将汽车的标准图像转换为可以在omniveriverse中定制和动画的3D图中转换汽车的标准图像。

为了重新创建KITT，研究人员简单地喂养了训练的模型的汽车图像，让Ganverse3d预测相应的3D纹​​理网，以及车辆的车辆的不同部分，例如车轮和前灯。然后，它们使用NVIDIA Omniverse Kit和NVIDIA Physx工具将预测的质地转换成高质量的材料，使KITT成为更现实的外观和感觉，并将其放在动态的驱动顺序中。

“奥尼瓦维世允许研究人员直接带来令人兴奋的尖端研究，即NVIDIA的深层学习工程师Jean-Francois Lafleche说。 “在奥诺维方中提供Ganverse3D将帮助艺术家为游戏开发，城市规划甚至培训新机器学习模式创造更丰富的虚拟世界。”

因为捕获来自不同角度相同对象的实际数据集是罕见的，因此使用像ShapEnet​​这样的合成3D数据集接受从2D到3D转换图像的大多数AI工具。

要从现实世界数据获取多视图图像 - 就像在网上公开可用的汽车图像 - NVIDIA研究人员转向GAN模型，操纵其神经网络层将其转换为数据发生器。

该团队发现，打开前四层神经网络并冻结剩余的12导致GaN从不同的视点呈现相同对象的图像。

保持前四层冻结，另一个12层变量导致神经网络从相同的视点产生不同的图像。通过手动分配标准观点，使用特定高程和相机距离的车辆，研究人员可以从各个2D图像迅速生成多视图数据集。

最终模型，由GaN生成的55,000辆汽车图像培训，表现出在流行的Pascal3d DataSet上培训的逆图形网络。

阅读完整的ICLR纸，由Wentheng Chen撰写的NVIDIA研究人员Jun Gao和Huan Ling，Sanja Lifler，NVIDIA的多伦多研究实验室，滑铁卢大学Zuxour Zhang，斯坦福学生Yinan Zhang and Mit教授Antonio Torralba。 CVPR纸上的其他合作者包括Jean-Francois Lafleche，Nvidia研究员Kangxue Yin和Adela Barriuso。

NVIDIA研究团队由全球有超过200家科学家组成，专注于AI，电脑视觉，自驾车，机器人和图形等地区。了解有关该公司最新的研讨会在NVIDIA CEO Jensen Huang在本周GPU技术会议上的主题演讲的最新研究和行业突破。

GTC注册是免费的，并于4月23日开放。与会者将通过11月11日访问按需内容。